Red Hat získal společnost Neural Magic
Red Hat uzavřel dohodu o akvizici společnosti Neural Magic, průkopníka v oblasti softwaru a algoritmů, které urychlují generativní umělou inteligenci. Tato společnost patří mezi lídry v oblasti vLLM a má znalosti v oblasti inženýrství inferenčního výkonu (jak modely AI „myslí“ nebo se rozhodují na základě svého vytrénování).
- 14. 11. 2024
- 0 min
Společnost Neural Magic využila své zkušenosti a znalosti v oblasti vLLM k vytvoření nm-vllm, inferenčního modelu podnikové úrovně, a současně vytvořila i LLM Compressor, jednotnou knihovnu pro optimalizaci LLM s nejmodernějšími algoritmy pro zvýšení efektivity a optimalizaci.
Neural Magic také staví na open source principech a technologiích, což je v souladu s vizí společnosti Red Hat v oblasti umělé inteligence:
Modely s otevřenou licencí, které lze provozovat kdekoli a napříč hybridním cloudem.
- Možnosti přesného ladění, které lze přizpůsobit individuálním datům a případům použití.
- Větší provozní a infrastrukturní efektivita.
- Partnerský a open source ekosystém, který zákazníkům poskytuje širší výběr, od cloudů přes modely až po základní architektury čipů.
Detailnější informace ziskáte např. zde.
