Nová Red Hat AI 3 přináší distribuované odvozování AI do produkčních úloh

Organizacím nová verze platformy umožňuje snáze převádět úlohy z konceptů do produkce a zlepšit spolupráci v oblasti aplikací využívajících AI.

Jakmile se podniky posunou dále od experimentování s AI, čelí významným překážkám, včetně ochrany osobních údajů, řízení nákladů a správy různých modelů. Studie „The GenAI Divide: State of AI in Business“ projektu NANDA Massachusettského technologického institutu poukazuje na realitu produkční AI, kdy přibližně 95 % organizací nevidí měřitelnou finanční návratnost přibližně 40 miliard dolarů, které do ní podniky investovaly.

Red Hat AI 3 se zaměřuje na řešení těchto problémů. Poskytuje konzistentnější a jednotnější prostředí pro ředitele a manažery IT pro maximalizaci přínosů z nákladných a obtížně dostupných technologií pro hardwarovou akceleraci. Umožňuje rychle škálovat a distribuovat úlohy AI v hybridních prostředích s více dodavateli a současně zlepšuje spolupráci mezi týmy na AI úlohách nové generace, jako jsou AI agenti. To vše na jediné společné platformě. Díky základům vybudovaným na otevřených standardech vychází Red Hat AI 3 vstříc organizacím tam, kde se na své cestě k AI právě nacházejí, a podporuje jakýkoli model na jakémkoli hardwarovém akcelerátoru, od datových center přes veřejný cloud a suverénní prostředí AI až po nejvzdálenější okraje sítí.

Od trénování k produkci: Posun k odvozování podnikové AI

Když organizace převádějí AI iniciativy do produkce, přesouvá se důraz z trénování a ladění modelů k odvozování, tedy k fázi praktického využívání podnikové AI. Red Hat AI 3 klade důraz na škálovatelné a nákladově efektivní odvozování, protože staví na mimořádně úspěšném vLLM a komunitních projektech llm-d i schopnostech Red Hatu v oblasti optimalizace modelů, které umožňují poskytovat velké jazykové modely (LLM) v produkční kvalitě.

S cílem pomoci ředitelům IT maximalizovat využití kapitálově náročné a omezené hardwarové akcelerace přináší Red Hat OpenShift AI 3.0 všeobecnou dostupnost technologie llm-d, která zcela mění způsob nativního běhu LLM v Kubernetes. Technologie llm-d umožňuje inteligentní distribuované odvozování, využívá osvědčenou hodnotu orchestrace Kubernetes a výkon vLLM, což organizacím umožňuje:

• Snížit náklady a zlepšit doby odezvy díky inteligentnímu plánování modelů s ohledem na inferenci a disagregovanou obsluhu modelů.
• Zajistit si jednoduchost provozu a maximální spolehlivost díky standardizovaným a ověřeným cestám, které zjednodušují nasazení modelů ve velkém měřítku v rámci Kubernetes.
• Maximalizovat flexibilitu díky podpoře různých platforem pro nasazení odvozování LLM na různých hardwarových akcelerátorech včetně hardwaru NVIDIA a AMD.

Technologie llm-d vychází z vLLM a vyvíjí jej z vysoce výkonného odvozovacího enginu pro jeden uzel na distribuovaný, konzistentní a škálovatelný obslužný systém, který je úzce integrován s Kubernetes a navržen tak, aby umožňoval předvídatelný výkon, měřitelnou návratnost investic a efektivní plánování infrastruktury. Všechna vylepšení přímo řeší problémy spojené se zvládáním vysoce variabilních úloh LLM a obsluhou rozsáhlých modelů, jako jsou modely typu Mixture-of-Experts (MoE).

Jednotná platforma pro kolaborativní AI

Red Hat AI 3 přináší jednotné a flexibilní prostředí, přizpůsobené požadavkům na spolupráci při vytváření řešení generativní AI připravených k nasazení do produkce. Je navržena tak, aby přinášela hmatatelnou hodnotu podporou spolupráce a sjednocením postupů napříč týmy prostřednictvím jediné platformy pro inženýry platforem i specialisty na AI, aby mohli realizovat svou strategii pro umělou inteligenci. Mezi nové funkce zaměřené na zajištění produktivity a efektivity potřebné pro škálování z ověřovací fáze do produkce patří:

• Možnosti provozování modelu jako služby (MaaS), které vycházejí z distribuovaného odvozování a umožňují týmům IT fungovat jako vlastní poskytovatelé MaaS, kteří centrálně obsluhují společné modely a na vyžádání poskytují přístup vývojářům i aplikacím AI. To umožňuje lepší řízení nákladů a podporuje možnosti použití, které nelze provozovat na veřejných službách AI z důvodu ochrany soukromí nebo obav o data.
• AI hub umožňuje platformovým inženýrům zkoumat, nasazovat a spravovat základní prostředky AI. Poskytuje jednotné centrum se spravovaným katalogem modelů, včetně ověřených a optimalizovaných modelů generativní AI, registru pro řízení životního cyklu modelů a prostředí pro implementace, které umožňuje konfigurovat a monitorovat všechny prostředky AI běžící na platformě OpenShift AI.
• Gen AI Studio poskytuje inženýrům AI praktické prostředí pro interakci s modely a rychlé vytváření prototypů nových aplikací generativní AI. Díky funkci koncového bodu prostředků AI mohou inženýři snadno vyhledávat a využívat dostupné modely a servery MCP, které jsou navrženy tak, aby zefektivnily interakci modelů s externími nástroji. Vestavěné testovací prostředí poskytuje interaktivní bezstavové rozhraní, které umožňuje experimentovat s modely, testovat výzvy a ladit parametry pro možnosti použití AI, jako je chat a generování s podporou vyhledávání (RAG).
• Pro zjednodušení vývoje jsou zahrnuty nové ověřené a optimalizované modely Red Hatu. Výběr zahrnuje populární open source modely, jako je gpt-oss od OpenAI, DeepSeek-R1, a specializované modely, jako je Whisper pro převod řeči na text a Voxtral Mini pro hlasové agenty.

Budování základů pro AI agenty nové generace

AI agenti jsou připraveni změnit způsob vytváření aplikací a jejich komplexní, autonomní pracovní postupy budou klást vysoké nároky na schopnosti odvozování. Red Hat OpenShift AI 3.0 pokračuje v budování základů pro škálovatelné systémy agentní AI nejen díky svým inferenčním schopnostem, ale také díky novým funkcím a vylepšením zaměřeným na řízení agentů.

Pro urychlení tvorby a nasazení agentů představil Red Hat sjednocenou vrstvu API založenou na Llama Stack, která pomáhá sladit vývoj s průmyslovými standardy, jako jsou protokoly rozhraní LLM kompatibilní s OpenAI. Kromě toho je Red Hat zastáncem otevřenějšího a interoperabilnějšího ekosystému, a proto je jedním z prvních uživatelů protokolu MCP (Model Context Protocol). Jde o výkonný, nově vznikající standard, který zjednodušuje interakci modelů umělé inteligence s externími nástroji. To je základní vlastnost moderních AI agentů.

Red Hat AI 3 představuje novou modulární a rozšiřitelnou sadu nástrojů pro přizpůsobení modelu, která je postavena na stávajících funkcích řešení InstructLab. Poskytuje specializované knihovny Pythonu, které vývojářům umožňují větší flexibilitu a kontrolu. Tato sada nástrojů je založena na open source projektech, jako je Docling pro zpracování dat, které zjednodušují zpracování nestrukturovaných dokumentů do formátu čitelného pro umělou inteligenci. Zahrnuje také flexibilní rámec pro generování syntetických dat a trénovací centrum pro jemné ladění LLM. Integrované vyhodnocovací centrum pomáhá inženýrům AI monitorovat a ověřovat výsledky a umožňuje jim s důvěrou využívat vlastní data pro přesnější a relevantnější výstupy AI.