Dell umožní firmám bezpečnou práci s AI na vlastních datech
Oba modely jsou optimalizované pro práci s textem a logické uvažování, jsou tak vhodné například pro analýzu dokumentů, generování textu s podporou vyhledávání (RAG) nebo tvorbu chatbotů.
Open-weight modely jsou velké jazykové modely, jejichž naučené váhy (weights) jsou veřejně dostupné. Vývojáři je mohou volně stáhnout, spustit na vlastním hardwaru, upravovat a dále trénovat podle svých potřeb. Na rozdíl od open source modelů, kde je zpřístupněn kompletní zdrojový kód včetně tréninkových skriptů a architektury, open-weight modely nemusí obsahovat celý zdrojový kód a detaily vývoje, ale pouze ty části potřebné pro nasazení a přizpůsobení modelu.
V Dell Enterprise Hub na platformě Hugging Face jsou modely dostupné pod licencí Apache 2.0, která uživatelům umožňuje využití pro experimentování s AI, vlastní přizpůsobení i komerční nasazení. Na rozdíl od copyleft licencí, které vyžadují zveřejnění úprav, permisivní licence Apache 2.0 umožňuje volně využívat a upravovat modely i pro komerční projekty, aniž by bylo nutné své změny zveřejňovat.
„Jednou z klíčových myšlenek platformy Dell AI Factory je dát uživatelům možnost pracovat s umělou inteligencí přímo na vlastní infrastruktuře. Klíčová myšlenka je přivést AI ke svým datům, které chce jen málokdo odesílat bez kontroly do prostředí mimo organizaci. Open-weight modely umožní firmám mít plnou kontrolu nad AI modely, které lze testovat a ladit v uzavřeném prostředí. Tento přístup umožňuje bezpečnou implementaci AI v odvětvích jako jsou finance, zdravotnictví nebo veřejný sektor. Zároveň práce s umělou inteligencí na vlastní infrastruktuře šetří poplatky za tokeny, které prodražují použití cloudové AI,“ uvedl Jaroslav Vašek, expert na umělou inteligenci společnosti Dell Technologies.
Modely postavené na úspoře paměti a výpočetního výkonu
Oba modely využívají pokročilou Mixture of Experts (MoE) architekturu, která místo jednoho velkého modelu využívá takzvané experty, které fungují jako specializované součásti neurální sítě trénované na určitý typ úloh. AI model při zpracování dotazu aktivuje jen část těchto expertů, které se pro danou úlohu hodí nejlépe. Společně se 4bitovou kvantizací lze spustit velké modely přímo na AI PC nebo serverech Dell. Tyto technologie šetří paměť a výpočetní výkon bez ztráty přesnosti.
AI model na jedné GPU
Modely zpřístupněné v Dell Enterprise Hub jsou optimalizovány pro okamžité nasazení na konkrétní AI PC a servery Dell, bez nutnosti dalšího přizpůsobení a ladění.
Model GPT-OSS-120B obsahuje 117 miliard parametrů, z toho 5,1 miliardy aktivních při každém výpočtu. Díky MoE architektuře a MXFP4 kvantizaci ho lze provozovat na jedné GPU s 80GB paměti, jako je například NVIDIA H100 nebo AMD MI300X.
Menší model lze spustit i na výkonném PC
Druhý model GPT-OSS-20B je menší varianta s 21 miliardami parametrů a při každém výpočtu se jich aktivuje 3,6 miliardy. Stejně jako větší model využívá MoE architekturu a MXFP4 kvantizaci. Je výrazně úspornější v nárocích na paměť a model lze spustit na zařízení s jednou GPU s nejméně 16 GB paměti. To umožňuje nasazení kromě serverů i na vybraných AI PC.
„Nasazení AI je v řadě firem ve fázi experimentování. Hledají se ty nejužitečnější scénáře nasazení a pokud si je můžete snadno a rychle vyzkoušet na PC na vlastním stole, jde to rychleji. U řady firem vidíme postup: otestuji možnosti nejprve v malém, pak ověřený use case nasadím v datovém centru. Tomuto procesu jsme vyšli vstříc a u zákazníků ho podporujeme,“ doplnil Jaroslav Vašek.
Možnost upravit náročnost uvažování
Modely GPT-OSS jsou textově orientované, tedy zaměřené na práci s přirozeným jazykem – například pro konverzační asistenty, analýzu dokumentů nebo generování textů.
Podporují také takzvané chain-of-thought reasoning, tedy způsob práce, kdy model při řešení úlohy postupuje krok za krokem a uvažuje tak, že úlohu rozkládá na menší části a řeší je postupně. Díky tomu dokáže lépe řešit složitější úkoly, které vyžadují logické odůvodňování nebo vícestupňové výpočty. Je u nich možné nastavit úroveň náročnosti uvažování (Adjustable Reasoning Effort), tedy zvolit mezi rychlejší odpovědí a hlubší, detailnější analýzou podle konkrétní potřeby.
S tím, jak stále více společností využívá umělou inteligenci, kladou větší důraz na bezpečnost dat, dodržování regulací a také udržitelnost z hlediska nákladů na provoz. Open-weight modely GPT-OSS od OpenAI mohou běžet na on-premise infrastruktuře za firewallem. Dell AI Factory nabízí kompletní řešení – PowerEdge servery a AI PC, služby s vysokými bezpečnostními standardy, Zero Trust architekturu, šifrování nebo certifikace (HIPAA, FedRAMP).
