Dell Technologie: řešení Dell AI Starter Kit
Dell AI Starter Kit je také připraven na další rozšíření, což zákazníkům umožňuje škálovat výkon a postupně AI infrastrukturu přizpůsobovat měnícím se potřebám.
„AI Starter Kit vychází z jedné z klíčových myšlenek platformy Dell AI Factory, tedy přivést umělou inteligenci ke svým datům. Vidíme, že stále více našich zákazníků začíná nasazovat AI on-premise, tedy v bezpečí vlastního datového centra. Zároveň se řada z nich ptá, jak vlastně, a řeší řadu otázek, například jaký vybrat hardware nebo softwarové vybavení. Náš AI Starter Kit je odpověď na tyto otázky a nabízí firmám jednoduchý vstup do světa umělé inteligence. Ve zkratce ho lze popsat jako AI krabici, kterou jen stačí zapojit a lze ji téměř okamžitě začít používat například pro trénování jazykového modelu na vlastních datech,“ uvedl Jaroslav Vašek, expert na umělou inteligenci ze společnosti Dell Technologies.
AI Starter Kit je navržen tak, aby podporoval první kroky v oblasti AI i další růst. Co si společnosti pořídí na začátku, neztratí hodnotu – řešení se přizpůsobí rostoucím potřebám firmy. Je vhodné pro větší společnosti jako platforma pro PoC (Proof of Concept), zatímco menší firmy jej mohou využít pro základní ostré nasazení. Rozsah použití je široký: od práce s jazykovými modely, přes predikce až po computer vision.
Základem řešení jsou dva servery PowerEdge, které lze využít s procesorovou platformou Intel i AMD. „Pro snadnou rozšiřitelnost jsme oddělili řídicí a výpočetní vrstvu tak, jak je běžné v produkčním prostředí. Řídicí server zajišťuje správu prostředí, monitoring a orchestraci, což umožňuje efektivní správu a automatizaci celého AI prostředí. Druhý, podstatně větší a výkonnější server slouží ke zpracování AI úloh a je vybavený dvěma grafickými akcelerátory,“ vysvětlil Jaroslav Vašek.
Dell AI Starter Kit na platformě Intel využívá jako řídicí server, kde běží Kubernetes Control Plane, model PowerEdge R670. Jako takzvaný GPU Work Node, tedy server pro samotné AI úlohy, slouží PowerEdge R770.
Varianta s procesory AMD je postavena na řídicím serveru model PowerEdge R6725 a pro AI úlohy PowerEdge R7725. Obě procesorové varianty serverů využívají GPU NVIDIA RTX 6000 PRO.
Pro náročnější projekty je k dispozici rozšířená konfigurace se čtyřmi GPU. U konfigurace s procesory Intel zajišťuje správu prostředí PowerEdge R670 a výpočetní výkon server PowerEdge XE7740. U varianty s procesory AMD a čtyřmi grafickými kartami pak funguje jako řídicí server PowerEdge R6725 a jako GPU Work Node model PowerEdge XE7745.
Celá infrastruktura je propojena 12portovým přepínačem Dell PowerSwitch S5212F-ON se 100 Gb uplinkem a je možné ji doplnit o úložiště PowerStore 500T s deseti NVMe disky a efektivní kapacitou 30 TB, spravované automatizovaně pomocí Kubernetes a Dell Container Storage Module.
Platforma běží na Red Hat OpenShift včetně AI nadstavby a nabízí také interaktivní prostředí JupyterLab pro práci s daty a kódem. Dell poskytuje veřejně dostupné jazykové modely, které lze využívat přes webové rozhraní podobné například ChatGPT, včetně možnosti využít vlastní dokumenty pro analýzu a získávání odpovědí.
Společně s partnerem Data Force nabízí Dell kompletní balík implementačních služeb, který začíná plánovacím workshopem k dohodě o fyzické instalaci a integraci všech komponent do zákaznického prostředí. Následuje samotná instalace, která zabere jen jednotky týdnů. AI Starter Kit tak firmám umožňuje rychlý a bezpečný vstup do světa umělé inteligence s možností postupného rozšiřování a přizpůsobování infrastruktury jejich specifickým potřebám.
