QNAP představil Edge AI úložný server pro privátní LLM a generativní AI

Řešení QAI-h1290FX je postaveno na serverovém procesoru AMD EPYC s podporou akcelerace NVIDIA RTX GPU a disponuje dvanácti sloty pro U.2 NVMe/SATA SSD. Díky svým vlastnostem představuje QAI-h1290FX výkonnou on-prem AI infrastrukturu pro organizace, které požadují nízkou latenci při inferenci, plnou ochranu dat a kontrolu nad provozem bez závislosti na cloudu.

Díky operačnímu systému QuTS hero na bázi ZFS nabízí platforma QAI-h1290FX integritu dat na podnikové úrovni, téměř neomezený počet snímků a inline deduplikaci. Podporuje nativní přístup ke GPU v kontejnerech prostřednictvím Container Station a GPU passthrough pro virtuální stroje pomocí Virtualizační Stanice. IT týmy, vývojáři a výzkumné skupiny mohou efektivně provozovat inferenční modely, generativní AI aplikace a RAG pipeline (datové toky) s plnou kontrolou nad výkonem a alokací zdrojů.

QAI-h1290FX obsahuje pečlivě vybranou sadu předinstalovaných AI nástrojů, jako jsou AnythingLLM, OpenWebUI a Ollama, což umožňuje rychlé nasazení privátních LLM workflow. Další AI aplikace jako Stable Diffusion, ComfyUI, n8n a vLLM jsou postupně integrovány pro rozšíření funkcí. To uživatelům umožňuje rychle budovat on-prem AI platformy a automatizovat pracovní postupy v bezpečném, škálovatelném a plně kontrolovaném prostředí.

Klíčové vlastnosti QAI-h1290FX:

• All-flash úložiště: Dvanáct slotů pro U.2 NVMe/SATA SSD a ultrarychlé I/O pro vysokofrekvenční spouštění AI modelů a streamování dat.
• 16jádrový procesor AMD EPYC 7302P: Možnost současně provozovat 32 vláken serverového výpočetního výkonu je ideální pro AI inference, virtualizaci a náročné paralelní úlohy.
• Architektura připravená pro GPU: Podporuje volitelnou grafickou kartu pro pracovní stanice GPU NVIDIA RTX PRO 6000 Blackwell Max-Q s až 96 GB paměti GPU a CUDA, TensorRT a akcelerace Transformer Engine. Výrazně zvyšuje výkon pro lokální inference LLM, generování obrázků a pracovní zátěže hlubokého učení.
• Kontejnerové AI prostředí a správa GPU zdrojů: Podporuje Docker a LXD s intuitivním přidělováním GPU. Uživatelé mohou rychle spouštět AI nástroje přes integrované centrum AI aplikací a přidělovat GPU prostředky bez konfigurace přes příkazový řádek.
• Plně lokální nasazení bez závislosti na cloudu: Provozovat lze AI chatovací asistenty, vyhledávače dokumentů nebo znalostní báze plně lokálně. Uchovávejte citlivá data interně a zároveň urychlete AI pracovní postupy.
• Vysokorychlostní síť a škálovatelná architektura: Obsahuje dva porty 25GbE a dva porty 2,5GbE. Sloty PCIe umožňují volitelné rozšíření na 100GbE. Kompatibilní s QNAP rozšiřujícími JBOD jednotkami pro rozsáhlé ukládání AI dat.

Přehled případů využití

• Interní AI asistenti / lokální chatovací aplikace: Vhodné pro nasazení konverzačních AI rozhraní pro vyhledávání znalostí, školení zaměstnanců a dotazy na firemní pravidla. Vše plně pod kontrolou uživatele.
• Podnikové vyhledávání RAG: Dovoluje zprovoznit soukromé RAG pipeline pro rychlé a kontextové vyhledávání ve smlouvách, reportech a interních dokumentech.
• Generování obrázků pro kreativní týmy: Zvládá provozovat Stable Diffusion nebo ComfyUI pro designové pracovní postupy s podporou AI a generování vizuálního obsahu.
• IT automatizace řízená AI: Umožňuje využívat služby jako n8n k automatizaci inferenčních úloh, generování obsahu nebo upozornění a AI snadno integrovat do firemních procesů.