Nemotron 3.5 Lightning nabízí až 4× rychlejší generování tokenů a o 30 % kratší dobu potřebnou k dokončení úloh než jiné modely ve své třídě. Díky otevřeným vahám mohou uživatelé model dále dolaďovat pomocí vlastních příkladů a vytvářet si tak personalizované lokální AI nástroje (od asistentů pro e-mail a kalendář přes agenty pro chytrou domácnost až po programovací asistenty, kteří pracují s lokálními zdrojovými kódy).

Systém je doplněn o open-source knihovnu NeMo Switchyard pro směrování úloh, která vývojářům pomáhá vyvažovat přesnost, rychlost a náklady mezi jednotlivými modely.

Další novinky

Na uvedení platformy Nemotron 3.5 Lightning navazují také další novinky z oblasti lokální AI. Patří mezi ně například:

• Škálování DGX Spark pomocí NVIDIA Sync Cluster Assistant: Nástroj umožňuje propojit dva a více systémů do vysokorychlostního clusteru a zjednodušuje síťovou konfiguraci, směrování úloh i monitoring stavu jednotlivých systémů.
• Více možností pro DGX Spark: Google Chrome bude k dispozici jako nativní ARM64 build pro Linux. Nový NVIDIA Sync Resource Monitor zároveň nabídne přehled o využití CPU a GPU v reálném čase i v historickém kontextu, a to jak pro jednotlivý systém, tak pro celý cluster.
• Lokální provoz modelu Meta Muse Glimmer: Model s 30 miliardami parametrů a otevřenými vahami je optimalizován pro nepřetržitě běžící lokální AI agenty. Na GPU NVIDIA GeForce RTX 5090 dosahuje rychlosti více než 200 tokenů za sekundu.
• Tvorba kvalitního videa přímo na lokálním zařízení s LTX-2.5: Otevřený model pro generování videa přináší podporu vícesnímkového generování a generativních úprav. Na platformách NVIDIA RTX, DGX Spark a DGX Station nabízí až dvojnásobný nárůst výkonu a zároveň snižuje nároky na paměť o 40 %.
• Další otevřené modely s akcelerací NVIDIA: Mezi nově podporované modely patří například Cosmos 3 Edge, MiniMax-H3, Laguna S 2.1 od Poolside, DeepSeek-V4-Flash, Inkling-Small od Thinking Machines Lab, Unsloth Desktop a Wan-Animate-2.