Nvidia Chat with RTX umožní vytvářet a lokálně provozovat AI chatboty

20. 2. 2024. (redaktor: František Doupal, zdroj: Nvidia)
Chatboty běžící díky cloudovým serverům založeným na technologiích společnosti NVIDIA využívají každý den miliony lidí po celém světě. Nyní tyto nástroje přicházejí i na osobní počítače se systémem Windows vybavené grafickými kartami NVIDIA RTX.

Chat with RTX, který je nyní zdarma ke stažení, je technologická ukázka, která uživatelům umožňuje přizpůsobit chatbota jejich vlastnímu obsahu. Nástroj lze spustit pomocí GPU NVIDIA GeForce RTX řady 30 nebo vyšší s alespoň 8 GB VRAM. Ke svému chodu využívá metodu generování s podporou vyhledávání, software NVIDIA TensorRT-LLM i akceleraci pomocí NVIDIA RTX.

Uživatelé také mohou rychle a snadno připojit místní soubory v počítači jako datovou sadu k rozsáhlému jazykovému modelu s otevřeným zdrojovým kódem, například Mistral nebo Llama 2, a umožnit tak rychlé a kontextově relevantní odpovědi na dotazy.

Aplikace Chat With RTX přitom podporuje různé formáty souborů včetně textu, souborů PDF, DOC/DOCX a XML. Zadat však lze např. i adresu URL se seznamem videí na YouTube a aplikace načte přepisy videí ze seznamu videí, což umožní dotazovat se na obsah, kterého se týkají.

Technologická demoverze aplikace Chat With RTX vychází z referenčního projektu pro vývojáře TensorRT-LLM RAG dostupného na GitHubu. Vývojáři jej mohou použít k vývoji a nasazení svých vlastních aplikací založených na RAG pro RTX a akcelerovaných technologií TensorRT-LLM.

Další informace získáte např. zde.

Video : 
Štítky: 
Umělá inteligence, Nvidia
Vytisknout Poslat e-mailem Sdílet na LinkedIn

Podobné články

Počítače s AI budou do konce roku 2025 tvořit 31 % veškerých prodejů

5. 9. 2025. (redaktor: František Doupal, zdroj: Gartner)
Podle společnosti Gartner budou počítače s nativní podporou umělé inteligence (AI) do konce roku 2025 představovat 31 % celosvětového trhu. Celkem by se jich mělo letos prodat 77,8 milionů kusů. Čtěte více

Agentní AI v příštích letech ovládne rozpočty firem na IT

28. 8. 2025. (redaktor: František Doupal, zdroj: IDC)
Agentická umělá inteligence bude podle IDC v příštích pěti letech dominovat růstu firemních rozpočtů na IT. V roce 2029 do ní budou podniky investovat přibližně 1,3 biliionu dolarů. Bezprecedentní růstová prognóza navíc signalizuje transformaci IT od softwaru k produktům a službám založeným na umělé inteligenci. Čtěte více

Globální výdaje koncových uživatelů na modely GenAI letos dosáhnou 14,2 miliardy USD

28. 7. 2025. (redaktor: František Doupal, zdroj: Gartner)
Celosvětové výdaje koncových uživatelů na generativní modely AI (GenAI) v roce 2025 podle Gartneru letos vyšplhají na 14,2 miliardy dolarů. Výdaje na specializované modely GenAI, specifické pro konkrétní oblasti, letos dosáhnou 1,1 miliardy dolarů. Čtěte více
Martina Vlčková, CCO v SWS

Martina Vlčková (ALSO/SWS): Naše nabídka se výrazně rozšířila

2. 7. 2025. (redaktor: František Doupal, zdroj: DCD Publishing a ALSO/SWS)
S Martinou Vlčkovou, CCO v SWS, jsme při příležitosti letošního ALSO Cloud Summitu v Hradci Králové hovořili o aktuálním dění v této společnosti. Z rozhovoru se třeba dozvíte, jak se firmě aktuálně daří, jaké má plány do budoucna, kam by se chtěla posouvat a jak by se chtěla profilovat směrem k resellerům. Čtěte více