Nvidia Chat with RTX umožní vytvářet a lokálně provozovat AI chatboty

20. 2. 2024. (redaktor: František Doupal, zdroj: Nvidia)
Chatboty běžící díky cloudovým serverům založeným na technologiích společnosti NVIDIA využívají každý den miliony lidí po celém světě. Nyní tyto nástroje přicházejí i na osobní počítače se systémem Windows vybavené grafickými kartami NVIDIA RTX.

Chat with RTX, který je nyní zdarma ke stažení, je technologická ukázka, která uživatelům umožňuje přizpůsobit chatbota jejich vlastnímu obsahu. Nástroj lze spustit pomocí GPU NVIDIA GeForce RTX řady 30 nebo vyšší s alespoň 8 GB VRAM. Ke svému chodu využívá metodu generování s podporou vyhledávání, software NVIDIA TensorRT-LLM i akceleraci pomocí NVIDIA RTX.

Uživatelé také mohou rychle a snadno připojit místní soubory v počítači jako datovou sadu k rozsáhlému jazykovému modelu s otevřeným zdrojovým kódem, například Mistral nebo Llama 2, a umožnit tak rychlé a kontextově relevantní odpovědi na dotazy.

Aplikace Chat With RTX přitom podporuje různé formáty souborů včetně textu, souborů PDF, DOC/DOCX a XML. Zadat však lze např. i adresu URL se seznamem videí na YouTube a aplikace načte přepisy videí ze seznamu videí, což umožní dotazovat se na obsah, kterého se týkají.

Technologická demoverze aplikace Chat With RTX vychází z referenčního projektu pro vývojáře TensorRT-LLM RAG dostupného na GitHubu. Vývojáři jej mohou použít k vývoji a nasazení svých vlastních aplikací založených na RAG pro RTX a akcelerovaných technologií TensorRT-LLM.

Další informace získáte např. zde.

Video : 
Štítky: 
Umělá inteligence, Nvidia
Vytisknout Poslat e-mailem Sdílet na LinkedIn

Podobné články

Konference Red Hat Summit 2024 přinesla řadu novinek z oblasti open source a AI

10. 5. 2024. (redaktor: František Doupal, zdroj: Red Hat)
Setkání společnosti Red Hat v Denveru v Coloradu se stalo jednou z největších světových událostí v oblasti open source a mimo jiné nabídlo i řadu zásadních oznámení v oblasti podnikového využití umělé inteligence nebo cloudově nativních technologií. Čtěte více

Nová vlna zařízení podporujících práci s AI

6. 5. 2024. (redaktor: Michala Benešovská, zdroj: DCD Publishing)
Na trh začínají přicházet nová zařízení, která jsou uzpůsobená práci s umělou inteligencí. Přední výrobci následují trend rozšiřování nástrojů gen-AI a díky novému hardwaru umožňují odbavovat úlohy pro AI částečně lokálně, a tudíž rychleji. Čtěte více

HPE Aruba Networking: přístupové body Wi-Fi 7 řady 730

4. 5. 2024. (redaktor: František Doupal, zdroj: Hewlett Packard Enterprise)
Nové bezdrátové přístupové body řady 730 s Wi-Fi 7 představují komplexní IT řešení na okraj sítě, připravené pro implementaci technologií umělé inteligence. Nabízí bezpečné a výkonné připojení pro záznam a přenos dat pro trénink umělé inteligence a automatické vyvozování. Čtěte více

O důvěře zaměstnanců v umělou inteligenci rozhodne kvalita a přesnost generovaných dat

2. 5. 2024. (redaktor: František Doupal, zdroj: Salesforce)
Největším problémem umělé inteligence je špatná práce s daty, soudí podle průzkumu společnosti Salesforce analytici firem napříč světovými trhy. Téměř šest z deseti oslovených uživatelů AI tvrdí, že je obtížné získat od AI to, co zrovna potřebují, přičemž více než polovina respondentů tvrdí, že nedůvěřuje datům používaným k trénování dnešních systémů AI. Čtěte více