Nvidia Chat with RTX umožní vytvářet a lokálně provozovat AI chatboty

20. 2. 2024. (redaktor: František Doupal, zdroj: Nvidia)
Chatboty běžící díky cloudovým serverům založeným na technologiích společnosti NVIDIA využívají každý den miliony lidí po celém světě. Nyní tyto nástroje přicházejí i na osobní počítače se systémem Windows vybavené grafickými kartami NVIDIA RTX.

Chat with RTX, který je nyní zdarma ke stažení, je technologická ukázka, která uživatelům umožňuje přizpůsobit chatbota jejich vlastnímu obsahu. Nástroj lze spustit pomocí GPU NVIDIA GeForce RTX řady 30 nebo vyšší s alespoň 8 GB VRAM. Ke svému chodu využívá metodu generování s podporou vyhledávání, software NVIDIA TensorRT-LLM i akceleraci pomocí NVIDIA RTX.

Uživatelé také mohou rychle a snadno připojit místní soubory v počítači jako datovou sadu k rozsáhlému jazykovému modelu s otevřeným zdrojovým kódem, například Mistral nebo Llama 2, a umožnit tak rychlé a kontextově relevantní odpovědi na dotazy.

Aplikace Chat With RTX přitom podporuje různé formáty souborů včetně textu, souborů PDF, DOC/DOCX a XML. Zadat však lze např. i adresu URL se seznamem videí na YouTube a aplikace načte přepisy videí ze seznamu videí, což umožní dotazovat se na obsah, kterého se týkají.

Technologická demoverze aplikace Chat With RTX vychází z referenčního projektu pro vývojáře TensorRT-LLM RAG dostupného na GitHubu. Vývojáři jej mohou použít k vývoji a nasazení svých vlastních aplikací založených na RAG pro RTX a akcelerovaných technologií TensorRT-LLM.

Další informace získáte např. zde.

Video : 
Štítky: 
Umělá inteligence, Nvidia
Vytisknout Poslat e-mailem Sdílet na LinkedIn

Podobné články

Audiopro přináší do ČR značku Cabolo, specialistu na AI přepis hlasu na text v reálném čase

23. 4. 2024. (redaktor: František Doupal, zdroj: Audiopro)
Česká společnost Audiopro do České republiky přináší italskou značku Cabolo, která poskytuje řešení z oblasti automatického přepisu hlasu v reálném čase za využití umělé inteligence. Čtěte více

AMD představilo nové procesory Ryzen Pro řady 8000 a Ryzen Pro řady 8040 se Zen 4 a AI jádry

18. 4. 2024. (redaktor: František Doupal, zdroj: AMD)
Obě nové procesorové série vycházejí z dříve představených spotřebitelských CPU. I v tomto případě je přítomna dedikovaná NPU jednotka, navíc jsou zde však funkce určené pro nasazení v korporátním prostředí. Zatímco řada Ryzen Pro 8040 míří do přenosných počítačů a pracovních stanic, APU řady Ryzen Pro 8000 se stanou prvními desktopovými x86 procesory s dedikovanou jednotkou pro AI výpočty. Čtěte více
Adam Paclt, generální ředitel společnosti IceWarp

Současné AI nástroje jsou jen „škrábáním po povrchu“

15. 4. 2024. (redaktor: František Doupal, zdroj: IceWarp )
Umělá inteligence tak, jak ji známe dnes v podobě různých chatovacích nástrojů, je jen odrazovým můstkem k tomu, co tato technologie nabídne v blízké budoucnosti. Jakmile se AI nasadí na kvantové počítače, dojde k nebývalému rozvoji ve všech oborech. Čtěte více

Nová pravidla pro firemní AI mohou katapultovat Evropu do popředí

15. 4. 2024. (redaktor: František Doupal, zdroj: RSM)
V Evropské unii začala platit nová pravidla pro využití AI ve firmách. Obavy ze zaostávání za zbytkem světa jsou zbytečné, Evropa se může stát v revoluční technologii světovým lídrem. Nejinak je tomu i u Česka. S pravidly padla legislativní bariéra v podnikovém využívání AI a je na českých manažerech, aby zvedli hozenou rukavici. Čtěte více