Chatboty používají každý den miliony lidí na celém světě a využívají jejich cloudové servery založené na GPU NVIDIA.

Nyní tyto průlomové nástroje přicházejí do počítačů se systémem Windows vybavené technologií NVIDIA RTX pro lokální, rychlou, vlastní generativní AI.

ChatRTX vám ve své technické demo verzi zdarma umožňuje personalizovat chatbota vlastním obsahem, zrychleným lokálním GPU NVIDIA GeForce RTX 30 Series nebo vyšším, s nejméně 8 GB RAM nebo VRAM.

Zeptat se můžete na cokoliv

ChatRTX využívá generování s rozšířeným vyhledáváním (RAG), software NVIDIA TensorRT-LLM a akceleraci NVIDIA RTX, aby přinesl možnosti generativní umělé inteligence do lokálních počítačů se systémem Windows využívající grafické karty GeForce RTX.

Můžete tak rychle a jednoduše připojit lokální soubory v počítači, jako soubor dat k otevřenému jazykovému modelu, Mistral nebo Llama 2, což umožňuje rychlé a kontextově relevantní odpovědi na dotazy.

To znamená, že namísto vyhledávání v poznámkách nebo uloženém obsahu můžete do chatu jednoduše zadávat dotazy. Můžete se například zeptat: „Jakou restauraci mi doporučil můj partner, když jsme byli v Praze?“ a ChatRTX prohledá místní soubory, na které ho odkážete, a poskytne odpověď s kontextem.

Nástroj podporuje různé formáty souborů včetně .txt, .pdf, .doc/.docx a .xml. Nasměrujete aplikaci na složku obsahující tyto soubory a nástroj je během několika sekund načte do své knihovny.

Zadat můžete například i odkaz na YouTube video a následně vkládat do chatu otázku spojenou s obsahem samotného videa. ChatRTX pracuje s textovým přepisem videa. Bude tak umět odpovědět na témata, o kterých se ve videu přímo mluví.

Údaje zůstávají ve vašem zařízení

Protože ChatRTX běží lokálně na počítačích a pracovních stanicích se systémem Windows a grafickými kartami GeForce RTX, poskytované výsledky jsou rychlé - a vaše data zůstávají ve vašem zařízení.

Namísto spoléhání se na cloudové služby LLM umožňuje ChatRTX zpracovávat citlivá data na místním počítači, bez potřeby sdílet je s třetí stranou nebo mít připojení na internet.

Kromě grafického procesoru GeForce RTX řady 30 nebo vyšší s minimálně 8 GB VRAM vyžaduje ChatRTX systém Windows 10 nebo 11 a nejnovější ovladače grafického procesoru NVIDIA.

Stáhnout si jej můžete na tomto odkazu.