A Nvidia lançou uma aplicação de demonstração que permite rodar um assistente IA pessoal no seu PC utilizando placas de vídeo específicas. O Chat with RTX funciona no Windows 11 e requer uma GPU GeForce RTX Série 30 ou 40 (ou uma GPU das gerações Ampere ou Ada). Ele usa uma técnica chamada RAG (retrieval-augmented generation), combinada com TensorRT-LLM e aceleração RTX, para criar um modelo de linguagem grande (LLM) GPT personalizado com base no seu próprio conteúdo.
Você pode alimentá-lo não apenas com seus textos e documentos, mas também com vídeos da internet, incluindo clipes do YouTube. Basta colar a URL do vídeo na plataforma e fazer qualquer pergunta relacionada ao conteúdo apresentado.
Como o nome sugere, a RAG é uma técnica que melhora a precisão e confiabilidade dos modelos de IA generativa usando informações coletadas de fontes externas. A própria Nvidia oferece um artigo completo sobre o assunto para quem quiser se aprofundar (link no artigo original).
Por rodar localmente no seu computador, em vez da nuvem, e ser treinado com seus dados pessoais, o Chat with RTX promete ser rápido e relevante ao contexto. A Nvidia também garante a segurança dos resultados, já que nenhum dado sensível é transmitido pela internet.
Tom Warren, do The Verge, testou uma versão preliminar do Chat with RTX e, embora tenha encontrado algumas imperfeições, acredita que a ferramenta possa ser valiosa para jornalistas ou qualquer pessoa que precise analisar documentos. Por exemplo, Warren conseguiu fazer o bot resumir toda a estratégia do Xbox Game Pass da Microsoft usando documentos jurídicos do processo da empresa contra a FTC.
No entanto, a integração com vídeos apresentou alguns bugs durante o teste, como carregar por engano a transcrição de um vídeo completamente diferente do selecionado, e nem mesmo era um vídeo que Warren havia consultado anteriormente.
Vai te interessar: AMD RDNA 4 pode bater RTX 4080 e 4060 Ti
