Новейший чатбот с искусственным интеллектом от Nvidia работает самостоятельно на вашем компьютере и совершенно бесплатно.

Графические процессоры серии GeForce RTX 40 от Nvidia.

Если вы являетесь владельцем графического процессора GeForce RTX 30-й серии или новее, демо-приложение под названием "Чат с RTX" позволяет использовать персонализированные контент-сервисы, не требующие подключения к Интернету.

Компания Nvidia выпустила Chat with RTX - чат-бота с искусственным интеллектом, способного работать на любом компьютере, оснащенном видеокартой серии RTX 30 или 40 с не менее чем 8 ГБ VRAM.

Также поддерживается поиск и обобщение локальных документов или видеороликов с YouTube.

Рекомендуем прочитать:[Лучшие в мире чат-боты с искусственным интеллектом: ChatGPT и другие альтернативы].

Работающее на базе программного обеспечения TensorRT-LLM от Nvidia, приложение не только генерирует контент, но и обучается на основе предоставленных пользователем материалов, поддерживая такие типы файлов, как .txt, .pdf, .doc/.docx, .xml, а также возможность ссылки на URL видео с YouTube.

После выбора контента, используемого для обучения робота, пользователи могут задавать ему индивидуальные вопросы по этому контенту. Например, бот может изложить пошаговые инструкции из обучающего видео на YouTube или сказать пользователю, какая батарейка записана в его списке покупок.

Боты обучаются на основе предпочитаемого пользователем контента, что делает весь опыт более личным и индивидуальным. А локализованная обработка данных обеспечивает конфиденциальность пользовательской информации". Чат с RTX" гарантирует безопасность пользовательских данных, поскольку не зависит от облачных сервисов и может быстро реагировать даже в условиях отсутствия сети.

См. также:[ChatGPT vs Copilot: какой чатбот с искусственным интеллектом лучше для вас?]

Для запуска этого чатбота вам понадобится графический процессор Nvidia серии GeForce RTX 30 или лучше с не менее чем 8 ГБ видеопамяти". Для работы чата с RTX также требуется операционная система Windows 10 или 11 и последние версии драйверов Nvidia GPU.

Nvidia показала, что ее программное обеспечение TensorRT-LLM сочетает в себе Retrieval Augmented Generation (RAG) и ускорение RTX, что позволяет "общаться с RTX", не полагаясь на сеть, используя локальные файлы в качестве базы знаний и комбинируя их с такими функциями, как Мистраль и открытые языковые модели (Large Language Models, LLM), такие как Llama 2, для получения точных ответов.

Чат с RTX Review

Сегодня компания Nvidia представила свой [Чат с RTXРанняя версия ] - демонстрационного приложения, позволяющего запустить собственный чатбот с искусственным интеллектом на вашем компьютере. Будь то видеоролик на YouTube или личный документ, он может быть использован для создания резюме или получения релевантных ответов на основе личных данных. Весь процесс происходит исключительно на локальном компьютере, и все, что вам нужно, - это видеокарта серии RTX 30 или 40 с не менее чем 8 ГБ VRAM.

За прошедший день мне довелось немного поработать с RTX, и хотя приложение пока еще рудиментарно, я уже вижу, что оно может стать ценным инструментом для исследования данных, как для журналистов, так и для всех пользователей, которым нужно анализировать множество документов.

Chat with RTX поддерживает работу с видео на YouTube: достаточно ввести URL-адрес видео, и он позволяет искать конкретные субтитры или краткое содержание всего видео. Для меня это особенно полезно при поиске видеоподкастов, особенно когда я искал конкретный контент из недавней недели слухов о новой смене стратегии Xbox от Microsoft.

Однако при поиске видео на YouTube он не идеален. При попытке поиска субтитров для видео на YouTube с сайта _Verge_, Chat with RTX загружает субтитры для совершенно другого видео, что, по-видимому, является ошибкой предыдущих версий.

Рисунок 1: Чат с RTX отлично справляется с поиском локальных документов.

Когда он работает правильно, я могу найти соответствующий контент в видео в течение нескольких секунд. Я также использовал Chat with RTX для анализа набора документов по делу _FTC против Microsoft_. Во время подготовки репортажа по этому делу в прошлом году я быстро просмотрел большое количество

Документация - это большая проблема, но Чат с RTX позволяет мне выполнять запросы практически мгновенно.

Например, чатбот смог точно описать стратегию Xbox Game Pass компании Microsoft на основе внутренних документов, обнародованных в ходе судебного разбирательства:

Согласно представленной справочной информации, Xbox Game Pass - это сервис подписки на игровой контент, предоставляющий доступ к библиотеке игр за единую ежемесячную плату. Он задуман как платформа, позволяющая геймерам играть в свои игры в любом месте, а издателям - работать с геймерами по всему миру. Сервис поддерживается Project xCloud и Xbox Series X и призван обеспечить издателям благоприятные условия для реализации их игр. Основной стратегической целью Gaming CSA является масштабирование Xbox Game Pass с глобальным рынком до 750 миллионов потенциальных подписчиков. Перед сервисом стоят три основные задачи: спрос на дифференцированный контент, распространение на платформы помимо консолей и ограниченная доступность контента.

Я также обнаружил, что этот инструмент помогает быстро сканировать PDF-документы и проверять данные. Хотя собственная система Copilot от Microsoft не очень хорошо справляется с PDF-файлами в Word, Chat от Nvidia с RTX смог легко извлечь всю ключевую информацию и был настолько отзывчив, что практически не ощущал задержек, что очень отличается от использования облачных чат-ботов ChatGPT или Copilot.

Главный недостаток Chat with RTX заключается в том, что он действительно похож на начальную демонстрацию для разработчиков. В действительности Chat with RTX устанавливает на ваш компьютер веб-сервер и экземпляр Python, обрабатывает входящие данные с помощью модели Mistral или Llama 2, а затем использует ядро Tensor от Nvidia для ускорения процесса запросов с помощью графических процессоров RTX.

Рисунок 2: Точность чата с RTX иногда искажается.

На моем компьютере с процессором Intel Core i9-14900K и графическим процессором RTX 4090 установка Chat with RTX заняла около 30 минут. Размер приложения составляет почти 40 ГБ, а экземпляр Python занимает около 3 ГБ оперативной памяти из 64 ГБ оперативной памяти в моей системе. После установки и запуска вы можете получить доступ к Chat with RTX через браузер, в фоновом режиме отображая процесс и любые коды ошибок через командную строку.

Nvidia не запустила его как полноценное приложение, которое все пользователи RTX должны немедленно скачать и установить. В приложении есть некоторые известные проблемы и ограничения, в том числе то, что атрибуция источника не всегда может быть точной. Сначала я пытался заставить его проиндексировать 25 000 документов, но это привело к сбою приложения, и для перезапуска пришлось очистить настройки.

Кроме того, Chat with RTX не запоминает предыдущий контекст, поэтому последующие вопросы не могут быть основаны на контексте предыдущего вопроса. Кроме того, он создает файлы JSON внутри индексной папки, поэтому я не рекомендую использовать эту функцию повсеместно в папке "Документы" на Windows.

Тем не менее, мне по-прежнему очень интересны подобные демонстрации технологий, и Nvidia действительно продемонстрировала потенциал в этой области. Это предвещает будущее чат-ботов с искусственным интеллектом, работающих локально на ПК, особенно для тех, кто не хочет подписываться на такие сервисы, как Copilot Pro или ChatGPT Plus, чтобы анализировать личные файлы.

Чат с RTX Скачать

Нажмите, чтобы скачать