Nvidia의 최신 AI 챗봇은 PC에서 독립적으로 작동하며 완전히 무료입니다.

Nvidia의 GeForce RTX 40 시리즈 GPU.

GeForce RTX 30 시리즈 이상의 GPU를 소유한 경우 "Chat with RTX"라는 데모 앱을 사용하면 인터넷 연결이 필요 없는 개인화된 콘텐츠 서비스를 이용할 수 있습니다.

엔비디아는 최소 8GB의 VRAM을 갖춘 RTX 30 또는 40 시리즈 그래픽 카드가 장착된 모든 PC에서 실행할 수 있는 AI 챗봇인 Chat with RTX를 출시했습니다.

로컬 문서나 YouTube 동영상을 검색하고 요약하는 기능도 지원됩니다.

추천 읽기:[세계 최고의 AI 챗봇: ChatGPT 및 기타 대안]

엔비디아의 TensorRT-LLM 소프트웨어로 구동되는 이 앱은 콘텐츠를 생성할 뿐만 아니라 사용자가 제공한 자료에서 학습하며, .txt, .pdf, .doc/.docx, .xml 등의 파일 유형을 지원하고 YouTube 동영상 URL로 연결할 수 있는 기능도 갖추고 있습니다.

로봇을 학습시키는 데 사용되는 콘텐츠를 선택한 후 사용자는 해당 콘텐츠에 대한 맞춤형 질문을 로봇에게 할 수 있습니다. 예를 들어, 봇은 YouTube 교육용 비디오의 단계별 지침을 설명하거나 쇼핑 목록에 어떤 배터리가 있는지 알려줄 수 있습니다.

봇은 사용자가 선호하는 콘텐츠를 기반으로 학습되어 전체 경험을 더욱 개인적이고 맞춤화할 수 있습니다. 또한 현지화된 데이터 처리로 사용자 정보의 프라이버시를 보장합니다." Chat with RTX'는 클라우드 서비스에 의존하지 않고 네트워크가 없는 환경에서도 신속하게 대응할 수 있어 사용자 데이터의 보안을 보장합니다.

참조:[ChatGPT와 코파일럿: 어떤 인공지능 챗봇이 더 나을까요?]

이 챗봇을 실행하려면 최소 8GB의 비디오 메모리를 갖춘 Nvidia의 GeForce RTX 30 시리즈 이상의 GPU가 필요합니다." 또한 RTX로 채팅하려면 Windows 10 또는 11 운영 체제와 최신 Nvidia GPU 드라이버가 필요합니다.

엔비디아는 자사의 TensorRT-LLM 소프트웨어가 검색 증강 생성(RAG)과 RTX 가속을 결합하여 로컬 파일을 지식 베이스로 사용하고 다음과 같은 기능을 결합함으로써 네트워크에 의존하지 않고 "RTX와 채팅"을 할 수 있음을 보여주었습니다. 미스트랄 와 라마 2와 같은 오픈 소스 대규모 언어 모델(LLM)을 사용하여 정확한 답변을 제공합니다.

RTX 리뷰와 채팅하기

엔비디아는 오늘 [...]를 공개했습니다.RTX와 채팅하기의 초기 버전 - PC에서 나만의 AI 챗봇을 실행할 수 있는 데모 앱입니다. YouTube 동영상이든 개인 문서든, 개인 데이터를 기반으로 요약을 생성하거나 관련 답변을 얻는 데 사용할 수 있습니다. 전체 프로세스는 전적으로 로컬 컴퓨터에서 이루어지며, 최소 8GB 이상의 VRAM이 장착된 RTX 30 또는 40 시리즈 그래픽 카드만 있으면 됩니다.

지난 하루 동안 RTX로 채팅을 잠시 사용해 본 결과, 아직은 초보적인 수준이지만 저널리스트와 수많은 문서를 분석해야 하는 모든 사용자에게 데이터 연구에 유용한 도구가 될 수 있는 잠재력을 이미 확인할 수 있었습니다.

실시간 채팅은 YouTube 동영상 처리를 지원하며, 동영상 URL을 입력하기만 하면 특정 자막을 검색하거나 전체 동영상을 요약할 수 있습니다. 이 기능은 특히 동영상 팟캐스트를 검색할 때, 특히 최근 마이크로소프트의 새로운 Xbox 전략 전환에 대한 소문이 돌던 주에 특정 콘텐츠를 찾을 때 유용하게 사용했습니다.

하지만 YouTube 동영상 검색에 있어서는 완벽하지 않습니다. 버지_에서 YouTube 동영상의 자막을 검색하려고 할 때, 이전 버전의 버그인 것처럼 보이는 완전히 다른 동영상의 자막을 다운로드하는 경우가 있습니다.

그림 1: RTX로 채팅하는 기능은 로컬 문서 검색에 탁월합니다.

제대로 작동하면 몇 초 안에 동영상에서 관련 콘텐츠를 찾을 수 있었습니다. 저는 _FTC 대 Microsoft_ 사건의 문서 세트를 분석하는 데도 RTX로 채팅을 사용했습니다. 작년에 이 사건을 보도하면서 수많은 문서를 빠르게 검색했습니다.

문서화 작업은 큰 도전이지만, RTX와의 채팅을 사용하면 거의 즉시 쿼리를 완료할 수 있습니다.

예를 들어, 챗봇은 재판에서 공개된 내부 문서에서 Microsoft의 Xbox Game Pass 전략을 정확하게 요약할 수 있었습니다:

제공된 배경 정보에 따르면 Xbox Game Pass는 월별 요금을 지불하면 게임 라이브러리에 액세스할 수 있는 게임 콘텐츠 구독 서비스입니다. 게이머는 어디서나 게임을 플레이할 수 있고, 퍼블리셔는 전 세계 게이머에게 다가갈 수 있는 플랫폼이 되기 위한 서비스입니다. 이 서비스는 프로젝트 엑스클라우드와 엑스박스 시리즈 X의 지원을 받으며, 퍼블리셔에게 게임을 실현할 수 있는 유리한 환경을 제공하는 것을 목표로 합니다. 게임 CSA의 핵심 전략 목표는 최대 7억 5천만 명의 잠재적 구독자를 보유한 글로벌 시장에서 Xbox Game Pass를 확장하는 것입니다. 이 서비스는 차별화된 콘텐츠에 대한 수요, 콘솔을 넘어선 플랫폼으로의 확장, 제한된 콘텐츠 가용성이라는 세 가지 주요 콘텐츠 과제에 직면해 있습니다.

또한 이 도구는 PDF 문서를 빠르게 스캔하고 데이터를 검증하는 데에도 유용했습니다. Microsoft의 자체 Copilot 시스템은 Word 내의 PDF 파일을 잘 처리하지 못하지만, Nvidia의 Chat with RTX는 모든 주요 정보를 쉽게 추출할 수 있었고 응답 속도가 매우 빨라 지연 시간이 거의 없어 클라우드 기반 ChatGPT 또는 Copilot 챗봇을 사용할 때와는 매우 다른 경험을 할 수 있었습니다.

Chat with RTX의 가장 큰 결점은 초기 개발자 데모처럼 느껴진다는 점입니다. 실제로 Chat with RTX는 PC에 웹 서버와 Python 인스턴스를 설치하고, 미스트랄 또는 라마 2 모델을 통해 들어오는 데이터를 처리한 다음, 엔비디아의 텐서 코어를 사용하여 RTX GPU를 통해 쿼리 프로세스를 가속화합니다.

그림 2: RTX를 사용한 채팅의 정확도는 때때로 왜곡될 수 있습니다.

인텔 코어 i9-14900K 프로세서와 RTX 4090 GPU가 장착된 제 PC에서 RTX로 채팅을 설치하는 데 약 30분이 걸렸습니다. 애플리케이션의 크기는 거의 40GB에 달하며, 제 시스템의 총 64GB RAM 중 파이썬 인스턴스는 약 3GB의 RAM을 차지했습니다.일단 실행이 완료되면 브라우저를 통해 Chat with RTX에 액세스할 수 있으며, 명령 프롬프트를 통해 프로세스 및 모든 오류 코드가 백그라운드에서 표시됩니다.

엔비디아는 모든 RTX 사용자가 즉시 다운로드하여 설치해야 하는 정식 애플리케이션으로 출시하지 않았습니다. 이 앱에는 알려진 몇 가지 문제와 한계가 있는데, 그중에는 소스 어트리뷰션이 항상 정확하지 않을 수 있다는 사실도 있습니다. 처음에는 25,000개의 문서를 색인화하려고 시도했지만 앱이 충돌하고 환경설정을 지워야 다시 시작할 수 있었습니다.

또한 RTX와의 채팅은 이전 컨텍스트를 기억하지 않으므로 후속 이슈는 이전 이슈의 컨텍스트를 기반으로 할 수 없습니다. 또한 인덱스 폴더 내에 JSON 파일을 생성하므로 Windows의 문서 폴더에서 이 기능을 전반적으로 사용하지 않는 것이 좋습니다.

그럼에도 불구하고 저는 여전히 이와 같은 기술 데모에 큰 관심을 가지고 있으며, 엔비디아는 이 분야에서 가능성을 보여주었습니다. 이는 특히 개인 파일을 분석하기 위해 Copilot Pro나 ChatGPT Plus와 같은 서비스에 가입하고 싶지 않은 사람들에게는 PC에서 로컬로 실행되는 AI 챗봇의 미래에 좋은 징조입니다.

RTX로 채팅하기 다운로드

다운로드하려면 클릭