https://www.aitimes.com/news/articleView.html?idxno=157162

엔비디아가 구글의 '공부 노트 만들어주는 앱'과 유사한 챗봇 구축 도구를 공개했다. 사용자만의 콘텐츠로 윈도우 PC에서 로컬로 실행되는 온디바이스 AI 챗봇을 구축한다는 점이 특징이다.

벤처비트는 13일(현지시간) 엔비디아가 윈도우 PC에서 개인화된 챗봇을 구축할 수 있는 도구 ‘챗 위드 RTX(Chat with RTX)’를 공개했다고 보도했다. 

이에 따르면 ‘챗 위드 RTX’는 8GB 이상의 비디오 랜덤 액세스 메모리(VRAM)와 16GB 이상의 시스템 메모리를 갖춘 엔비디아 지포스 RTX 30 시리즈 이상의 GPU가 장착된 윈도우 PC에서 구동된다. 현재 무료 다운로드가 가능하다.

엔비디아는 “이제 엔비디아 RTX 기반의 윈도 PC에서 인터넷 연결 없이 챗봇 사용이 가능해졌다”라며 “사용자는 자신만의 콘텐츠로 챗봇을 개인화할 수 있다”라고 밝혔다.

이 도구는 검색 증강 생성(RAG), 엔비디아 텐서RT-LLM(TensorRT-LLM) 소프트웨어, 엔비디아 RTX 가속화 등을 사용해 RTX GPU 기반 윈도우 PC에서 로컬로 실행되는 AI 챗봇 기능을 제공한다. 특히 RAG를 활용하면 자신만의 데이터에서 필요한 정보를 대화를 통해 찾아낼 수 있다.

사용자는 PC의 로컬 파일을 데이터셋으로 '미스트랄'이나 '라마 2'와 같은 오픈 소스 대형언어모델(LLM)에 연결해 상황에 맞는 답변을 얻을 수 있다. 인터넷으로 LLM에 연결하는 것이 아니라, 컴퓨터에 모델을 다운로드하는 식이다. 선택한 모델에 따라 50GB에서 100GB까지 저장 공간을 차지할 수 있다.

기존처럼 필요한 콘텐츠를 확인하기 위해 별도의 메모장을 열거나 검색하는 대신, PC에 챗봇을 구축해 물어보면 된다. 예를 들어 “라스베이거스에 있을 때 내 친구가 추천한 레스토랑이 어디야”라고 질문하면, 챗 위드 RTX가 사용자 PC에 저장된 파일을 스캔해 답변을 제공한다. 

이 도구는 .txt, .pdf, .doc, .docx, .xml 등 다양한 파일 형식을 지원한다. 해당 형식의 파일들을 포함한 폴더를 가리키면, 이 파일들은 몇 초 만에 라이브러리에 로드된다.

특히 유튜브 동영상이나 재생 목록의 정보도 포함할 수 있다. RTX에 동영상 URL을 추가하면 동영상의 스크립트를 로드해 상황에 맞는 답변을 할 수 있다. 

이처럼 개인의 PC에 저장된 문서나 데이터에서 필요한 정보를 빠르게 확인하는 것이 가능, 목적에 따라서 활용도가 매우 높다는 평가가 나온다.

이는 구글이 지난해 12월 정식 출시한 AI 앱 ‘노트북LM(NotebookLM)’과 흡사하다. 이 앱도 사용자가 업로드한 문서를 토대로 질문에 답하거나 분석해 요약할 수 있는 개인용 생성 AI 모델이다.

하지만 챗 위드 RTX는 윈도우 RTX PC와 워크스테이션에서 로컬로 실행되기 때문에 결과가 빠르게 제공되고, 사용자의 데이터는 디바이스에 그대로 유지된다. 또 클라우드 기반 LLM 서비스 대신 챗 위드 RTX를 사용하면 민감한 데이터를 제3자와 공유하거나 인터넷에 연결하지 않고도 처리할 수 있다.

다만, 챗 위드 RTX와의 채팅은 문맥을 기억하지 못해 후속 질문에 답할 때 이전 질문을 고려하지 않는다. 예를 들어 “북아메리카에 흔한 새는 무엇인가”라고 물은 다음 "색깔은 무엇인가"라고 질문하면 쳇 위드 RTX는 새에 대해 이야기하고 있다는 것을 알지 못한다.

더불어 질문 문구, 선택한 모델의 성능, 미세조정 데이터셋의 크기 등 다양한 요인에 의해 응답의 정확성이 달라진다는 평가다.