랭체인 좀 만져봤는데 로컬에서 PDF챗봇 같은 거 

구현하기엔 제 머신 성능이 너무 딸리는 것 같네요.(슬픔)

임베딩벡터 형성하고 질문 하나 던졌는데 10분 지나도 답이 안 나옴.

문서 길이는 꼴랑 750단어에, 질문은 'XXX가 누구니?'라는 극히 단순한 거였는데도.

일단 선택한 임베딩툴이 FAISS-CPU라는 점도 문제이긴 할 듯...

GPU버전으로 하면 좀 더 빠르긴 할 텐데 윈도우환경에선 제대로 설치가 안되네요. 계속 에러뜸.

로컬LLM이 페북에서 유출된 라마 기반이라 

똑같이 페북에서 내놓은 FAISS를 고른 건데 다른 툴도 써보긴 해야겠어요. 크로마라던가...

이제 메뉴얼 더듬더듬 읽어가면서 깔짝거리기 시작한 거지만, 

솔직히 랭체인 이거 거의 OpenAI용 패키지 같은 느낌이 드네요.

로컬LLM으로, 로컬 툴을 동원해서 구동하면 의도대로 작동하지 않는 게 많음. 

아주 똑똑하고 지식 많은 아이(ChatGPT계열 모델, 오픈AI의 API서버)에 맞춤으로 설계한 학습프로그램 같아요.

그 프로그램에 상대적으로 멍청한 아이(로컬LLM) 집어넣으면 어리버리하게 됨... 

게다가 llama.cpp의 모델들을 지원한다고는 해도 

직접 llama.cpp를 통해서 구동시키는 게 아니다보니 

요즘 미친듯이 발전하고 있는 llama.cpp의 편의기능이나 gpu 지원 등도 못 받아서...

당장은 제가 쓸 만한 부분은 별로 없는 듯. 

머 프롬프트 다양하게 바꿔가면서 테스트하거나 할 때 정도는 쓸만하겠네요.ㅎㅎ