파일 2개 (실행파일, 모델)만 있어도 알파카 모델로 AI 챗봇 체험할 수 있음. 

실행파일은 cpp 방식이랑 gui 방식 있음. 완전 뉴비면 gui 방식 추천함. 


1. *gui 방식: 

https://github.com/icepeng/llama-chan/releases/


위의 링크에서 Assets 누르고 펼쳐서 llama-chan-win zip 다운로드 받고 압축풀면 exe 파일 1개 있음. 

llama-chan.exe인데, 그거 실행해서 Open Model 눌러서 모델 불러오고 바로 채팅 시작하면 됨.



*gui는 그래픽 사용자 인터페이스(graphical user interface)의 약자로 사용자가 편리하게 사용할 수 있도록 입출력 등의 기능을 알기 쉬운 아이콘 따위의 그래픽으로 나타낸 것. cpp 방식은 cmd 창 띄워두고 하는 거라, 까만화면 도스창 보는거에 PTSD 있는 유저에게는 일단 거부감부터 있을 수 있음. 그래서 처음 맛보기 용으로는 gui 방식이 편할거라 생각함.


2. cpp 방식:

https://github.com/antimatter15/alpaca.cpp/releases


위의 링크에서 Assets 누르고 펼쳐서 alpaca-win zip 다운로드 받고 압축풀면, 파일 3개 있는데 그 중에서 'chat.exe'라는 것만 있으면 됨. 동일한 폴더에 chat.exe이랑 *모델 파일 넣어두고 실행하면, CMD 창열리면서 모델 불러옴. 모델 불러오기 완료되면, 채팅 시작하면 됨. [단, *모델파일 이름은 'ggml-alpaca-7b-q4.bin'이어야 함]



*최신 cpp 방식 깃허브: https://github.com/ggerganov/llama.cpp

*라마(llama.cpp) 사용법: https://arca.live/b/alpaca/72682137


3. 알파카 모델은 아래 링크에서 구할 수 있음

https://huggingface.co/Pi3141/alpaca-30B-ggml

처음에는 Alpaca 7B 추천 (PC 램32기가 이상, CPU 성능 괜찮으면 Alpaca 30B도 OK)


4. 공통된 사항

(1) GUI 방식 및 CPP 방식 모두 챗봇이 *이모티콘 쓰면 글자깨짐.

(2) 채팅 내역 기억 못함. 1문 1답 방식은 그럭저럭 괜찮음.

(3) 로라 적용된 모델 쓰지 않는 이상 영어만 쓸 수 있음.


* 이모티콘의 경우, 챗라마의 알파카 7B 모델은 이모티콘 깨짐 없이 잘 사용되고 있음. 로라 적용여부 차이로 보임(추정). 한국어 알파카 AI챗봇도 텔레그램에서 실험시 이모티콘은 제대로 사용하지 못하는 것으로 보였음.


5. 장단점 비교


(1) gui 방식: 

- (장점) 윈도우로 그래픽화된 채팅창 경험, 접근성 용이

- (장점) 모델과 실행 파일이 동일 경로에 있을 필요 없음. 모델명 수정할 필요 없음

- (단점) 일부 UI에 버그가 있음. 치명적이진 않아서 코드 작성자가 추후 수정할듯

- (단점) 모델 무거우면, 앱이 중간에 응답없음 처럼 멈춰버림


(2) cpp 방식: 

- (장점) 모델 불러올때, 불러오기 진행률이 표시됨

- (장점) 소스 코드 업데이트가 활발(깃허브)

- (단점) CMD 창에 쓰는 것에 대한 막연한 두려움

- (단점) 다른 모델 테스트할때마다 모델명 수정해야함