a100 학습은 어디서 돌린거야? 난 로컬에서 돌린다는건 줄 알았었는데

수고 많으셨고 이렇게 나눔 해주셔서 너무 감사합니다. 
깃헙 페이지 로고 너무 귀엽네요.ㅋㅋ

같은 방법이 아니지 않음? Evaluation 했어?

한국어 모델은 개추야

데이터셋은 알파카처럼 한거야? 아니면 비쿠나 데이터셋처럼 만든거야? 사진으로 보면 대화 문맥을 잘 모르는거 같은데

수고하셨습니다! 감사해요.

말투가 진짜 깔끔하다

저 모델 가져다가 위에 다시 야인시대를 로라로 입혀볼까? 무슨 결과가 나올지?

드디어 우리챈의 귀중한 결과물이 나왔다! 이거 기반으로 해서 우리 한국어 로컬모델 개발이 활발해졌으면 좋겠음!

너무너무 행복해

대단하다. 기가 막히네!!
양자화 형들 기다릴게!!

마일리 유카는 도당체 누구야 ㅋㅋㅋㅋ

이쉑 이 악물고 대통령 모른척하네 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

와 씹고수노 나는 해봐도 모르겠더라 이건 api 만 쓸줄알면 어떻게든 되나

잠깐 테스트 해보고 느낀점. 먼저, 몰랐는데 oobabooga 상에서 (--load-in-8bit) 옵션 주면. 원본 32 bit? 를 8 bit? 로 사용하는 GPU 메모리 축소해서 로드 할 수 있더군요. call python server.py --auto-devices --gpu-memory 10 --chat --model ko_vicuna_7b --load-in-8bit --model_type llama --auto-launch --verbose 이런식으로 옵션 주면되고. (--gpu-memory 옵션은 본인의 GPU 메모리 보다 1~2 GB 더 작게 주는게 좋고, 자동으로 GPU 메모리 사용량 늘어나면, CPU 램도 활용함) 다만, 로드는 생각보다 엄청 빨리되는데. 강제로 8 bit 로드 해서 그런지? 최초 대화시 경고 메시지는 뜸. ( UserWarning: You have modified the pretrained model configuration to control generation.) 그래도 경고이고 테스트는 가능함. 해볼 분들은 해보시라고 알려드리는것임. 모델용량 25.1 GB 인데 저렇게 로드하면 최초 GPU 메모리 7.9 GB 정도 되고. 그외에 늘어나는건 램으로 돌릴테니... 8GB~12GB 메모리 GPU 로도 가능할듯.

테스트 해보고 느낀점은, 아무래도 llama (vicuna) 가 vocab 자체도 영어고, 영어 기반으로 학습된게 중심이라서... vicuna 모델에게도 전에 직접 물어보았었지만, 한국어 데이터로 파인튜닝하면 한국어에 대한 인식률이 높아지는 것은 맞는데. 어느정도 한계는 있는듯... (vicuna 도 한국어 요청인식 및 한국어 출력은 이미 할줄 알았지만, 출력은 꾀나 성능이 안좋았음) 이거 실제 테스트 해보면, 한국어 튜닝 때문인지, 한글 구사력은 높아진것 같음. 인식률은 기존 vicuna 도 어느정도 되었지만, 출력(구사력) 은 좀 낮았는데, 좋아진게 느껴짐... 다만, 약간 번역해서 알아듣고 / 번역해서 출력하는 그런 느낌. 그래도 로라아니고 파인튜닝 된거라 대단하다고 느낌. 학습 데이터가 적어서 그렇지 잘만하면 꾀나 좋아질 수 있는 가능성도 보이긴 하는데.

huggingface 사이트에서 모델 검색하다 오늘 안건데 https://huggingface.co/ureca07/korean-vicuna-7b-1.1 여기 보면, 전공자도 공개 예정인듯 보이는데. 공개적으로 말한건 아니라서, 확실하지 않지만. 나오면 그건 어떨지 기대가 되기도함...

Github 보니까, huggingface interface 아닌 것도 llama.cpp에서 convert 되게 업데이트 됐네.

고마어요 님가 최고야

헐나이거 가중치인줄알앗는데 머-델이완성품이엇네 ㄷㄷ

인터넷 검색해보니 마일리 유카라는 사람은 단 한명도 안 나오네 ㅋㅋㅋ

오우!!  성공하셨군요! 축하드려요~~~~ 
요즘 바빠서 이제서야 봤네요 !
양자화 방법은 
https://github.com/oobabooga/text-generation-webui/blob/main/docs/GPTQ-models-(4-bit-mode).md
<= 여기 참고해 보세요!

예전에 해봤을 때 32GB 짜리가 4GB 까지 줄었던 것 같아요.. (오래되서 기억이.. ㅎ) 
=> 파이썬에서는 13GB 까지 줄어드네요!
=> 4GB 는 cpp 까지 들어가야 가능했었네요 ㅎ

참고로 triton 기반은 우분투에서만 가능하고,
윈도우에서 우바부가 돌아가게 하려면 cuda 양자화 방법을 써야  가능합니다!
(윈도우 버전 참고 : https://github.com/qwopqwop200/GPTQ-for-LLaMa/tree/cuda)

양자화 모델을 llama-cpp-python 라이브러리로 사용하니까, 희안하게 모든 대답을 한글로 하네요. 

근데 답변을 한번에 받는 경우에는 괜찮지만, stream=True로 하니까. decode error가 발생해요. 학습된 문자가 utf-8이 아니라 cp949라서 llama-cpp-python 라이브러리에서 재가공하는 과정에서 문제가 생기는 것 같네요. 
참고하세요.