와... Wizard Vicuna 13B 대박이다...

해당 모델은

https://arca.live/b/alpaca/75529213

여기서 받을 수 있어

일단 다들 알다시피 AI 언어모델은 결국

위와같은식으로 신경망에 저장(?)을 해놨다가 불러오는 식이야

밑에 질문글 있었는데

영문데이터를 한글에서 가져올수 있느냐? 당연히 가져올 수 있어

근데 왜 잘 못가져오느냐 물어보면

얘를들면 "Room" 이란 단어와 "방" 사이의 고리가 약한거지

이를 훈련을 통해서 강화하는거고

가장 효과적은 강화는 한국어데이터셋을 넣는거지

원리는 정확히는 몰라

그냥 성인 한국어 구사자에게 영어가르치기 ( LoRA로 훈련)

vs 어린이 한국어 구사자에게 한국어+영어가르치기 (파인튜닝) 정도로 이해하면 될거야

무튼 Wizard-Vicuna 13B전에 공개된 공개모델들의 성능이야

질문은 크게

1. 대한민국에 대해서 설명해줘

+. 영어로 답변시, 한국어로 해줘

2. 서울에 대해서 설명해줘

로 물어봤어

우선 한국어 모델에 대한 결과야

 EleutherAI 의 Polyglot 12.8B 

답변은 잘하는데 중간에 프롬프트가 튀어나오는 현상이 있어 (이거 정확한 명칭 아는사람 알려주라)

이걸 튜닝한 KoAlpaca 12.8B야

얘도 중간에 프롬프트가 튀어나와

그럼 Wizard LM 은 어떠할까 

한국어를 못해...ㅋㅋㅋ 

Vicuna는 이정도야.  Vicuna 좋아.. 이전까지 군림하던 이유가있지

한국어를 따로 학습안했는데 정말 잘나와 (내용이 틀린건 둘째치고 말이지)

그렇다면 Wizard-Vicuna는 어떨까?

와 대박이지

Vicuna의 한글구사력 + Wizard의 능력 + Vicuna의 정보 등이 합쳐져서 이정도의 능력을 보여주고있어

한국어를 따로 학습하지않은 (Ko 시리즈가 아님) 시리즈에서 이정도로 뽑아내는건 정말 대단한 일이야

여기에 한국어 프롬프트 추가학습을 하면 와.... Ko WizardVicuna가 기대된다 진짜

연진아 나는 지금 너무너무 신나

왜냐면 우리가 LLM의 태동기에 있기때문이지

진짜 LLM 채널만큼 이렇게 시시각각변화하는 채널이 또 어디 있나 싶다

매번 새로운기술 (langchain llm에 도입되서 pdf reading 되는지 아직 2주가 안됐어 ㅋㅋ)

심지어 LLaMA 공개도 2023.02.24 라구

암튼 챈러들 이런 양질의 좋은자료 공개해줘서 너무 고마워

다들 열심히 공부하자