이번에 Open AI의 발표를 보면서, 독점을 막기 힘들겠다는 생각을 하게 되었습니다.

그래서 이번에 오픈소스진영에서도 GPT를 뛰어넘는 거대 언어모델을 만들어야 한다는 생각이 들면서, 이를 위해 오픈소스로 70B 개발을 하기로 하였습니다.

물론, 영어 모델로 70B를 많이 다뤄보면서, 각 하이퍼 파라미터가 얼만큼 영향력 있는지 체킹해본후, 70B 모델을 오픈으로 개발하고자 합니다.

추가적으로 현재 제가 올린 상위권 모델들은 현재 오픈되지 않고 있는데, 점점 리더보드가 상위 모델에 계속 어댑터 끼워서 올리는 식으로 진행되다 보니, 이를 방지하고, 프로젝트 내부 사정때문에 공개를 못하고 있습니다.

아마 마치는대로 모델들은 오픈하도록 하겠습니다.

GPT를 넘는다는 것 자체가 조금 넌센스 하지만, 오픈소스 진영이 발전을 해야지 독점에서 자유로워 진다고 생각이 듭니다...

이대로 가면 국내 LLM기업들이 다 죽고, 점점 GPT의존성만 키워지게 될것이고, 연구의 방향성과 향후 미래에 도움이 안될것 같습니다.

AI의 발전을 사람들이 많이 두려워 하는데, 사실상 계산 잘하는 기계가 무엇이 무섭겠습니까?

계산을 잘하는 기계가 아니라, 계산을 잘하는 기계들을 독점하는 기업, 사람, 단체, 집단들이 가장 무서운 것 같습니다.

이런 방향성을 가지고 상황 리포트 해드리며 좋은 방향성으로 발전하면 좋겠네요!

70B는 튜닝 결과 바로바로 리포트 해드리며, 말씀 드리겠습니다.