레딧: https://reddit.com/r/LocalLLaMA/s/HcI0qhl7X5
허깅: https://huggingface.co/Open-Orca/Mistral-7B-OpenOrca
13b 모델 대부분을 누른다고 함
아래는 관련 게시글 번역
지금 라마 65b보다 7b가 더 좋아요??? 미스트랄 오르카는 아웃!
오늘 Mistral-7B-OpenOrca를 출시합니다. 7B 모델 중 최초로 30B 이하의 모든 모델보다 종합점수가 우수한 모델입니다. Lama2-70B챗 98%의 성능을 달성했습니다!
Mistral-7B의 놀라운 공개 출시를 보여준 Mistral AI에게 감사드립니다! 가정용 GPU를 위한 이 정도의 기능을 준비할 수 있어서 정말 좋습니다. 또한 @winglian @Tecknium1 @TheBloke AI 및 모든 Alignment Lab AI 친구들에게도 감사드립니다! 이제 10배 더 큰 모델을 이길 수 있습니다!
지금 바로 브라우저에서 빠른 GPU로 우리 모델을 라이브로 사용해 볼 수 있도록 우리의 허깅 페이스 공간을 확인해 보세요!
우리는 Mistral 7B 위에서 자체 OpenOrca 데이터 세트를 사용하여 미세 조정했습니다. 이 데이터 세트는 Microsoft Research의 Orca Paper용으로 생성된 데이터 세트를 재현하려는 시도입니다. 우리는 Axolotl로 훈련된 OpenChat 패킹을 사용합니다.
이 릴리스는 대부분의 GPT-4 증강 데이터의 큐레이팅된 필터링된 서브셋에 대해 학습되었습니다. OpenOrcax OpenChat-Preview2-13B 모델에 사용된 것과 동일한 데이터 서브셋입니다.
HF 리더보드는 출시 시점에 30B보다 작은 모든 모델의 경우 이 모델을 #2로 지정하여 13B 모델 1개를 제외한 모든 모델보다 성능이 뛰어납니다.
이 릴리스는 클래스를 획기적으로 향상시키는 성능을 갖춘 완전 개방형 모델로 보통 수준의 소비자용 GPU에서도 완전 가속 실행이 가능합니다. 여기까지 앞서주신 Mistral 팀에게 감사드립니다.
우리는 애정을 담아 이 모델의 코드명을 "미스트랄 오르카"로 정합니다
더 많은 모델을 교육하는 과정을 진행 중이므로 흥미로운 파트너와 함께 곧 출시될 예정인 제품에 대해 당사 기관을 주시해 주시기 바랍니다.
또한 저희 서버에서 몰래 피크를 알리는 안내문도 함께 제공합니다. 여기에서 확인하실 수 있습니다:
또는 OpenAccess AI Collective 서버에서 Axolotl 트레이너에 대한 자세한 내용을 확인해 보십시오:
Ai 언어모델 로컬 채널 이용규정
