https://the-decoder.com/meta-to-release-two-smaller-versions-of-its-llama-3-open-source-model-next-week/
https://www.theinformation.com/articles/meta-platforms-to-launch-small-versions-of-llama-3-next-week

메타의 한 직원에 따르면, 메타는 다음 주에 곧 출시될 대형 언어 모델인 라마 3의 소형 버전 2종을 출시할 예정이라고 더 인포메이션은 보도했습니다.

이 작은 모델은 2023년 여름에 출시될 예정인 더 큰 버전의 라마 3에 대한 기대감을 높이기 위한 것으로, 라마 2에 이어 1년 뒤인 2023년 여름에 출시될 예정입니다.

그 이후로 오픈 소스 시장의 경쟁은 상당히 치열해졌습니다. 점점 더 많은 모델 개발자가 자신의 모델 또는 일부 모델을 오픈 소스로 공개하여 관심을 끌기 위해 노력하고 있습니다.

라마 모델 외에도 프랑스의 모델 스타트업인 미스트랄은 미스트랄 7B와 믹스트랄 MoE 모델로 오픈소스 업계에서 이름을 알렸습니다. 구글 딥마인드도 최근 젬마 모델로 오픈소스 시장에 진출했습니다.

오픈소스 AI에 투자하는 대기업들은 구글이 안드로이드에서 했던 것처럼 자신들의 시스템을 수천, 수백만 개의 AI 앱의 표준으로 만들기를 희망합니다.

멀티 모달이 된 라마 3

두 개의 작은 모델은 텍스트 생성에 특화되어 있습니다. 여름에 출시될 예정인 정식 버전의 라마 3는 멀티모달 기능을 갖추고 이미지를 생성하거나 이미지에 대한 질문에 답할 수 있게 될 것입니다.

메타는 라마 3가 OpenAI의 GPT-4를 따라잡을 수 있기를 희망합니다. 약 1,400억 개의 매개변수를 가진 가장 큰 버전의 라마 3는 라마 2보다 두 배 더 커질 수 있습니다.

그러나 매개변수의 수는 모델의 품질을 제한적으로 보여줄 뿐입니다. 3,140억 개의 파라미터를 가진 Elon Musk의 Grok-1은 현재 가장 큰 오픈 소스 전문가 혼합 모델입니다.

그러나 그 성능은 OpenAI의 GPT-3.5 또는 560억 개의 파라미터를 가진 훨씬 작은 Mistral의 Mixtral 모델과 동등한 수준에 불과합니다. 미스트랄의 7B 모델도 더 큰 규모의 라마 모델을 능가할 수 있었습니다.

콘텐츠도 변경될 가능성이 높습니다: 최근 몇 달 동안 메타 팀은 논란의 여지가 있는 질문에 대해 라마 3에서 보다 개방적인 답변을 제공하기 위해 노력해왔습니다. 메타 리더들은 Llama 2의 답변이 너무 조심스럽다고 느꼈습니다. 라마 3는 사용자에 대한 반응이 더 빠르고 어려운 질문에 대해 더 많은 맥락을 제공할 수 있습니다.

Meta는 최근 AI에 막대한 투자를 해왔으며 Nvidia의 그래픽 칩을 가장 많이 사용하는 고객 중 하나입니다. Meta의 CEO 마크 주커버그는 연말까지 약 60만 개의 그래픽 카드를 AI 학습에 사용할 계획입니다. Meta는 자체 AI 칩인 아르테미스도 개발 중입니다.