성능 비교
라마 vs 믹스트랄 vs Snowflake Arctic 작동 방식 비교 (이미지 출저 : 링크)
공홈 링크 : https://www.snowflake.com/blog/arctic-open-efficient-foundation-language-models-snowflake/
트위터 링크 : https://twitter.com/reach_vb/status/1783129119435210836
레딧 링크 : https://www.reddit.com/r/LocalLLaMA/comments/1cbzh65/snowflake_dropped_a_408b_dense_hybrid_moe/
허깅 모델 링크 : https://huggingface.co/Snowflake/snowflake-arctic-instruct
허깅 데모 링크 : https://huggingface.co/spaces/Snowflake/snowflake-arctic-st-demo
크기 : 10B의 밀집층과 128x3.66B MoE
활성 파라미터 : 17B (10B의 밀집층과 3.66B 크기의 전문가 2개)
라이센스 : Apache 2.0
모델 파일 크기 : 약 964GB
최대 컨텍스트 : 4096
훈련된 토큰수 : 3.5T
Snowflake에서 소개하는 장점
- 훈련과 추론에 있어 비용효율적이다
- 아파치 라이센스다
로컬라마 레딧 반응
- 4K 컨텍스트
- 이걸 어떻게 돌리냐
- 유머로 만든 라마 2 8x70b도 이거보단 작다 (링크)
- raid0 구성해서 디스크 오프로딩해서 돌리면 괜찮아보인다
- 직접 쓰기에는 무리고 사례 연구용으로 좋아보인다
