미니 써보는데 이게 라마3 8b랑 벤치가 비비는데 실성능은 글쎄? 입니다 상위모델을 공개해줘야 판단 가능하겠네요

Phi3 테크 리포트의 "한계" 부분에도 적혀 있는 내용인데요.
합성 데이터로 집중 학습해서 그런지 추론 성능은 좋지만 지식.. 일반적인 상식도 부족합니다.
그래서 문제형 벤치마크는 잘 푸는데, 글을 써보라 하면 알맹이가 없는 느낌을 받게 됩니다.

TriviaQA에서도 확인되는데, 이 점수 만큼은 유사 크기 모델보다 떨어지는 것을 볼 수 있어요.

MMLU는 높지만 아는지식 (?)용량이 정보가 부족한 나머지 헛똑똑이 같은 개념일까요 ?