다만 비교시 Llama 2 70B Instruct 모델이 이상하다는 점은 고려하셔야 합니다. Llama 2 70B Base 모델의 MMLU는 68.9로 Instruct 튜닝 과정에서 16 퍼센트 포인트나 하락했습니다.
Instruct 튜닝이 제대로 되었다면 오히려 몇 퍼센트 향상이 있어야 되기 때문에 Llama 3 8B 가 Llama 2 70B를 추월하는 정도는 아닌 것 같습니다.
https://llama.meta.com/llama2/
다만 비교시 Llama 2 70B Instruct 모델이 이상하다는 점은 고려하셔야 합니다. Llama 2 70B Base 모델의 MMLU는 68.9로 Instruct 튜닝 과정에서 16 퍼센트 포인트나 하락했습니다.
Instruct 튜닝이 제대로 되었다면 오히려 몇 퍼센트 향상이 있어야 되기 때문에 Llama 3 8B 가 Llama 2 70B를 추월하는 정도는 아닌 것 같습니다.