![](http://ac.namu.la/20240524sac/697f9749d8fdbdd5fe3a3a7a05ced6640c1f219909a724c9e1d283c8c7db938d.png?expires=1719795600&key=XfyblMpSJ70-m50-S2WilQ)
1. Hellaswag - 상식수준 다음 단어 추론능력
2. Winogrande - 대명사가 가르키는 인물 맞추는 능력
이 벤치 높으면 rp나 스토리를 잘쓰는 경향이 있음.
Mmlu나 gsm8k같은건 딱히 스토리 진행에서 문제가 될게 아님.
1. Hellaswag - 상식수준 다음 단어 추론능력
2. Winogrande - 대명사가 가르키는 인물 맞추는 능력
이 벤치 높으면 rp나 스토리를 잘쓰는 경향이 있음.
Mmlu나 gsm8k같은건 딱히 스토리 진행에서 문제가 될게 아님.