Contrastive Decoding Improves Reasoning in Large Language Models
LLM의 추론을 개선하는 대조적 디코딩
Sean O'Brien, Mike Lewis
이 글에서는 (2022년 Li의 논문에 제안된, 간단하고 계산량이 적으며 훈련이 필요 없는 텍스트 생성 방법인) '대조적 디코딩(Contrastive Decoding)'이 다양한 추론 작업에서 탐욕적 디코딩(greedy decoding)에 비해 즉각적이고 큰 폭의 개선을 달성한다는 것을 보여줍니다.
원래 긴 형식의 텍스트 생성에서 인지된 품질을 개선하는 것으로 알려진 대조적 디코딩은 강한 모델과 약한 모델 간의 가능성에 대한 가중치 차이(weighted difference in likelihood)를 최대화하는 문자열을 검색합니다.
대조적 디코딩을 사용한 LLaMA-65B는 HellaSwag 상식 추론 벤치마크에서 LLaMA 2, GPT-3.5, PaLM 2-L을 능가하고, GSM8K 수학 단어 추론 벤치마크에서 LLaMA 2, GPT-3.5, PaLM-540B를 능가하며, 다른 작업 모음에서도 개선된 성능을 보여줍니다.
분석 결과, 대조적 디코딩은 일부 추상적 추론(abstract reasoning) 오류를 방지하고 연쇄적 사고(chain-of-thought) 중에 입력의 일부를 복사하는 것과 같은 단순한 모드(simpler modes)를 피함으로써 기존 방법보다 개선된 결과를 내는 것으로 나타났습니다.
전반적으로 대조적 디코딩은 장문 생성을 위한 핵 샘플링(nucleus sampling)이나 추론 작업을 위한 탐욕적 디코딩보다 성능이 뛰어나며, 언어 모델에서 텍스트를 생성하는 강력하고 범용성이 뛰어난 방법이라고 할 수 있습니다.
관련 레딧:
대조적 인코딩에 대한 첫 논문:
Contrastive Decoding: Open-ended Text Generation as Optimization
Xiang Lisa Li, Ari Holtzman, Daniel Fried, Percy Liang, Jason Eisner, Tatsunori Hashimoto, Luke Zettlemoyer, Mike Lewis
https://arxiv.org/abs/2210.15097
