Ambiguity-Aware In-Context Learning with Large Language Models
대규모 언어 모델의 모호성 인식 문맥 내 학습
Lingyu Gao, Aditi Chaudhary, Krishna Srinivasan, Kazuma Hashimoto, Karthik Raman, Michael Bendersky
(LLM에 몇 가지 작업별 예제만 보여주는) 문맥 내 학습(ICL, In-Context Learning)은 작업별 파인튜닝 없이도 다운스트림에서 큰 이득을 얻을 수 있습니다. 그러나 LLM은 프롬프트 선택에 민감하기 때문에 ICL에 적합한 예제를 선택하는 방법은 중요한 연구 과제입니다.
텍스트 검색기를 사용하여 ICL 예제와 테스트 입력 간의 의미적 유사성을 활용하는 방법은 효과적인 전략의 하나이지만, 이는 해당 작업에 대한 LLM의 기존 지식을 고려하지 않기 때문에 최적의 방안은 아닙니다.
이전 연구(Min et al., 2022)를 통해 우리는 이미 예제와 짝을 이루는 레이블(labels)이 모델 예측에 편향을 준다는 것을 알고 있습니다. 이를 통해 작업에 대한 LLM의 기존 지식, 특히 출력 레이블 공간(output label space)에 대한 지식을 고려하면 더 나은 예제 선택 전략(demonstration selection strategy)에 도움이 될 수 있이 않을까 하는 가설을 세웠습니다.
세 가지 텍스트 분류 과제에 대한 광범위한 실험을 통해 '의미적으로 유사한(semantically similar) ICL 예제'를 선택하는 것뿐만 아니라 '테스트 예제를 둘러싼 고유한 라벨 모호성(inherent label ambiguity)을 해결하는 데 도움이 되는 예제'를 선택하는 것이 유리하다는 것을 발견했습니다.
흥미롭게도 '이전에 LLM이 잘못 분류한 예제'와 '테스트 예제의 결정 경계에 속하는 예제'를 포함할 때 가장 큰 성능 향상을 가져온다는 사실을 발견했습니다.
