> 트랜스포머 기반 대규모 언어 모델(LLM)의 소프트 어텐션 (기본적으로 존재하는 어텐션 기능) 은 문맥과 무관한 정보를 잠재적 표현에 통합하기 쉬우며, 이는 다음 토큰 생성에 악영향을 미칩니다. 

 - 예를 들어서 질문을 할 때, 정답의 추론과 무관한 내용들을 섞어서 질문하는 경우, 어느정도 능지가 되는 사람이라면 쓸데없는 정보를 걸러내고 정답을 추론하는데에 집중하지만, 아무생각없이 의식의 흐름대로 대답하는 경우 함정 질문에 의해 오답이 나오기 쉬움



이러한 문제를 해결하기 위해 저희는 자연어로 추론하고 지침에 따라 주의해야 할 사항을 결정하는 LLM의 기능을 활용하는 시스템 2 주의(S2A)를 도입했습니다. 

 - 시스템 2 라는 것은 노벨 경제학상을 수상한 행동심리학자 다니엘 카너먼이 소개한 사람의 행동심리를 설명하는 이론. 시스템 1 은 의식의 흐름에 가깝다면, 시스템 2 는 스스로 반성과 이성적 판단을 통해 추론하는 시스템. 시스템 2 는 작동하는 것이 피곤하기 때문에 대부분의 사람들은 많은 시간 시스템 1 중심으로만 활동함. 즉 관성과 습관에 의해 움직임.

 - 이 논문에서는 기본적인 트랜스포머의 동작은 사람의 시스템1 사고방식과 유사하다는 것에 주목함. 

 - 오늘 발표된 오르카2 같은 경우나 이전에 발표된 다른 논문 branch, solve, merge 같은 방법론에서도 결국 어떻게 인간의 시스템2 사고방식을 llm 에 접목시켜서 판단력을 끌어올리고, 환각을 줄일 것이냐가 공통 주제



S2A는 입력 컨텍스트를 관련 부분만 포함하도록 재생성하고, 재생성된 컨텍스트에 주의를 기울여 최종 응답을 유도합니다. 실험 결과, S2A는 의견이나 관련 없는 정보가 포함된 세 가지 작업, 즉 QA, 수학 단어 문제, 긴 형식 생성에서 사실성과 객관성을 높이고 동어반복성을 낮추는 등 표준 주의 기반 LLM보다 뛰어난 성능을 보였습니다.



여기 글 있는거 못 보고 새 글 썼다가 지우고 이 글의 답글로 옮김