https://the-decoder.com/openai-improves-gpt-4s-mathematical-reasoning-with-a-new-form-of-supervision/
OpenAI는 몇 가지 수학 문제를 풀 때 SOTA(State-of-the-art)를 달성하는 AI 모델을 보여줍니다. 이 기본 프로세스는 일반적으로 더 나은 언어 모델로 이어질 수 있습니다.
단계별로 검증해 봅시다 논문에서 OpenAI 팀은 수학 데이터 세트의 문제를 풀기 위해 GPT-4를 기반으로 여러 모델을 훈련했습니다. 목표는 보상 모델 학습을 위한 피드백 프로세스의 두 가지 변형을 비교하는 것이었습니다.
구체적으로, AI 모델이 작업의 최종 결과에 대한 피드백을 받는 '결과 감독'과 모델이 추론의 각 특정 단계에 대한 피드백을 받는 '과정 감독'을 비교했습니다. 실제로 후자의 프로세스는 사람의 피드백이 필요하기 때문에 대규모 모델과 다양한 작업에 비용이 많이 들기 때문에, 이번 연구는 OpenAI의 향후 방향을 결정할 수 있는 연구입니다.
프로세스 감독: 정렬 세금을 피하는 방법
연구팀에 따르면 수학 작업의 경우, OpenAI는 대규모 모델과 소규모 모델 모두에서 프로세스 감독이 훨씬 더 나은 결과를 생성하며, 이는 모델이 더 자주 정확하고 더 인간과 유사한 사고 과정을 보인다는 것을 의미합니다. 오늘날 최고의 모델에서도 흔히 발생하는 환각이나 논리적 오류도 줄일 수 있습니다.
프로세스 감독은 수학을 위한 더욱 강력한 모델을 생성합니다.
또한 OpenAI에 따르면 올바른 중간 단계에 대한 보상은 모델의 성능이 인간의 가치와 기대에 부합할수록 감소하는 '정렬 세금' 현상을 피할 수 있습니다. 테스트한 수학 과제의 경우, 이 회사는 심지어 음의 정렬 세금을 발견했습니다.
"이러한 결과가 수학 영역을 넘어 얼마나 광범위하게 일반화될지는 알 수 없으며, 향후 연구에서는 다른 영역에서 과정 감독이 미치는 영향을 탐구하는 것이 중요하다고 생각합니다. 이러한 결과가 일반화된다면, 프로세스 감독이 결과 감독보다 더 성능이 우수하고 일관성이 높은 방법이라는 두 가지 장점을 모두 제공할 수 있을 것입니다." - OpenAI
OpenAI, 인간 라벨링 데이터 세트 출시
수학 이외의 영역에 프로세스 감독을 적용할 수 있는 지에 대해서는 더 많은 연구가 필요합니다. 이 과정을 지원하기 위해 OpenAI는 자체 모델에 사용되는 PRM800K 데이터 세트를 공개했으며, 여기에는 MATH 데이터 세트의 모든 중간 단계에 대한 80만 개의 휴먼 라벨이 포함되어 있습니다.
이 글의 공저자이자 OpenAI의 공동 창립자인 존 슐만(John Schulman)은 최근 대규모 언어 모델에서 바람직한 행동을 형성하는 데 있어 보상 모델의 핵심적인 역할을 자세히 설명하는 강연을 진행했습니다.
참고하면 좋은 것들.
https://openai.com/research/improving-mathematical-reasoning-with-process-supervision
https://cdn.openai.com/improving-mathematical-reasoning-with-process-supervision/Lets_Verify_Step_by_Step.pdf
https://www.lesswrong.com/tag/alignment-tax
https://en.wikipedia.org/wiki/State_of_the_art
