CoT 통제 쉽지 않네 - AI 채팅 채널

이걸 CoT라도 불러야 하나? 간단히 말하자면 <thoughts> 안에 모델 입장에서 독백 길게 적는 프롬 짜고 있음

진짜 사람이 혼자 생각하듯이 어떡하지? 이렇게 할까? 저렇게 할까? 하면서 토큰 마구 뱉다가 결론에 도달했을 때 그게 트리거가 되어서 한 마디 뱉는 그런 느낌을 구현하고 싶은데

뭔가 그냥 처음부터 결론 다 정해놓고 그에 대해 부연설명하듯이 독백이 나오니깐 마음에 안 드네

신기하게 내가 원하는 느낌은 제미니가 제일 잘 살리더라

그렇게 하려면 사전 응답이 아니라 사후 응답 식으로 해야 개선이 됨 사전 응답이랑 본 응답이 하나의 출력으로 묶여 있으면 큰 개선 효과가 없고, 이전 과거 대화를 보고 거기서 개선시키도록 지시하는 방향으로 가야 됨

사전 응답, 사후 응답 같은 게 아니라, 모델을 진짜 사람처럼 생각하도록 만드려는 거임. 찾아보니깐 안트로픽 쪽에서 모델이 다음 토큰을 추론할 때마다 생각 과정을 출력하게 함으로써 응답 퀄리티를 높이는 연구를 했더라고. 아마 오푸스에도 적용된 기술로 알고 있음. 기본 아이디어는 그것과 비슷한 걸 프롬 수준에서 구현해 보는 건데, 아무래도 한계가 있다 보니 매 토큰마다 생각하게 시키는 건 무리고 한 마디 할 때마다 생각하고 하게라도 만들고자 함. 그래서 고봉밥이 되는 거고

Api 딴에서는 결국 출력이 하나면 생각도 하나인 수준이라 큰 개선이 안되지 않을까...? 앤트로픽은 아키텍처 수준에서 다룰 수 있으니까 그런 게 되는 거고. 나도 얼마나 효과 있을지는 단언을 못하겠네. 아무튼 연구하는 모습 보기 좋아 칭찬해

ㅇㅇ 반대로 생각과 출력을 분리하지 않고 하나로 만들어버리자는 발상이 맞음. 그냥 주구장창 생각만 시키는데, 그 과정에서 '출력하겠다는 생각'을 했다면 그걸 출력으로 취급하는 거야. 그게 사람의 사고 과정하고 가장 가깝다고 생각했거든. https://arca.live/b/characterai/106686489 https://arca.live/b/characterai/106708162 https://arca.live/b/characterai/106793969 지금까지 실험해 본 걸 보면 효과가 없는 건 아닌 것 같은데, 이게 단순히 출력을 길게 시켜서 좋은 출력이 나오는 건지, 아님 정말 내 가설이 믿음에 보답해 준 건진 모르겠음. LLM은 항상 해골물 구분이 어렵단 말이야