CoT 란 Chain of Thoughts 의 약자로, 생각의 연결고리를 통해 추론력을 상승시키는 방법입니다.

주로 산술과 상식의 정확성을 높이는데 사용되는 생각의 연결고리는 쉽게 말하자면 우리가 수학문제를 보다 쉽게 해결하기 위해 종이에 과정을 적어가며 풀이를 하는것과 동일합니다.

그리고 이 방법은 매우 효과적이여서, 지금은 많은 LLM이 다양한 밴치마크에서 보편적으로 CoT를 활용하기도 합니다.

하지만, 채팅 채널의 주 사용목적인 롤 플레이에서는 어떨까요?

우선 CoT를 통한 장점을 알아보겠습니다.

롤플레이에서 생각의 연결고리 사용은 사전분석를 통한 정확한 상황파악을 통해 안정적이고 일관적인 답변이 가능합니다.

캐릭터의 위치, 상황, 반응 등 세팅에 어긋남이 없이 일관적이면서 정확한 진행이 가능하죠. 흔히 발생하는 답변에 오류가 대폭 줄어듭니다.

그에 반해 주요한 단점으로는,

CoT에 묻혀 다른 지시사항이 약해집니다, 거기에 한번 생각의 연결고리에 포착된 분석에서 벗어나기 쉽지 않습니다.

CoT에 적혀지는 정보가 많을수록, 답변은 선작업된 정보에 매몰되어 다른 부분을 고려하는 비중이 절대적으로 약해집니다.

때문에 시스템 지시사항을 쉽게 무시하고, 정보 우선순위도 전반적인 문맥보다 선작업된 생각의 연결고리에 집중되어 있죠.

기본적으로 CoT는 추론 과정의 집중력을 답변 연계를 통해 높히는 방식입니다. 그래서 특정상황에서는 굉장히 강력하지만, 아이러니하게도 전반적인 정보와 지시를 모두 다뤄야하는 롤플레이에서는 적합하게 만드는 것이 쉽지 않습니다. 롤플레이의 지향점을 어디에 두는지에 따라 효과적이지만, 범용적인 사용에 있어서는 토큰 비효율적이고 지시사항의 무시로 이끌어나가기 쉽습니다.

RP에서의 CoT는 흔히 착각하기 쉬운 마법의 꿀단지 같은 것이 아닙니다. 복잡한 상황일수록 CoT는 정확한 답변을 도출하는 것에 놀라운 성능을 자랑하지만, 보편적으로 창의력을 요구하는 세션에서는 오히려 일관성과 제한된 추론이 독이될 수 있습니다.

참고하기 좋은 자료

https://arxiv.org/abs/2201.11903 초창기 CoT 논문