'### Response'가 무엇인지 알고 싶다면 이 글에 써있으니 대충 읽어 보면 됨.
일단 COT부터 까고 시작하자. COT는 쓰지 말자.
내가 말하는 COT는 "Think of your process step by step before responsing" 이런 식으로 대충 만든 거 말하는 거다.
진짜 진짜 개쩌는 COT라면 쓰겠는데... 아니다 걍 쓰지 마.
COT는 사칙연산 수수께끼 (e.g. 내가 공을 10개 가지고 있는데 어제 방에서 공을 3개 잃어버렸다면 공은 몇 개일까요?) 같은 적은 정보로 복잡하고 어려운 문제를 해결하는데 적합해.
하지만 역할극은 많은 정보로 복잡하고 어려운 문제를 해결하는 과정이라 COT 오히려 방해다.
INTP답게 그냥은 못 넘어간다.
가용자원이란 아이디어를 가지고 한 가지 사고 실험을 해보자.
## 가용자원
AI는 가용자원을 문제(Input)과 그에 대한 답(Output)에 적절히 분배해서 쓸 수 있어.
자원을 많이 쓸 수록 답변의 퀄리티는 올라가지만
쓸 수 있는 자원보다 더 많은 양이 필요하면 필요한 양만큼 퀄이 깍인다. (이 가정이 제일 중요)
## 수수께끼 & 역할극
A. 수수께끼의 문제는 쉽지만 답은 어렵다 (적은 Input 자원, 많은 Output 자원)
B. 역할극의 문제는 어렵지만 답도 어렵다 (많은 Input 자원, 많은 Output 자원)
## COT
COT는 일종의 추가 문제임.
하나의 문제(Input)에 추가 문제를 더한다면 답(Output)을 더 많이 해야겠지?
즉, COT는 Output 자원 소비량을 늘리는 역할을 한다.
COT의 작동원리가 문제 해결 과정을 작성하도록 하는 것이니 적절한 비유 맞지?
(엄밀하게는 COT를 Input 자원으로 취급해야 하지만 그럼 복잡해지니까 생략.)
자, 그렇다면 너가 상상한 대로 COT는 역할극에 부적합함을 알 수 있지!
아래의 수식과 표가 너가 상상한 내용을 구체화 시킨 거임.
AI의 가용자원: Input + Output ≤ 100
수수께끼: Input = 10, Output = 40
역할극: Input = 40, Output = 40
COT: Output + 50
| 문제(Input) 자원 소비량 | 답변(Output) 자원 소비량 | COT | 응답 퀄리티 | |
| 수수께끼 (COT X) | 10 | 40 | X | 50 |
| 수수께끼 (COT 사용) | 10 | 40 + 50 | O | 100 |
| 역할극 (COT X) | 40 | 40 | X | 80 |
| 역할극 (COT 사용) | 40 | 40 + 50 | O | 70 (30 초과) |
4번째 열을 보면 가뜩이나 Output에 40을 할당해야 하는데 COT 때문에 자원을 90이나 소모하면서 130이나 필요해졌고
자원 한계치보다 30이 더 필요해져서 퀄리티가 10만큼 떨어졌다. (100 - 30 =70)
우리도 멀티태스킹을 하면 작업 효율이 떨어지듯이 AI도 너무 많은 작업을 할당하면 능력치가 떨어진다.
하지만 분명 COT는 효과가 있는 것이 맞았는데?
ㅇㅇ COT 효과 좋음.
하지만 그걸 COT라고 불러야 할지 모르겠음...
차라리 템플릿에 가깝지 않을까???
템플릿이란 어떤 형식으로 답변해야 할지 미리 지정해주는 역할이야.
존나 똑똑한 챈럼은 여기서 어떻게 템플릿을 사용해서 AI의 응답 퀄리티를 올릴 수 있는 지 눈치 챌 수 있을 거임.
COT가 Output 소비량을 늘린다면 템플릿은 Output 소비량을 줄인다.
그래... 이것의 나의 가설이다.
그리고 GPT-4o의 뛰어난 지시 수행력이 시너지를 일으켜서 템플릿의 효과는 증가 된다.
4o에게 답변 형식을 미리 일러주면 AI는 어떻게 답해야 할지 고민은 안 해도 되지.
그럼 AI는 자기가 받은 문제에 더욱 집중할 수 있겠지?!
그렇다면 다시 한 번 상상해볼까?
두 번째 사고 실험 들어간다!
다른 조건은 바뀌지 않았고 역할극의 자원 소비량을 늘리고 COT를 템플릿으로 대체했어.
AI의 가용자원: Input + Output ≤ 100
수수께끼: Input = 10, Output = 40
역할극: Input = 60, Output = 60
Template: Output -30
| 문제(Input) 자원 소비량 | 답변(Output) 자원 소비량 | Template | 응답 퀄리티 | |
| 수수께끼 (Template X) | 10 | 40 | X | 50 |
| 수수께끼 (Template 사용) | 10 | 40 - 30 | O | 20 (30 하락) |
| 역할극 (Template X) | 60 | 60 | X | 120 (20 초과) |
| 역할극 (Template 사용) | 60 | 60 - 30 | O | 90 |
아~ 그러니까 쉬운 문제에 어려운 답변을 하려면 COT를
어려운 문제에 어려운 답변을 하려면 Template을 쓰면 되겠구나~~
자... 그럼 다들 템플릿을 연구하러 가볼까?
왜 어쩔 때는 COT를 껐을 때 응답 퀼리티가 더 좋고 저쩔 때는 COT를 켜야 좋았는지 알 것 같지?
참고로 이 글의 모든 내용은 순전히 나의 뇌피셜이다.
