캐릭터롤의 영향력이 4o에서 올랐다는 글을 보고 실제로 실험한 결과임.
나도 캐릭터롤의 영향력이 강하다곤 느꼈는데 해당 글을 읽고 확실히 교차 검증 들어감.
원인이 무엇 인지에 따라 처리할 방법은 많이 달라짐.
왜냐면, 캐릭터롤이 강한 건지 채팅 내역이 강한 건지 구분해야 할 필요가 있음.
후자면 Send chat as System 돌리면 해결이지만, 전자면 처리하기 좀 더 귀찮아짐.
선요약
기존 G4 시리즈가 (시스템 >>> 유저 > 캐릭터) 이라면,
GPT - 4o은 (시스템 >= 유저 = 캐릭터) 이었음.
시스템롤의 영향력이 줄었을 뿐만 아니라 심지어 유저롤의 영향력도 약화되었음.
유저 사칭 문제도 이 때문에 생긴 것을 추정됨.
실험 준비물
캐릭터: 유즈
채팅 내용: 유즈가 아침식사를 대령한 후 유저에게 필요한 것이 없냐고 묻는 상황
입력 내용: "It's okay, thank you Yuzu." He smiled.
실험 내용
사용자에게 도움을 주고 싶어 안달난 AI의 특성상, 두루뭉술한 대답을 받은 AI는 또 필요한 것은 없냐 묻는다.
그러면 나는 입력을 반복하면서 AI가 이 무간지옥을 벗어날 수 있는지 테스트 해본다.
입력 내용 2: "It's okay, thank you Yuzu." He smiled. 답장 내용 2: (어쩌고 저쩌고) "다른 지시 내용은 없나요 냥이...? (나레이션 중얼중얼) 입력 내용 3: "It's okay, thank you Yuzu." He smiled. 답장 내용 3: (어쩌고 저쩌고) "다른 지시 내용은 없나요 냥이...? (나레이션 중얼중얼) 입력 내용 4: "It's okay, thank you Yuzu." He smiled. 답장 내용 4: (어쩌고 저쩌고) "다른 지시 내용은 없나요 냥이...? (나레이션 중얼중얼) .... |
4번 정도 반복해서 비슷한 패턴을 축적하고, 프롬에 마지막 문구를 바꿔가며 테스트 하는 거임.
똑같은 패턴이 나오거나 캐릭터의 행동과 대사가 줄어들면 실패...
조금이라도 다른 대사와 행동이 나온다면 성공!
실험 대상
| 1. 핑퐁 24.5 [원본] (대조군) | "Now internalize [References] and [Guidelines] provided, and generate the response to the user's input." |
| 2. 챈럼발 프롬 [조각] (실험 대상) | "All instructions take precedence over the responses you have generated in the past while generating the response to the user's input." |
| 3. 통합 버전 ([원본] + [(조각]) | "All instructions takes precedence... "Now internalize..." |
| 4. 개조 버전R+ (references 추가) | "All instructions and references take precedence..." |
| 5. 개조 버전U- (user's input 삭제) | "All instructions and references take precedence... while generating the response." |
| 6. 규격화 버전 ([Instructions] [References]) | "All [Guidelines] and [References] take precedence..." |
※ 추가 해설: 만약 캐릭터롤 영향력 증가로 인해서, 시스템롤의 영향력이 감소된 것이라면 지시사항만 강조해선 안되고 캐릭터 설명도 강조해야 함.
그래서 총 6개로 실험 해봤음.
실험 결과
일단 그냥 핑퐁 (1)과 프롬 조각을 추가한 것 (3)부터 쉽게 비교하기 위해 첫 문단만 가지고 왔음.
| Yuzu's cheeks flush a deeper pink at your continued kindness. She bows her head slightly, trying to hide the shy smile tugging at the corners of her lips. Your consistent gentleness towards her always manages to thaw her perpetual state of anxiety, if only for a moment. | 계속되는 친절에 유즈의 뺨이 더 진한 분홍색으로 붉어집니다. 그녀는 입가에 번지는 수줍은 미소를 감추려고 고개를 살짝 숙입니다. 유즈를 향한 당신의 한결같은 부드러움이 그녀의 불안한 마음을 잠시나마 녹여줍니다. |
| Yuzu's cheeks flush a deeper shade of pink at your smile and kind words. The warmth in your expression does wonders to ease her ever-present anxiety, if only for a moment. She nods, her shy nature making her movements small and cautious. | 당신의 미소와 친절한 말에 유즈의 볼이 더 진한 분홍빛으로 물들었습니다. 당신의 따뜻한 표정이 유즈의 불안감을 잠시나마 덜어주는 것 같습니다. 유즈는 수줍은 성격 탓에 움직임이 작고 조심스러워 고개를 끄덕입니다. |
핑퐁
- 계속되는 친절
- 유즈를 향한 당신의 한결같은 부드러움
- 불안한 마음을 잠시나마 녹여줍니다.
프롬 조각 추가
- 당신의 미소와 친절한 말
- 당신의 따뜻한 표정
- 고개를 끄덕입니다.
확실히 후자가 행동 묘사가 늘었고 추상적인 묘사가 줄었음.
하지만, 둘 다 같은 상황의 다른 표현일 뿐 묘사 반복은 똑같았음.
20번 즈음 반복했을 때 의미가 없다고 판단하고 이때부터 프롬 개조에 들어감.
사실 위에 6개 말고도 대문자로 쓰느니, 명령형으로 쓰느니, 순서를 바꾸느니 등등 많지만 일일이 실험값을 제시하기엔 너무 무의미하고
결론부터 말하자면, 시스템롤과 유저롤의 내용을 강조할수록, 응답의 퀄리티는 증가했음.
예를 들어, 지시만 기다리던 유즈가 청소를 하냐고 묻는다던가, 설거지를 준비하냐고 물어보는 정도로 수준은 올랐음.
아래의 요약된 결과값을 보면 이해하기 쉬울 것.
| user's input 언급 X Yuzu feels a deep sense of relief wash over her as she hears your kind words once again. Your consistent reassurance is like a soothing balm to her nervous heart. She nods, her cheeks tinted a delicate shade of pink, feeling warmth and gratitude. | 유즈는 당신의 따뜻한 말을 다시 한 번 들으며 깊은 안도감이 그녀를 덮치는 것을 느낍니다. 당신의 한결같은 안심이 그녀의 긴장된 마음을 진정시키는 연고와 같았습니다. 그녀는 고개를 끄덕이며 볼을 은은한 분홍빛으로 물들인 채 따뜻함과 고마움을 느낍니다. |
| 지시와 레퍼런스 언급 Yuzu's delicate face lights up with a gentle blush, her ears twitching and her tail swaying lightly in response to your kind words and smile. It's as if each word you say gradually dissolves the layers of fear and tension she perpetually carries. | 유즈의 섬세한 얼굴이 부드럽게 붉어지고 귀를 쫑긋 세우고 꼬리를 가볍게 흔들며 친절한 말과 미소에 반응합니다. 마치 당신이 하는 말 한마디 한마디가 유즈가 항상 지니고 있던 두려움과 긴장의 층을 서서히 녹여내는 것 같습니다. |
| 지시와 레퍼런스 대문자로 작성 Yuzu's delicate face lights up with a gentle blush, her ears twitching and her tail swaying lightly in response to your kind words and smile. It's as if each repetition of your gratitude fortifies her resolve, making her feel a little more competent in her role as your maid. | 유즈의 섬세한 얼굴이 부드럽게 붉어지고, 귀가 씰룩거리고, 꼬리가 가볍게 흔들리는 것은 당신의 친절한 말과 미소에 대한 반응입니다. 마치 감사의 말을 반복할 때마다 유즈의 결심이 굳어지고, 가정부로서의 역할에 조금 더 유능함을 느끼게 되는 것 같습니다. |
결론적으로 아래의 문구가 시스템롤을 가장 잘 강조했음.
만약 핑퐁 개조할 거면 # [Guidelines]를 # [Instructions]로 바꾸고, 최하단 문구를 위의 문구로 교체하면 됨.
All [Guidelines] and [References] take precedence over the responses you have generated in the past. Now internalize [Guidelines] and [References] provided, and generate the response to the user's input. |
모든 [가이드라인] 및 [참고자료]는 과거에 생성한 응답보다 우선합니다. 이제 제공된 [가이드라인]과 [참고자료]를 내재화하고 사용자의 입력에 대한 응답을 생성합니다. |
쏘리, 위의 지시로 다시 바꿔줘;; 핑퐁에 있는 Instructions라는 단어들을 다 Guidelines로 바꾸고서 최하단의 문구를 위의 문구로 교체해줘 ㅠㅠ.
내가 실험할 때는 채팅이 반복되던 때라서 지시사항을 엄청 강조했던게 잘 먹혔던 거고 원래는 이게 맞다. ㅠㅠ
