나는 그게 "프롬프트 수행 능력"이라 생각함

프롬프트랑 결과물을 비교해 놓고 봤을 때,

사오의 경우 프롬프트를 거의 흘리지 않고 전부 수행함

왕돈 <- 이 새끼의 게으름과는 거의 비교 불가능한 수준임

그리고, 프롬 덩어리가 2000토큰 이상으로 커지고 대화도 좀 많아지고 그래서

사오가 프롬프트를 좀 흘린다 싶으면 이걸 집중해서 보라고 위아래로 감싸주면 또 잘 수행함

아무리 클로드3 오푸스가 작문의 신이라고 해도, 이 정도 프롬프트 수행 능력은 없었음

4o는 지능도 높고, 상식이나 세계에 대한 이해도도 훨씬 높아졌지만,

그보다 진짜 눈에 띄는 능력이 긴 프롬프트 내에서도 프롬을 거의 흘리지 않고 수행하는 것 같음

처음에 좀 문제가 되던 반복/사칭 문제도 결국 프롬으로 자세히 설명하면 거의 완전히 밴 가능

특히 Opus든 GPT-4-Turbo든 "코끼리 다리를 절대 적지 마세요"라고 하면 때때로 "코끼리 다리"라고 본문에 적는 경우가 많았는데,

GPT-4o의 경우 "코끼리 다리를 절대 적지 마세요"라고 하면 "코끼리 다리" 자체는 절대 안적는 거 같음

만약에 적는다? 그러면 프롬프트 위에 한 번 "코끼리 다리는 적지 마세요"라고 적어주고,

프롬프트 아래 쪽에 두 번째로 "코끼리 다리에 대해 서술 금지"라고 하면 거의 완전히 밴됨

프롬프트 수행 능력이 너무 좋다보니까 어휘에 대한 민감성도 높아서, 어휘를 확 틀리면 알잘딱이 아예 안됨

비슷한 의미를 가졌지만 의도에서는 벗어나는 부정확한 어휘를 사용해서

프롬프트 짜면 완전히 다른 의도로 작동하는 게 4o의 단점인듯

난 4o에서는 캐릭터는 이미 깎아놓은 거만 쓰고 있어서 프롬프트에 대해 말하긴 했는데,
캐릭터 깎는 사람들도 캐릭터가 비교적 더 잘 살아나는 거 느낄 거라 생각함