https://arca.live/b/characterai/106357043 

이걸 보고 생각이든건데, 4O가 웹에서도 개빡치게 하는경우가 반복이거든.

예를 들자면, 내가 특정 복잡한 추론을 요하는 지시를 하고, GPT4O가 개판을 쳐. 그럼 나는 개빡쳐서 이런이런 관점을 생각해야 하지 않냐 대체 왜그러냐 하고 좀 짧은 지시를 해. 그럼 얘가 내 얘기를 완전히 무시하고 이전 답변과 똑같은 답변을 계속해서 출력하거든? 이걸 중단하려면 화를 내거나, 내가 요청한 기존 질문과 연관성 있는 얘기를 하면 안됨. 기존의 답변을 완전히 중단하고 생각을 비운 뒤, 다른 질문에 답변할 것을 요청해야되.

근데 이 상황을 중단 시킨뒤, 지난 대화로그를 다시 분석하게하면, 내가 뭐때문에 화났는지 정확하게 인식해. 그리고 자신은 어떤 답변을 했어야 하는지도 분석해서 내놓고. 물론 좋은 답변을 주는 경우는 없지만, 어쨌든 '아, 이게 모델의 한계로구나' 싶은 정도의 답변을 제시하지 사용자의 인풋을 무시하고 동일한 답변을 출력하지는 않는단 말이야?

그래서 저 위의 글이랑 연결해서 생각했을때 이 '사용자 인풋'이라고 생각하는 부분을 처리하는 부분이 총 컨텍스트의 맥락과 내용을 파악하는 부분이랑 좀 다른게 아닌가 하는 생각이 들었음. 대부분의 프롬에서는 '사용자 인풋'을 특별하게 처리하고 거기에 반응할 것을 지시하잖아? 근데 4O가 그부분을 사용자 인풋이라고 생각하게 되면 가중치를 좀 이상하게 맥여서 동일 맥락의 질문이라고 생각하고 같은 답변을 내는게 아닌가 하는... 

어차피 컨텍스트 장악력은 20k 30k 토큰이 쌓여도 강력하니까, 4O용 프롬에서는 채팅 기록을 0으로 처리하고 걍 이으세요~ 하는게 더 낫지 않을까 싶은거지. 물론 이건 플레이 컨셉에 따라서 할 수도 있고 못할 수도 있는 부분이지만... 예를 들면 시뮬프롬에서는 전혀 못쓸꺼고, 소설 프롬도 마찬가지고... 근데 RP에서는 사용자 스타일에 따라서 가능할 수도 있을 것 같음.

아직 내가 시도해 보진 않았음 40불 충전한거 다써서... 뭐 제대로 먹은 것도 없는데 프롬 깎다가 다 쓴것 같아서 원통하다.