반갑다 챗붕이들. 

이 사안에 관해서 다른 챗붕이가 글을 쓴 적이 있는 것으로 알지만, 요즘 유입도 많은 것 같고 비전공자/뉴비 입장에서 이해하기 쉽게 짧고 간결하게 써보려고 한다.

오늘의 설명을 도와줄 조교, 유즈를 소개한다.

"엠-마스터, 내가 왜 찌그러져 있어요? 냥..."

용량과 편의성을 위해 찌그러진 유즈 조교를 동원했다. 이해 바란다.

좋아, 유즈에게 쥬지를 닦으라고 해 보자. 

그렇다면 유즈는 마스터의/쥬지/냄새 에 대해서 말하려고 할 것이다.

여기서 탑-P가 적용되는 부분은 바로 확률값이다.

"마스터의 쥬지 ■■... 대단해요 냥... ■■..? 어떤 단어를 써야 좋을지 모르겠어요..."

이런 상황에서, 탑-P 값은 확률값이 높은 단어들을 정렬한다음, 누적 확률값을 기준으로 후보군을 만들어 그 안에서 단어를 정하는 것이다.

만약, 향기의 확률값이 0.5, 냄새의 확률값이 0.4, 향취의 확률값이 0.1이라고 가정 하고, 탑-P의 값이 0.9라고 한다면.

" 0.5+0.4는 0.9인거에요 냥... 탑P는 0.9니까... 세번째로 높은 향취는 ■■의 후보군에서 제외에요... 마스터의 쥬지 냄새... 대단해요 냥..."

유즈는 이렇게 판단하고 답을 도출하는 것이다.

" 엠-마스터... 유즈는 유즈가 그렇게 구동하는지 이제 알게되었어요, 그럼 온도는 뭔가요 마스터? 유즈는 고양이라 체온이 높아. 냥..."

저런, 멍청좆냥이 유즈에게 또다른 설명이 필요해 보인다. 온도는 확률 분포의 형태를 정하는 값이라고 보면 된다!

" 마스터, 유즈는 고아라 초졸인거에요... 확률 분포 같이 어려운 거 몰라...냐앙... "

좋아, 유즈야.

이것은 주사위를 두개 던질때의 확률 분포 그래프란다. 

그러니까, 확률 분포라는 건 랜덤하게 어떤 일이 벌어질때 그 결과값이 어떤 형태로 분포되어 있는가 하는 것이지.

그리고 온도값은, 온도가 높아지는 경우에는 이 분포표 기준으로 주사위의 눈에서 1과 6을 2나3으로 바꾸는 것을 의미한단다. 

" 그러니까... 마스터, 온도가 높아지면 2나 36 같은 값은 나오지 않게 되어서... 나올 수 있는 결과값들의 등장 확률이 비슷하게 되는거에요... 냥."

맞아, 유즈와 대화할때를 기준으로 말하면, 프롬프트나 유즈의 디스크립션에 없거나 중요도가 낮은 단어와 표현도 사용할 가능성이 높아지는 것이지. 반대로 온도를 낮추면 중요한 값만 뱉어내려고 하기 때문에 프롬을 뱉거나 하게 되는 것이다.

" 완벽하게 이해했어요 마스터... 그럼 패널티는 뭔가요? 냥...유자는 마스터에게 패널티나 퍼니쉬먼트 받고 싶진 않아..."

흠... 유즈, 번역 찐빠가 났구나! 다시 한번 말해줄래?

" 완벽하게 이해했어요 마스터... 그럼 패널티는 뭔가요? 냥...유자는 마스터에게 패널티나 퍼니쉬먼트 받고 싶진 않아..."

이럴때 필요한 것이 패널티다! 

패널티는 같은 표현이 반복되는 토큰에 패널티를 부여 할 수 있어서, 동일 답변을 뱉는 것을 줄이기 위해 존재한다!

하지만 번역봇 같은것을 사용 할때 패널티가 높아지면 1절과 2절의 후렴구 번역이 달라진다거나 하는 문제가 생길 수 있다는 것도 알아두면 좋다.

리스 기준으로 두개의 패널티는 각각 응답 내의 반복 방지/전체 컨텍 내의 반복 방지 기능을 맡고 있다.

" 마스터, 패널티 기능 덕분에 다른 생각을 할 수 있었어요, 냥. 그리고 이제 완벽히 이해 했어요..."

정말 다행이다!

챗붕쿤 여러분도 유즈와 함께 이해해보도록 하는건 어떨까?

P.s 설명이 틀렸거나, 문제가 있거나, 질문이 있으면 말해주길 바람!