저도 궁금해서 챗GPT쌤에게 물어봤더니 이렇게 대답해 주네요. 

[ "Mirostat: A Neural Text Decoding Algorithm that Directly Controls Perplexity" 는 2020년에 발표된 논문으로, 언어 생성 모델링에서 perplexity(복잡도)를 직접 제어하여 더 나은 텍스트 생성을 수행하는 알고리즘을 제안합니다.

이 논문에서 제안하는 Mirostat은 기존의 언어 모델링 방식과 다릅니다. 일반적으로 언어 모델링에서 perplexity는 최소화하는 방향으로 모델을 학습합니다. 하지만 Mirostat에서는 perplexity를 일정한 값으로 유지하면서 더 자연스러운 텍스트 생성을 수행할 수 있도록 합니다.

Mirostat은 주어진 입력 시퀀스에 대한 가능도를 평가하는데 사용되는 디코더 신경망에 대한 가중치를 학습합니다. 이 때, perplexity 값을 고정하고 생성된 텍스트의 자연스러움을 측정하는 특별한 손실 함수를 사용합니다.

이 논문에서 제안하는 Mirostat은 기존의 언어 모델링 방식과는 다른 새로운 시각을 제시하고 있으며, 자연스러운 텍스트 생성에 있어서 더 나은 성능을 보이고 있습니다. ]

[ 언어 모델은 문장 내의 단어들의 순서와 관련하여 각 단어의 확률을 예측하는 모델입니다. 이 때 모델의 성능은 perplexity(복잡도)라는 지표로 평가됩니다. perplexity는 낮을수록 모델이 예측을 더 잘한다는 것을 의미합니다.

MIROSTAT 알고리즘은 이 perplexity를 직접적으로 조절할 수 있는 방법을 제공합니다. 이 알고리즘은 미로를 탈출하는 과정에 비유될 수 있습니다. 미로를 탈출하는 과정에서, 사람은 가능한한 길을 찾아나가면서 다음에 어떤 선택을 할지 결정합니다. 이때 미로의 복잡도가 높아지면 더 많은 결정을 내려야하므로 힘들어지지만, MIROSTAT은 이를 자동으로 해결합니다.

MIROSTAT 알고리즘은 입력된 문장의 perplexity를 최소화하기 위해 확률 값을 직접적으로 조절합니다. 이를 위해 미로를 탈출하는 과정에서, 각 결정에 대한 가중치를 동적으로 조절하며 미로를 탈출하는 것과 같은 방식으로 최적의 선택을 하게 됩니다. 이렇게 모델이 직접 perplexity를 조절하면서 더 높은 성능을 보이게 됩니다.

즉, MIROSTAT 알고리즘은 문장을 생성하는 과정에서 perplexity를 최소화하는 방식으로, 자연어 처리 분야에서 언어 모델의 성능 향상을 이루는 방법입니다. ]

이걸 보니깐 GPT-3나 4는 PPL를 최대한 낮게 가져가고 있는거 같네. 아웃풋이 항상 일정한 느낌이고 문체가 엄청 딱딱함.
반면에 Claude같은 모델은 PPL이 적당히 높아서 문체가 풍부하고 표현이 훨씬 다체롭게 느껴지는듯.

LLM은 기본적으로 다음 단어를 생성할때 하나만 생성 하는게 아니라 여러개를 생성함. 그런 다음 top-k같은 알고리즘을 이용해서 그 중에 가장 그럴듯한 답변을 골라내고 그것을 유저한테 아웃풋으로 보여줌. 
만약에 모델의 PPL이 낮다면 이렇게 생성된 여러개의 단어가 거의 같은 의미를 가지게됨. 반면에 PPL이 높다면 생성되는 단어의 범위가 좀 더 넓어짐.
PPL이 너무 낮으면 사람은 그걸 기계적이고 딱딱하다고 느낄 수 있음. 반면에 PPL이 높다면 좀 더 문학적이고 표현이 풍부하다고 느낄수도 있음. 물론 너무 높으면 정답에서 멀어지니 학술적인 용도로는 안좋을수도 있음.
mirostat이 하는 역할은 저 PPL값을 원하는 값으로 맞춰주는거임. 만약에 학술적인 용도라면 PPL을 낮은값에 맞추면 되고 소설 작성같은 용도라면 원하는 PPL을 높이면 됨.

와 설명 감사합니다. 댓글들 반복해서 읽으니까 조금 이해한 것 같은 느낌이에오!

https://arca.live/b/alpaca/75208467?p=1