How Mirostat works
https://www.reddit.com/r/LocalLLaMA/comments/16nh7x9/how_mirostat_works/
논문 : https://openreview.net/pdf?id=W1G1JZEIy5_
요약 :
* tau = 3 세팅이 인간과 가장 비슷한 결과물을 출력
* eta는 미로스탯이 얼마나 빠르게 펄플렉서티를 제어하려고 시도할지를 결정. 0.1로 세팅하는 걸 추천 (0.05에서 0.2 사이에서 결정 가능)
* Temperature 파라미터는 여전히 출력에 영향을 줌. Temperature와 Mirostat은 독립적으로 작동함.
llama.cpp에서 가끔 써보긴 하는데 크게 체감은 안되던...
