리스 업뎃되면서 오픈라우터 min p도 설정 가능해진걸로 보여지는데 이 파라미터에 대한 설명임

https://github.com/huggingface/transformers/issues/27670

위 링크 내용  퍼오면서 쉬운 설명을 위해 사족도 덧붙힘

기존에 있던 Top P의 문제점

(짤 원본 업로더 : kalomaze)

Top-p의 문제는 소수의 토큰만 선택해야하는 상황에서 적절하게 토큰을 제한하지 못한다는거임

Top-p = 0.9로 설정할 경우

각각의 토큰의 확률 총합이 90%가 되는 지점까지의 토큰이 선택됨

(윗 짤에서 토큰1 ~ 28까지의 확률 총합이 90%)

위에서 토큰 약 5?~27까지는 문장을 박살낼 가능성이 높음에도 여전히 선택될 가능성이 있음

기존 Top k의 문제점

Top-k의 문제는 다양한 토큰을 선택해야 하는 상황에서 적절하게 토큰을 제한하지 못한다는거임

Top-k = 8로  설정

=> 가장 높은것부터 시작해서 8개의 토큰이 선택됨

(윗 짤에서 토큰 1 ~ 토큰 8 까지 선택됨)

매우 다양한 토큰이 사용될수 있는 상황임에도 토큰 1~8까지밖에 사용을 못함

min p의 작동 방식

min p는 확률이 가장 높은 토큰의 확률에 비례해서 계산함

만약 min p의 설정이 0.05(5%)이고 첫번째 토큰의 확률이 90%이면

4.5% (0.05 * 0.9 = 0.045) 까지의 토큰이 선택됨

min p를 사용하는 이유

min p는 낮은 온도에서는 단점이 없음

min p는 높은 온도에서는 장점을 보여줌

(짤 원본 업로더 : Minh, coauthor of kalomaze's research paper introducing Min P)

보다시피 min p는 낮은 온도에서 동일한 성능을 보여주면서

온도가 높아질수록 오히려 성능이 좋아지고 다시 내려가는 모습을 보여줌

(온도가 2가 되었는데 박살나기는 커녕 성능이 좋아짐)

아래는 실리태번 사용자가 0.05 또는 0.1을 선호한다는걸 알고서 업데이트 된 그래프

여기서도 min p가 압승하고 있음

 EQ Bench의 창의적 글쓰기 평가 결과

(짤 출저 : https://t.★me/senior_augur/76)

보다시피 높은온도+MIN P 설정이 가장 높은 점수를 얻었음

2줄 요약

1. min p는 단점은 없는데 장점은 있는 설정

2. 온도 1.5 + min p 0.1와 온도 1.0 + min p 0.05가 좋은것으로 보여짐 (이거 쓰면 top p는 안쓰던가 1.0으로 해둬야함)