https://arca.live/b/alpaca/75256841
여기서 이어짐
이런 일이 있었는데
다시 확인해보니 코드에 버그가 있었음
씨발
개행 <-- 1토큰임
확인해보니 202번 토큰이라네?
그래서 일정 간격마다 강제로 202번 토큰을 출력하게 만들어봤음
콘솔에서 개행 잘됨
우바부가에서도 개행 잘됨
근데 그거와는 별개로 polyglot에서 202번 토큰을 죽어도 생성 안하려고 함
토큰만 있고 학습을 안한걸로 보이는데, 이건 파인튜닝으로 해결해야 할듯