https://seen-point-bd9.notion.site/Tokenizer-Expansion-ecb6d78211a54ba6b3cf8ebc0ec1d105

직접 정리한 자료입니다.

추가할 토큰을 뽑아내기 위해 토크나이저를 새로 학습하는 방법,

구해진 토큰들을 기존의 토크나이저에 넣는 방법,

그 과정에서 어떤 오류가 있을 수 있는지,

최근의 동향은 어떠한지, 


등등에 대한 내용이 담겨있습니다.

오개념 수정이나 설명 및 내용 추가 건의 환영합니다!


감사합니다 :D