https://seen-point-bd9.notion.site/Tokenizer-Expansion-ecb6d78211a54ba6b3cf8ebc0ec1d105
직접 정리한 자료입니다.
추가할 토큰을 뽑아내기 위해 토크나이저를 새로 학습하는 방법,
구해진 토큰들을 기존의 토크나이저에 넣는 방법,
그 과정에서 어떤 오류가 있을 수 있는지,
최근의 동향은 어떠한지,
등등에 대한 내용이 담겨있습니다.
오개념 수정이나 설명 및 내용 추가 건의 환영합니다!
감사합니다 :D