https://github.com/2kpr/dreambooth-tokens/blob/main/all_single_tokens_to_4_characters.txt
말 그대로 1토큰짜리 단어들이 정리되어있음
많이 쓰는 iom도 물론 있고 총 9258개의 싱글 토큰들이 있음
https://github.com/2kpr/dreambooth-tokens/blob/main/all_single_tokens_to_4_characters.txt
말 그대로 1토큰짜리 단어들이 정리되어있음
많이 쓰는 iom도 물론 있고 총 9258개의 싱글 토큰들이 있음