말뭉치 추가로 학습하신분들 (한글 토큰추가), 주로 몇 토큰 정도 추가하셨나요? - Ai 언어모델 로컬 채널

Ai 언어모델 로컬 채널

알림 알림 중 알림 취소

구독자 3483명 알림수신 174명 @바바리맨

제한없는 언어모델을 위한 채널

질문 말뭉치 추가로 학습하신분들 (한글 토큰추가), 주로 몇 토큰 정도 추가하셨나요?

추천 0 비추천 0 댓글 7 조회수 512 작성일 2024-03-18 07:42:35

⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.

https://arca.live/b/alpaca/101512931

안녕하세요! LLM 한국어 추가학습시키려고 말뭉치 어느정도 모아서 이제 토크나이저 학습시켜보려고 하고있습니다...!(expanded)

뭐 데이터 용량이라던지, 토큰 수라던지, 대략이나마 대비로 알 수 있을만한 정보가 있을까요?

한국어 말뭉치 추가학습 시키신 선생님분들 어느정도 사이즈로 하셨는지 알려주시면 감사하겠습니다 ㅠㅠ

댓글 [7] 글쓰기

2024-03-18 07:45:46 답글

repo 드가면 다 쓰여있음 허깅 beomi, yanolja

펼쳐보기▼

2024-03-18 07:55:17 답글

감솨합니닷!

펼쳐보기▼

2024-03-18 10:23:54 답글

흠 beomi님 koen같은경우는 영어는 뭘 썼는지 알기가 힘드네요... 옛날에 혹시 공유된적 있었던가요?

펼쳐보기▼

2024-03-18 13:19:57 답글

몰루겠음..

펼쳐보기▼

2024-03-18 20:07:45 답글

32000-> 46000정도 늘렸어요

펼쳐보기▼

2024-03-19 11:00:39 답글

여러 발표자료에 보면 koen은 falcon 썼다고 되어있어요

펼쳐보기▼

2024-03-26 12:32:27 답글

*수정됨

안녕하세요. 저도 LLM의 한국어 확장을 목표로 연구를 진행하고 있습니다.
다만 시작단계인 토크나이저 학습을 어떻게 해야할지 몰라 고민중입니다...
train_new_from_iterator를 사용하면 아예 새로운 토크나이저를 학습하는 것 같고, 어떻게 확장하셨는지 여쭤봐도 괜찮을까요?

펼쳐보기▼

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 30741983

공지 Ai 언어모델 로컬 채널 이용규정

바바리맨 2023.04.18 6197

공지 뉴비에게 도움 되는 글 모음

바바리맨 2023.04.18 28078

공지 언어모델 관련 정보취득 /무료체험 가능 사이트

바바리맨 2023.04.18 9268

공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원

바바리맨 2023.08.01 5351

공지 신문고

바바리맨 2023.04.18 2330

숨겨진 공지 펼치기(1개)

질문 마피아 게임 같은걸 로컬 LM로 만들어보려고 하는데 [5]

ㅇㅇ (175.209) 2024.03.20 446 1

자료 한국어 인공 멀티턴 데이터셋 685k 업로드 [7]

maywell 2024.03.19 705 29

일반 자연어 분석이 채팅/대화 형식으로 고착되지 않았으면 좋겠음 [3]

pussydestroyer 2024.03.19 665 6

일반 kiqu는 miqu의 라이센스를 따라가나요? [4]

호옹이 2024.03.19 578 0

질문 안녕하십니까 gpt 파인튜닝 관련해서 질문드립니다. [4]

ㅇㅇ (117.16) 2024.03.19 406 0

정보 Gpt4는 1800b 파라메터 moe 모델이었음 [15]

hkhk 2024.03.19 1527 11

일반 GPT-2를 액셀 시트에 가둬버렸다는 충격적인 소식 [4]

12시5분 2024.03.19 1320 15

정보 RWKV-5가 1.7T 갯수의 토큰을 사용하여 llama2의 성능을 능가함 [1]

ㅎ헤ㅔ헤헤헤 2024.03.18 619 8

일반 레딧) grok 1 벤치마크 [4]

pussydestroyer 2024.03.18 721 3

질문 말뭉치 추가로 학습하신분들 (한글 토큰추가), 주로 몇 토큰 정도 추가하셨나요? [7]

lIlBrother 2024.03.18 513 0

일반 grok-1 312B(8x39B)모델 출시 [9]

ㅇㅇ 2024.03.17 1374 13

질문 선생님들!! 견적과 실현 가능성을 문의하고 싶습니다! [17]

ㅇㅇ (222.237) 2024.03.17 851 2

정보 gpt 3.5 turbo의 hidden dim을 4096으로 추정한 논문이 나왔네요. [1]

ㅇㅇ 2024.03.15 784 9

일반 bge-m3 모델을 openai compatible api 방식으로 사용할 방법이 있을까요? [1]

호옹이 2024.03.15 644 0

질문 궁금한 것이 있슴돠.. [9]

다람쥐다 2024.03.15 624 0

질문 langchain LlamaCpp 비동기화 어렵네요ㅜ [2]

메가트론커피 2024.03.15 406 1

일반 한국어 멀티턴 데이터셋 생성 모델, KoMultiGen-General [7]

maywell 2024.03.14 1552 35

질문 우바부가 쳇 오류

bigton 2024.03.14 201 0

전체글 개념글