3.5터보 말고 레거시 시절이나 4는 한글이 엄청 느려서
번역하나? 생각했었는데 그게 아니라 토큰문제였네요
그럼 지금 로컬로 돌리는 녀석들도 한글 학습시켜도
결국 토큰화 하는게 알파벳에 맞춰져 있어서 영어보다 느릴 확률이 높겠군요?
구독자 3391명
알림수신 166명
제한없는 언어모델을 위한 채널
일반
결국 ChatGPT에서 한글이 느린 이유는 토큰때문이었네요
추천
1
비추천
0
댓글
0
조회수
355
작성일
댓글
[0]
글쓰기
새로운 댓글이 달렸습니다!
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28459752
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
5974
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
26894
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
8837
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5051
공지
신문고
2230
숨겨진 공지 펼치기(1개)
정보
mirostat 을 쓰니까 local llama 가 두배 똑똑해진 느낌이 들어요!
[3]
545
3
일반
우리 주변은 너무 인공지능에 적대적인거같다..
[5]
375
2
일반
llm을 만들면서 목적이 지능이었을까요? 지식이었을까요?
[2]
276
1
일반
polyglot12.8 기반 koalpaca ggml 변환해줄 사람
[13]
745
1
일반
중국어주의) 3090에 48기가 브램 업그레이드를 시도한 사례가 있네
[3]
595
4
정보
스스로 메모를 하면서 암기와 추론을 하는 언어모델
[4]
460
3
정보
python 의 생태계를 활용할 수 있는 새로운 프로그래밍 언어 Mojo
[3]
1218
7
일반
langchain gpt를 로컬모델로 진행하시는분 계신가요?
[7]
1076
0
일반
RLHF류 갑은 Tesla 아닐가여?
[3]
386
2
일반
소비자용 그래픽카드의 vram을 48g까지 확장할 수 없을까?
[18]
894
3
일반
결국 ChatGPT에서 한글이 느린 이유는 토큰때문이었네요
356
1
정보
Pandas AI: 자연어로 조작하는 Pandas
[1]
366
2
일반
토크나이저 테스트
[8]
732
4
일반
오픈ai 현재 토큰시스템으로는 한글(한국어)는 엄청나게 불리한거 같군요
[29]
1061
0
정보
OpenLLaMA : LLaMA의 오픈소스 복제 (7B 체크포인트 프리뷰 릴리즈)
[4]
778
9
정보
LLM 로직 테스트 업데이트 + WizardLM 13B LoRA
[8]
469
0
일반
이번주 랭체인 목표
[14]
565
3
스터디
In-context Learning 에 대해 알아보자 (Feat. 논문 읽는 tip)
[28]
6243
43
스터디
(쌉스압)21년도에 받아놨던 딥러닝 관련 책 내용 일부
[3]
618
4
정보
과기정통부, AI 학습용 데이터 15억건 개방
[18]
780
7