라마3를 온디바이스 (스마트폰)에서 돌려보고 싶은데, 얼마나 양자화를 해야할까요?
아이폰은 mlx 라는걸 사용해서 돌려보는 것 같은데, 안드로이드에서는 어떻게 해야할지 감이 안오네요.
관련한 지식을 알고 계신분들은 키워드만이라도 알려주시면 감사하겠습니다.
구독자 3312명
알림수신 163명
제한없는 언어모델을 위한 채널
일반
라마3 온디바이스 추론
추천
0
비추천
0
댓글
6
조회수
774
작성일
댓글
글쓰기
jackofmaster
ㅇㅇ (119.200)
삭제
수정
a Hugging Face Space by ggml-org
GGUF My Repo - a Hugging Face Space by ggml-org
Discover amazing ML apps made by the community
오늘도살아야
jackofmaster
오늘도살아야
jackofmaster
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28011226
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
5754
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
25994
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
8421
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
4789
공지
신문고
2109
숨겨진 공지 펼치기(1개)
4136
일반
14b =/= 220 x 8 MoE
[5]
355
1
4135
질문
(스압) AutoRAG QA 데이터 생성 중에 이런 오류 겪으신 분 계실까요?
[4]
201
0
4134
질문
4060 12GB x2 vs 3090 24GB vs 4090 24GB
[11]
389
1
4133
질문
학습 데이터 저장장치 어떤 거 써?
[9]
321
1
4132
일반
대기업 사장님이 직접 배달해주는 GPU
[4]
461
5
4131
일반
GLaDOS 성격 코어 (직접 번역)
[1]
378
9
4130
일반
ai expo 코리아 왔는데 사람 엄청 많음 + 관람 후기
[19]
1016
17
4129
일반
needle in a haystack 평가 코드는 어떤거 써야 하나요?
[1]
240
0
4128
학습
몇가지 llama 2 7b instruction format 테스팅하면서 느낀점
[2]
412
2
4127
정보
모델은 얼마나 벤치마크에 과적합 되어 있은가?: GSM-1k
[14]
952
13
4126
일반
라마3 8B모델 파인튜닝용 PC 견적 문의
[15]
789
-1
4125
일반
llama3는 어떤 시스템 프롬프트를 사용해야 될까요?
[3]
538
0
4124
일반
여기 국제인공지능대전 다녀오신 분 있나요?
[5]
755
3
4123
일반
Llama-3-8B-Instruct & 한국어 모델들에 "DJ DJ pump this party"로 테스트를 해봤습니다
[4]
1347
19
4122
일반
5090 5080 루머라는데
[17]
878
0
4121
정보
4060ti 16GB 메모리 오버클럭 비교
[6]
501
7
4120
일반
A6000x3 llama3 70B inference 가능한가요?
[3]
423
-1
4119
일반
메모리 대역폭과 이론적 최대 토큰 수 (cpu 추론이 느린 이유)
[9]
534
6
4118
일반
뉴비 4060ti 16G 사서 llama3 돌려봄
[1]
599
7
4117
일반
라마3 토크나이저 기반 소형 모델 l3-211m
[2]
1103
22
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.