Ai 언어모델 로컬 채널 알림 알림 중 알림 취소 구독 구독 중 구독 취소 구독자 3544명 알림수신 175명 @바바리맨 제한없는 언어모델을 위한 채널 일반 M4 익스트림 모델이 나온다는 이야기가 있네요. 키티호크 추천 4 비추천 0 댓글 7 조회수 774 작성일 2024-05-11 05:19:24 https://arca.live/b/alpaca/105914029 최고 모델은 m1울트라의 램보다 2배의 용량인500기가에 육박하는 램을 가진다는 말이 있던데이정도면 진짜 어마어마하게 커다란 모델을 굴릴 수 있게 되지 않을까요? 추천! 4 ( 0) 비추! 0 ( 0) 공유 댓글 [7] 글쓰기 그래요 2024-05-11 06:02:48 답글 500gb면 라마3 405b나 ms에서 공개로 풀지도 모르는(?) mai-1 500b도 돌아가려나요 펼쳐보기▼ ㅇㅇ (121.143) 2024-05-11 06:33:23 삭제 수정 답글 원본 돌리려면 대략 x2 램이 필요하다고 들은것같아요 펼쳐보기▼ 그래요 2024-05-11 07:25:22 답글 그럼 8비트로 로딩하면 되려나요 펼쳐보기▼ nekoneko8 2024-05-11 06:55:57 답글 써보시면 실제로는 prompt eval 속도가 너무 느려서 쓸게 못됩니다. 펼쳐보기▼ ㅇㅇ 2024-05-12 02:57:40 답글 아쉽네요 ㅠ 펼쳐보기▼ noopSD 2024-05-12 03:21:13 답글 *수정됨 M4 Extreme 이 M4 Ultra 2배 정도의 성능이고, M4 Ultra 가 M4 Max의 2배 정도라고 하면 BLAS Speed 가 4060Ti 정도 수준은 될테니 여전히 4090 보다는 느리지만, 느려도 쓸만한 수준까지는 기대할 수 있을 것 같습니다. 펼쳐보기▼ ㅇㅇ 2024-05-12 04:32:21 답글 오... 그래도 돌릴순 있겠네요!! 계산 감사합니다 펼쳐보기▼ 새로운 댓글이 달렸습니다! 댓글 작성 음성댓글 아카콘 업로드 중 0초 해당 브라우저에서는 오디오 플레이어를 지원하지 않습니다. 녹음 중지 삭제 업로드 작성 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 최근 최근 방문 채널 최근 방문 채널 모두 삭제 전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모 번호 제목 작성자 작성일 조회수 추천 공지 아카라이브 모바일 앱 이용 안내(iOS/Android) *ㅎㅎ 2020.08.18 31772833 공지 Ai 언어모델 로컬 채널 이용규정 바바리맨 2023.04.18 6339 공지 뉴비에게 도움 되는 글 모음 바바리맨 2023.04.18 28795 공지 언어모델 관련 정보취득 /무료체험 가능 사이트 바바리맨 2023.04.18 9583 공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원 바바리맨 2023.08.01 5541 공지 신문고 바바리맨 2023.04.18 2382 숨겨진 공지 펼치기(1개) 4296 질문 혹시 vllm을 쓰지 않는 needle-in-a-haystack 코드가 있을까? 이하비스 2024.06.05 325 0 4295 일반 네이버는 내부적으로 vllm 쓰나보네요 [2] 모맵 2024.06.05 882 1 4294 정보 THUDM/glm-4v-9b 출시 [4] 하나악 2024.06.05 498 6 4293 질문 입력한 쿼리가 차지하는 token에 대한 질문 [4] 라파다 2024.06.05 372 0 4292 질문 LLM context 관련 질문드립니다 [4] Thomas_Shelby 2024.06.04 486 0 4291 일반 맥스튜디오 M4 빨리 나왔으면 좋겠네요 [4] 일칠 2024.06.04 596 2 4290 질문 아래꺼 코드 전문 [10] 세법상법 2024.06.04 499 1 4289 스터디 FineWeb - 오픈소스 언어모델 개발을 위한 큰 도약 [17] hkhk 2024.06.04 1587 31 4288 일반 llm 관련 영문 위키 페이지 읽어보는데 이거 재밌네요 Stock고수가될꺼야 2024.06.04 388 0 4287 질문 dpr에서 학습에 사용된 방법론과 raft간의 차이에서 생기는 의문 [4] lIlBrother 2024.06.04 358 1 4286 질문 5시간동안 디버깅하다가 안돼서 질문 [8] 세법상법 2024.06.04 455 0 4285 일반 ㅎㅇㅎㅇ 놀러와봄 [15] Stock고수가될꺼야 2024.06.04 567 0 4284 질문 추론에 대한 조건을 sft 학습에 직접적으로 사용함의 있어서 고민이 있네요 [4] lIlBrother 2024.06.04 288 0 4283 일반 사내망에서 쓸만한 한국어 로컬모델 추천 부탁드려요. [12] ㅇㅇ (211.234) 2024.06.04 863 0 4282 일반 janus-7b (시스템 지시에 충실한 모델) [2] zzzzz5 2024.06.04 557 7 (권한 없음) 4280 일반 lora 가중치는 어떤 파일에 저장되어 있음? [9] 세법상법 2024.06.03 448 0 4279 일반 LLMOps 의 미래에 대한 예상 + 개인적 생각 [8] hkhk 2024.06.03 1354 23 4278 질문 Aphrodite/vLLM 돌리는데 No available memory for the cache blocks 에러가 뜨네요. [4] Inference48 2024.06.03 296 0 4277 일반 술먹고 생각난 LLM 프로젝트 [5] ㅇㅇ (121.160) 2024.06.03 711 4 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 전체 제목/내용 제목 내용 글쓴이 댓글 Keyword search form input 검색 1 2 3 4 5 6 7 8 9 10 시간으로 바로가기 사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.