Ai 언어모델 로컬 채널 알림 알림 중 알림 취소 구독 구독 중 구독 취소 구독자 3333명 알림수신 164명 @바바리맨 제한없는 언어모델을 위한 채널 일반 m4 맥스튜디오가 램 512gb로 나오면 닥치고 이거사는게 맞지않나요? 돌돌돌돌 추천 2 비추천 1 댓글 11 조회수 704 작성일 2024-04-24 12:23:09 https://arca.live/b/alpaca/104469877 개인레벨에서일반 gpu로 v램 512 달성은 불가능해보이는데진짜 맥이 저렇게 내준다면개인은 저걸 사는게 맞지않나요? 추천! 2 ( 0) 비추! 1 ( 0) 공유 댓글 글쓰기 hkhk 2024-04-24 12:31:54 답글 llama3 400B를 영접하려면 .. 펼쳐보기▼ whs 2024-04-24 12:46:44 답글 근데 그만큼의 vram이 필요한 모델을 만족스럽게 돌릴 수 있을 만큼 추론 속도가 나와줄런지... 펼쳐보기▼ iau 2024-04-24 14:20:40 답글 문제는 vram 쓰는 양 많아질수록 추론속도가 느려지는데 M시리즈의 AI 성능은 많이 후달려서... 70B 32비트로 연산시키면 그냥 죽으려고 할겁니다 펼쳐보기▼ ㅇㅇ 2024-04-24 16:11:37 답글 아 이런문제가 있구나 펼쳐보기▼ noopSD 2024-04-24 14:23:57 답글 느린 BLAS 속도 때문에 모델 규모가 커질수록 prompt processing 도 매우 느려질 겁니다. Inference 속도가 느려지네 뭐네 해도 이거에 비할바가 아니죠. 펼쳐보기▼ noopSD 2024-04-24 14:32:43 답글 그래도 추론 돌리려면 NVIDIA 의 말도 안되는 가격 덕에 현재로선 이거 사야하는게 맞지 싶긴 하네요. 결코 싸지 않은 기계가 VRAM 용량대비 가격으로 보면 NVIDIA 대비 말도 안되는 가성비이긴 하니... 펼쳐보기▼ ㅇㅇ 2024-04-24 16:12:12 답글 BLAS는 약간 HW설계와 관련된 요소인가 보네요 펼쳐보기▼ ㅇㅇ (121.143) 2024-04-24 15:18:12 삭제 수정 답글 400B 한번 질문하면 돌아는가는데 답변까지 하루 정도 걸릴수도있는거 아닐까요 ? 펼쳐보기▼ jackofmaster 2024-04-24 15:37:58 답글 대충 계산했는데 1token/s나옴 펼쳐보기▼ 이게예술이지ㅋㅋ 2024-04-24 22:57:25 답글 답변 하나 받는데 3분 걸리겠네 ㅋㅋㅋ 펼쳐보기▼ 뿌리골무 2024-04-24 21:36:38 답글 회삿돈으로 산다면, 동감. 펼쳐보기▼ 새로운 댓글이 달렸습니다! 댓글 작성 음성댓글 아카콘 업로드 중 0초 해당 브라우저에서는 오디오 플레이어를 지원하지 않습니다. 녹음 중지 삭제 업로드 작성 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 최근 최근 방문 채널 최근 방문 채널 모두 삭제 전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모 번호 제목 작성자 작성일 조회수 추천 공지 아카라이브 모바일 앱 이용 안내(iOS/Android) *ㅎㅎ 2020.08.18 28171880 공지 Ai 언어모델 로컬 채널 이용규정 바바리맨 2023.04.18 5820 공지 뉴비에게 도움 되는 글 모음 바바리맨 2023.04.18 26265 공지 언어모델 관련 정보취득 /무료체험 가능 사이트 바바리맨 2023.04.18 8537 공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원 바바리맨 2023.08.01 4868 공지 신문고 바바리맨 2023.04.18 2145 숨겨진 공지 펼치기(1개) 1682 일반 라마3 한글특화 튜닝한 Bllossom 사용해보신 분 계신가요? [3] wk 2024.05.10 151 0 1681 일반 [lmsys] Llama-3-70B가 잘하는 것과 못하는 것 [3] ㅇㅇ 2024.05.10 295 5 1680 일반 왜 임베딩 벡터는 이렇게 고차원이 되었을까 [4] iau 2024.05.10 240 0 1679 일반 exllamav2가 최고라고 생각했었는데 vllm은 어떤가요? [5] 호옹이 2024.05.10 167 0 1678 일반 gemma를 ollama에서 서빙을 하려 합니다. [3] ㅇㅇ (218.145) 2024.05.09 309 0 1677 일반 코딩 llm 자주 사용함? [20] 사과는맛있어맛있으면바나나 2024.05.09 673 2 1676 일반 호기심에 번역한거 비교해봄 [11] pussydestroyer 2024.05.08 570 1 1675 일반 (구글x서울디지털재단)2024 서울 프롬프톤(AI 프롬프트엔지니어링 해커톤) 참가자 모집(기간 연장, ~5.15) [5] ljhljhljh 2024.05.08 571 8 1674 일반 A100 40GB로 llama3 70B 구동은 되는지? [3] ㅇㅇ (203.252) 2024.05.08 522 2 1673 일반 ms가 500b 모델을 학습중이라고 합니다 [2] 그래요 2024.05.08 398 3 1672 일반 판매자 정보 실수 - 4060ti 16gb dual 또는 3way 를 위한 핫딜 정보 [11] ㅇㅇ 2024.05.07 603 5 1671 일반 런팟 NFS 마운트 안되나요? ㅇㅇ (121.135) 2024.05.07 143 0 1670 일반 rag를 사용할때 로컬모델의 경우 모르는것을 모른다고 잘 하던가요? [7] 호옹이 2024.05.07 523 2 1669 일반 Langchain, Rag 질문 있습니다 [1] ㅇㅇ (119.200) 2024.05.07 301 0 1668 일반 커맨드 R 플러스 로컬에서? [6] 감별사 2024.05.06 480 1 1667 일반 llama3 70b aqlm 2bit [5] jackofmaster 2024.05.06 511 5 1666 일반 14b =/= 220 x 8 MoE [11] HyperBlaze456 2024.05.05 869 0 1665 일반 대기업 사장님이 직접 배달해주는 GPU [4] ㅇㅇ (221.141) 2024.05.04 833 5 1664 일반 GLaDOS 성격 코어 (직접 번역) [2] pussydestroyer 2024.05.03 700 12 1663 일반 ai expo 코리아 왔는데 사람 엄청 많음 + 관람 후기 [20] hkhk 2024.05.03 1544 18 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 전체 제목/내용 제목 내용 글쓴이 댓글 Keyword search form input 검색 1 2 3 4 5 6 7 8 9 10 시간으로 바로가기 사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.