Ai 언어모델 로컬 채널 알림 알림 중 알림 취소 구독 구독 중 구독 취소 구독자 3506명 알림수신 173명 @바바리맨 제한없는 언어모델을 위한 채널 일반 m4 맥스튜디오가 램 512gb로 나오면 닥치고 이거사는게 맞지않나요? 돌돌돌돌 추천 2 비추천 1 댓글 11 조회수 802 작성일 2024-04-24 12:23:09 https://arca.live/b/alpaca/104469877 개인레벨에서일반 gpu로 v램 512 달성은 불가능해보이는데진짜 맥이 저렇게 내준다면개인은 저걸 사는게 맞지않나요? 추천! 2 ( 0) 비추! 1 ( 0) 공유 댓글 [11] 글쓰기 hkhk 2024-04-24 12:31:54 답글 llama3 400B를 영접하려면 .. 펼쳐보기▼ whs 2024-04-24 12:46:44 답글 근데 그만큼의 vram이 필요한 모델을 만족스럽게 돌릴 수 있을 만큼 추론 속도가 나와줄런지... 펼쳐보기▼ iau 2024-04-24 14:20:40 답글 문제는 vram 쓰는 양 많아질수록 추론속도가 느려지는데 M시리즈의 AI 성능은 많이 후달려서... 70B 32비트로 연산시키면 그냥 죽으려고 할겁니다 펼쳐보기▼ ㅇㅇ 2024-04-24 16:11:37 답글 아 이런문제가 있구나 펼쳐보기▼ noopSD 2024-04-24 14:23:57 답글 느린 BLAS 속도 때문에 모델 규모가 커질수록 prompt processing 도 매우 느려질 겁니다. Inference 속도가 느려지네 뭐네 해도 이거에 비할바가 아니죠. 펼쳐보기▼ noopSD 2024-04-24 14:32:43 답글 그래도 추론 돌리려면 NVIDIA 의 말도 안되는 가격 덕에 현재로선 이거 사야하는게 맞지 싶긴 하네요. 결코 싸지 않은 기계가 VRAM 용량대비 가격으로 보면 NVIDIA 대비 말도 안되는 가성비이긴 하니... 펼쳐보기▼ ㅇㅇ 2024-04-24 16:12:12 답글 BLAS는 약간 HW설계와 관련된 요소인가 보네요 펼쳐보기▼ ㅇㅇ (121.143) 2024-04-24 15:18:12 삭제 수정 답글 400B 한번 질문하면 돌아는가는데 답변까지 하루 정도 걸릴수도있는거 아닐까요 ? 펼쳐보기▼ jackofmaster 2024-04-24 15:37:58 답글 대충 계산했는데 1token/s나옴 펼쳐보기▼ 이게예술이지ㅋㅋ 2024-04-24 22:57:25 답글 답변 하나 받는데 3분 걸리겠네 ㅋㅋㅋ 펼쳐보기▼ 뿌리골무 2024-04-24 21:36:38 답글 회삿돈으로 산다면, 동감. 펼쳐보기▼ 새로운 댓글이 달렸습니다! 댓글 작성 음성댓글 아카콘 업로드 중 0초 해당 브라우저에서는 오디오 플레이어를 지원하지 않습니다. 녹음 중지 삭제 업로드 작성 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 최근 최근 방문 채널 최근 방문 채널 모두 삭제 전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모 번호 제목 작성자 작성일 조회수 추천 공지 아카라이브 모바일 앱 이용 안내(iOS/Android) *ㅎㅎ 2020.08.18 31095809 공지 Ai 언어모델 로컬 채널 이용규정 바바리맨 2023.04.18 6236 공지 뉴비에게 도움 되는 글 모음 바바리맨 2023.04.18 28331 공지 언어모델 관련 정보취득 /무료체험 가능 사이트 바바리맨 2023.04.18 9372 공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원 바바리맨 2023.08.01 5419 공지 신문고 바바리맨 2023.04.18 2347 숨겨진 공지 펼치기(1개) 1695 일반 다음세대 곧 나오는데 A100 40Gb 중고를 600만원 주고 사는건 쫌 아니죠? [2] ㅇㅇ (221.141) 2024.05.15 846 1 1694 일반 Chat vector에서 cp transfer [6] 오래된정원 2024.05.15 484 5 1693 일반 gemma2는 27B, paligemma 공개 [6] HyperBlaze456 2024.05.14 840 8 1692 일반 GPT-4o는 GPT-4에 비해 한국어 생성 속도가 3.4배 빨라졌다. [2] 도지도지 2024.05.14 1009 6 1691 일반 언젠가는 gpt4o 같은 걸 로컬에서 돌릴날이 올까요? [6] 돌돌돌돌 2024.05.14 1034 6 1690 일반 이번에 공개된 gpt-4o의 성능 벤치마크인데 drop은 왜 떨어진거려나요 [9] 그래요 2024.05.14 873 1 1689 일반 GPT4o 플랫폼에 공개됐군요 [5] 감별사 2024.05.14 916 2 1688 일반 Gemma 토크나이저 확장 관련 임베딩 초기화 방식 ㅠㅠ [2] 넙적곰치 2024.05.14 338 0 1687 일반 llm 한국어 학습할 때 데이터에 관하여 궁금증 ㅇㅇ (119.200) 2024.05.14 292 0 1686 일반 chatGPT4O 요약 [2] Aimyon 2024.05.13 1243 5 1685 일반 aka Llama-3 70B 한국어 [7] zzzzz5 2024.05.13 2127 15 1684 일반 llama3 8B (fp16) 70B (Q6_K) 돌려봤음 [9] 게지네 2024.05.13 787 2 1683 일반 기초 1도 없이 밑바닥부터 시작하는 딥러닝 1권 읽는 중인데 [5] molba 2023.04.26 550 3 1682 일반 파이토치 딥러닝 1장 읽음 [5] 하늘의아리아 2023.04.26 431 2 1681 일반 오염 없는 llm 리더보드 설계를 위한 토론을 해봅시다. [15] 사과는맛있어맛있으면바나나 2024.03.26 824 7 1680 일반 앞으로 3090 보기는 다시 쉬워지겠네요 [5] whs 2024.05.13 1108 1 1679 일반 sLLM instruction tuning 데이터 [2] asdfnlasdf 2024.05.13 465 1 1678 일반 일본에서 자체적으로 구운 13B 모델 [8] ㅇㅇ 2024.05.12 859 7 1677 일반 무한 어텐션을 활용한 10M 컨텍스트 Gemma pussydestroyer 2024.05.12 361 4 1676 일반 일본 쪽 소식 올려도 됨? [2] ㅇㅇ 2024.05.12 631 5 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 전체 제목/내용 제목 내용 글쓴이 댓글 Keyword search form input 검색 1 2 3 4 5 6 7 8 9 10 시간으로 바로가기 사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.