Ai 언어모델 로컬 채널 알림 알림 중 알림 취소 구독 구독 중 구독 취소 구독자 3541명 알림수신 175명 @바바리맨 제한없는 언어모델을 위한 채널 삭제 수정 일반 A100 40GB로 llama3 70B 구동은 되는지? ㅇㅇ (203.252) 추천 2 비추천 0 댓글 3 조회수 819 작성일 2024-05-08 08:53:36 https://arca.live/b/alpaca/105684133 A100 40GB로 llama3 70B 구동은 되는지 궁금합니다. 양자화 안쓰구요! 추천! 2 ( 0) 비추! 0 ( 0) 공유 댓글 [3] 글쓰기 그래요 2024-05-08 08:56:05 답글 *수정됨 40gb로 양자화 안한거 못돌립니다 80gb 두개 필요할거에요 펼쳐보기▼ ㅇㅇ (211.234) 2024-05-08 08:58:30 삭제 수정 답글 *수정됨 추론시 양자화를 안하면 보통 f16 이나 bf16인데 파라메터 곱하기 2하면 대충 필요 VRAM 용량 나옵니다. 고로 양자화 안하면 대충 140gb 가 필요하다는 계산이 나오는데 최대치로 40Gb 를 GPU에 오프로딩 한다치면 100gb 는 CPU로 돌려야 합니다. 따라서 불가능합니다. 펼쳐보기▼ ㅇㅇ (210.91) 2024-05-09 00:40:12 삭제 수정 답글 a100은 int8 까지 지원하기는 하는데 그래도 70GB가 필요해요 펼쳐보기▼ 새로운 댓글이 달렸습니다! 댓글 작성 음성댓글 아카콘 업로드 중 0초 해당 브라우저에서는 오디오 플레이어를 지원하지 않습니다. 녹음 중지 삭제 업로드 작성 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 최근 최근 방문 채널 최근 방문 채널 모두 삭제 전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모 번호 제목 작성자 작성일 조회수 추천 공지 아카라이브 모바일 앱 이용 안내(iOS/Android) *ㅎㅎ 2020.08.18 31646790 공지 Ai 언어모델 로컬 채널 이용규정 바바리맨 2023.04.18 6312 공지 뉴비에게 도움 되는 글 모음 바바리맨 2023.04.18 28702 공지 언어모델 관련 정보취득 /무료체험 가능 사이트 바바리맨 2023.04.18 9535 공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원 바바리맨 2023.08.01 5516 공지 신문고 바바리맨 2023.04.18 2370 숨겨진 공지 펼치기(1개) 일반 gemma를 ollama에서 서빙을 하려 합니다. [3] ㅇㅇ (218.145) 2024.05.09 536 0 질문 llama.cpp로 양자화할때 에러가 뜨는데 무슨 문제려나요 [2] 그래요 2024.05.09 331 0 질문 Deepspeed 사용하는 방법 아시나요? [18] ㅇㅇ (223.39) 2024.05.09 650 0 일반 코딩 llm 자주 사용함? [23] 사과는맛있어맛있으면바나나 2024.05.09 1129 2 자료 IBM에서 아파치2 라이센스로 코딩모델 출시 [5] 이하비스 2024.05.09 346 2 일반 호기심에 번역한거 비교해봄 [12] pussydestroyer 2024.05.08 803 1 스터디 트랜스포머도 깊게 생각을 하려면 메모장이 필요해요 - Vision Transformers Need Registers [21] hkhk 2024.05.08 1471 42 스터디 디퓨전 모델이 학습하는 원리 - 어디까지 암기이고 어디부터 학습일까? - 디퓨전 모델은 정말 이해를 하고서 이미지를 만드는걸까? [12] hkhk 2024.05.08 1531 40 질문 업무 목적으로 한국어 튜닝해서 사용하시는 분 계신가요? [7] 페르미 2024.05.08 763 0 일반 (구글x서울디지털재단)2024 서울 프롬프톤(AI 프롬프트엔지니어링 해커톤) 참가자 모집(기간 연장, ~5.15) [9] ljhljhljh 2024.05.08 1087 11 일반 A100 40GB로 llama3 70B 구동은 되는지? [3] ㅇㅇ (203.252) 2024.05.08 820 2 일반 ms가 500b 모델을 학습중이라고 합니다 [3] 그래요 2024.05.08 518 3 질문 베이스라인 모델 선정 방법 레바 2024.05.08 358 0 일반 판매자 정보 실수 - 4060ti 16gb dual 또는 3way 를 위한 핫딜 정보 [11] ㅇㅇ 2024.05.07 817 5 질문 vllm 활용 추론 관련해서 질문드립니다. [10] Dikko 2024.05.07 605 0 질문 3090(24gb) 대신 4060ti 16gb 2개 사용하는건 추천 안 하시나요? [7] ㅇㅇ (110.8) 2024.05.07 623 0 일반 런팟 NFS 마운트 안되나요? ㅇㅇ (121.135) 2024.05.07 176 0 정보 gpt2-chatbot돌아옴 [15] HyperBlaze456 2024.05.07 2240 12 질문 gpu 4개를 공냉으로 구성하면 IDC입고 필수일까요? [13] ㅇㅇ (203.245) 2024.05.07 618 0 일반 rag를 사용할때 로컬모델의 경우 모르는것을 모른다고 잘 하던가요? [7] 호옹이 2024.05.07 723 2 글쓰기 전체글 개념글 등록순 추천순 (24시간) 추천순 (3일) 추천순 (전체) 댓글갯수순 (3일) 최근댓글순 추천컷 5 10 20 30 50 70 100 기타 전체 제목/내용 제목 내용 글쓴이 댓글 Keyword search form input 검색 -4 -3 -2 -1 24-05-09 07:45 +1 +2 +3 +4