LLaMA 저거 런포드로 돌릴 수 있을 거 같은데

AI 그림 채널

채널위키 알림 알림 중 알림 취소

구독자 78263명 알림수신 1711명 @NO_NSFW

인공지능으로 제작한 그림을 자랑하고 정보를 공유하는 채널

일반 LLaMA 저거 런포드로 돌릴 수 있을 거 같은데

ㅇㅇ

추천 0 비추천 0 댓글 25 조회수 903 작성일 2023-03-04 07:34:16

https://arca.live/b/aiart/71106384

rtx 4090에 램 125기가짜리 인스턴스 있는데 될 것 같기는 한데
60기가짜리 가중치를 대체 저기에 어떻게 올리지
sftp로 쑤셔박으면 되나

댓글 [25]

별빛대장간

2023-03-04 07:36:04

65B짜리 돌리려면 브램이 120기가 이상 있어야 함. 램 아니고 브램이..

펼쳐보기▼

하루도루

2023-03-04 07:37:44

ㄹㅇ?

펼쳐보기▼

ㅇㅇ

2023-03-04 07:38:22

???
vram 대신 ram에 올려두고 부분적으로 읽는 기술 적용된 거 아님?
그 기술 때문에 저게 40xx 시리즈에서 돌아간다고 하는 거고

펼쳐보기▼

별빛대장간

2023-03-04 07:41:34

*수정됨

브램에 로딩하다가 모자르면 나머지는 램에다 로딩하는 기술 이미 있긴 있음. 근데 그거 하면 조오온나 느리다. 브램 20기가, 램 100기가 이렇게 로딩해놓으면 한 문장 출력하는데 몇분에서 몇십분 걸릴 수도 있음. 내가 해봐서 알거든 ㅋㅋ

펼쳐보기▼

ㅇㅇ

2023-03-04 07:43:20

그럼 대체 어디서 돌려야 하지
A100도 vram 80기가잖아

펼쳐보기▼

별빛대장간

2023-03-04 07:44:30

*수정됨

A100 두개 달면 되지. 슬롯도 두칸밖에 차지 안하니까 돈만 있으면 됨. 돈만 있으면 ㅋㅋ

펼쳐보기▼

ㅇㅇ

2023-03-04 07:50:57

그럼 A6000 3개 빌려야겠다
vram 144기가 드가자~

펼쳐보기▼

별빛대장간

2023-03-04 07:52:24

별빛대장간

2023-03-04 07:42:56

6B짜리 모델은 3090으로 충분히 돌릴 수 있음. 좀 멍청하긴 하지만.

펼쳐보기▼

이하비스

2023-03-04 07:36:43

허깅페이스나 구드에 올리고 다운받으면 빠르게 다운받을 수 있을거임

펼쳐보기▼

ㅇㅇ

2023-03-04 07:38:42

올릴 때 이름은 딴 걸로 바꾸고 올려야겠네ㅋㅋ

펼쳐보기▼

모닝콘

2023-03-04 07:42:27

언어 모델이 왜 vram을 먹는지 모르겠넹. 렌더링도 아닌디 단지 병렬 연산이 필요해서 vram 사용되는 건가?

펼쳐보기▼

하루도루

2023-03-04 07:43:11

원리가 궁금하다

펼쳐보기▼

별빛대장간

2023-03-04 07:43:49

GPU로 계산하는거. 단순 계산은 GPU가 CPU보다 비교도 못하게 빠름.

펼쳐보기▼

모닝콘

2023-03-04 07:46:11

긍께 gpu가 단순 계산이 빠른 이유가 병렬 코어가 많아서 그런거잖오. 함 찾아봐야겠넹

펼쳐보기▼

ppiwjhlwa

2023-03-04 07:46:05

65B 모델이면 65,000,000,000개 노드가 연결된 신경망이란건데 이걸 cpu로 계산하면 너무 느려서?

펼쳐보기▼

모닝콘

2023-03-04 07:46:42

아 노드 기반이야? 그럼 gpu 쓰는게 빠르겠네 ㅇㅋ

펼쳐보기▼

도지도지

2023-03-04 07:47:08

언어 모델이던 시각 모델이던 모델을 돌린다는건 매트릭스 연산을 미친듯이 돌린다는 거고 매트릭스 연산은 GPU가 CPU보다 100배쯤 빠르니까 vram에 올려서 쓰는게 이득이지. 용량이 커서 vram에 다 안들어가면 어쩔 수 없이 거기서부터 IO 문제가 생기는 거고.

펼쳐보기▼

모닝콘

2023-03-04 07:49:24

ㅇㅎ 언어 모델이 매트릭스 연산처리한다는 건 몰랐지.. 그래픽스만 다뤄보고 언어 모델은 안 해봐서 좀 편협된 사고를 가지고 있었네. 함 찾아봐야겠다. ㅇㅋㅇㅋ

펼쳐보기▼

호랑할배

2023-03-04 07:44:02

https://github.com/facebookresearch/llama/pull/73/files
메타에서 걍 배포중이네 이제

GitHub

Save bandwidth by using a torrent to distribute more efficiently by ChristopherKing42 · Pull Request #73 · facebookresearch/llama

Inference code for LLaMA models. Contribute to facebookresearch/llama development by creating an account on GitHub.

메타에서 걍 배포중이네 이제

펼쳐보기▼

하루도루

2023-03-04 07:45:03

ㅇㅇ ㅋㅋㅋㅋ

펼쳐보기▼

ㅇㅇ

2023-03-04 07:46:30

ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
대역폭 절약하고 싶으면 토렌트 쓰라는거여? ㅋㅋㅋㅋㅋ

펼쳐보기▼

ppiwjhlwa

2023-03-04 07:49:47

주커버그 자택에서 오열한채 발견

펼쳐보기▼

제정신병자

2023-03-04 07:50:13

*수정됨

이건 메타에서 배포하는게 아니고 공식 문서를 이렇게 바꿔달라고 누가 제안 한거임

펼쳐보기▼

호랑할배

2023-03-04 07:52:03

단순 제안이었구만 몰랐네

펼쳐보기▼

본 게시물에 댓글을 작성하실 권한이 없습니다. 로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 정보/자료 질문 그림 공지 운영

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 36460400

공지 AI 그림 채널 통합 공지 (2024-07-25)

NO_NSFW 2022.10.23 685086

공지 본 채널은 AI 그림의 수익화를 반대합니다.

NO_NSFW 2023.05.11 79422

공지 질문하기 전에 한번만 보고 가면

라스파이 2024.06.21 22851

공지 ( 진행중 ) 대회 관련 공지 / 현재 진행중인 대회

NO_NSFW 2023.02.01 84591

공지 AI그림 채널 신문고

NO_NSFW 2022.12.10 94167

공지 공지 정보글에 여러분들의 기여가 필요합니다

DeepCreamPy 2023.02.21 98725

숨겨진 공지 펼치기(2개)

일반 와이푸 디퓨전 학습에 관심 꺼졌다는게 챗GPT 오픈소스 기다린거였나보네 [3]

유루유루 2023.03.04 460 0

일반 AI의 발전은 유출로부터 시작된다? [4]

ㅇㅇ 2023.03.04 760 0

일반 LLaMA 데이터셋은 어디서구함? [4]

하루도루 2023.03.04 709 0

일반 chatgpt랑 대화할 때 주의할 점 [3]

adkjf 2023.03.04 484 1

그림 뭔가 업소같은데차럼 뽑혔네 [3]

robosuccu 2023.03.04 783 1

일반 c드라이브말고 다른 드라이브에서 쓰는 사람 있음? [10]

이지부먹 2023.03.04 451 0

일반 LLaMA 저거 런포드로 돌릴 수 있을 거 같은데 [25]

ㅇㅇ 2023.03.04 904 0

그림 쓰고 있는 표지 만들어보면서 건드리는데 재미있다 [13]

아비오 2023.03.04 563 0

그림 서큐버스 몇장 [6]

robosuccu 2023.03.04 719 3

일반 인싸들 보는 유튜브에도 컨트롤넷 얘기 떴네 [2]

파랑파랑 2023.03.04 627 0

일반 애들아 LLaMA 다운 다 받아는데...이제 어떻게 함 ㅋㅋㅋ? [6]

제로니 2023.03.04 984 0

일반 llama 경랑화 및 최적화되어서 아이폰에 이식하는 그날까지 [3]

까나리아 2023.03.04 420 0

일반 토렌트 설치 프로그램이 원래 이렇게 오래걸렸나... [5]

보급폰블붕이 2023.03.04 405 0

일반 llama 램 용량 관련해서 얘기 많이 나오던데 [19]

이하비스 2023.03.04 989 0

일반 앞으로 고생길 훤히 열림 [2]

Tacotron2 2023.03.04 442 1

그림 남캐 만들기 뒤지게 힘드네

kkkkb 2023.03.04 909 2

일반 램 업글한다면 윈도도 업글 필요하더라 [7]

나태 2023.03.04 345 0

일반 5090은 브램 80기가로 내줘 [5]

siwkim77 2023.03.04 438 0

그림 [데이터주의] i2i로 노는 것도 재밌네요. [8]

Dododora 2023.03.04 907 3

일반 ??? : AI용 고사양 컴퓨터 견적 하나 주세요 [6]

ㅇㅇ 2023.03.04 569 4

일반 다른분들 글카 소음 궁금하네요 [15]

ㅇㅇ 2023.03.04 747 0

일반 LLaMA 있으면 내 휴대폰에 이거 넣고 다닐 수 있을까... [8]

파랑파랑 2023.03.04 720 0

일반 llama 최소사양 심하다 [8]

나태 2023.03.04 1108 1

일반 lora이거 캐릭터 뽑을 때 완전 갓인데(직접 학습시킨 프로세카 히노모리 시호 lora)

ㅇㅇ 2023.03.04 845 2

일반 메가 터키 우회결제 말인데 이미 느그나라 국적으로 결제 했던 계정도 해도 되나 [4]

동양반달곰입문 2023.03.04 563 0

일반 나도 LLaMA 돌려보고 싶다 [2]

oㅇo 2023.03.04 548 0

일반 개 야해 [6]

오이오이 2023.03.04 765 1

일반 뭐야 시발 [8]

ㅇoㅇ 2023.03.04 407 0

일반 LLaMA 받는것보다 뿌리는게 많네 [15]

파랑파랑 2023.03.04 743 2

전체글 개념글