우바부가 실행 오류 - AI 채팅 채널

AI 채팅 채널

채널위키 알림 알림 중 알림 취소

구독자 10021명 알림수신 218명 @몽상봉인

AI와 대화하며 유사 인싸체험 하는 채널

질문 우바부가 실행 오류

넨카연

추천 0 비추천 0 댓글 29 조회수 398 작성일 2023-03-15 19:02:31

⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.

https://arca.live/b/characterai/71903784

마지막 에러메세지 구글링하니까 torch - cuda 버전이 안 맞는다고 해서

쿠다 11.7로 설치함(버전확인 모르겠어서 다시 설치함)

쿠다 버전에 맞는 파이토치 설치함

이래도 오류 해결 안됨... FAQ에도 없는 것 같은데 도움..!

별빛대장간

2023-03-15 19:18:57

Textgen 지우고 다시 처음부터 설치해봐

펼쳐보기▼

ㅇㅇ

2023-03-15 19:31:57

아나콘다에서 torch로 쿠다 제대로 돌아가는지 확인. 일단 아나콘다 env에서 textgen지우고 textgen에 다시 requirment랑 cuda를 설치하는게 맞는듯

펼쳐보기▼

넨카연

2023-03-15 19:46:00

torch.cuda.get_device_name(0) 으로 글카 이름 나오는 것 확인함
아나콘다 env폴더 비우고 다시 만들어서 
conda install torchvision torchaudio pytorch-cuda=11.7 git -c pytorch -c nvidia
해줌.

펼쳐보기▼

ㅇㅇ

2023-03-15 19:32:29

cuda 설치할때 나오는 메세지를 전부 유심히 확인할 것. 파이썬의 버전도 확인할 것

펼쳐보기▼

넨카연

2023-03-15 19:46:53

cuda는 따로 exe를 받아서 설치한 거라 메세지 확인이 뭔지 잘 모르겠음
파이썬 3.9.x라 최신 버전으로 다시 설치함

이래도 그대로네요...

펼쳐보기▼

ㅇㅇ

2023-03-15 19:33:43

torch.cuda.is_available()은 이미 확인했겠지

펼쳐보기▼

넨카연

2023-03-15 19:44:37

주피터로 열어서 해보니까 true 나옴 ㅇㅇ..

펼쳐보기▼

ㅇㅇ

2023-03-15 20:24:59

그렇다면 네 경우는 좀 더 특별한 경우일거같으니 torch not compiled with cuda enabled를 구글링해서 직접 셋팅 문제를 찾는게 더 빠를거임 사실 이미 셋팅 환경부터 이쪽으로 지식이 있는 사람일테니

펼쳐보기▼

넨카연

2023-03-15 20:25:51

으악 역시 간단한 건 아니었나봄... ㄱㅅㄱㅅ

펼쳐보기▼

ㅇㅇ

2023-03-15 20:26:03

torch에 cuda를 설치할때 제대로 설치가 됐는지 의심이 가긴 하지만 뭐 이쪽은 이미 다 체크했을거같다

펼쳐보기▼

넨카연

2023-03-15 20:26:57

그게 궁금한 건데, cuda를 설치한다는 게 따로 과정이 있음? 그냥 컴퓨터에 쿠다가 있으면 가져다 쓰는 거 아님? 이건 잘 모르겠음

펼쳐보기▼

ㅇㅇ

2023-03-15 20:31:05

있음. cuda가 작동됐다는건 일단 일반적으로 cuda가 돌아가는 셋팅 자체는 문제가 없다는 것임
하지만 textgen 내부에 cuda가 셋팅이 되고 그 상태에서 그걸로 bitsandbytes를 고친 상태에서 GPTQ를 이 cuda로 컴파일해야함 난 이렇게 이해하고 있음
지침을 뭔가를 무시하면 textgen에서 cuda가 제대로 작동 안함
근데 그쪽보다 컴퓨터 셋팅이 뭔가 잘못되서 그런게 아닐까 의심가긴 함

펼쳐보기▼

ㅇㅇ

2023-03-15 20:26:53

textgen 내부에 cuda랑 requirement가 설치되야하는데 그게 설치가 잘 안된건가 의심은 가지만 그런 실수는 안했을거같긴 함

펼쳐보기▼

넨카연

2023-03-15 20:30:49

내가 한 건 FAQ에 있는 설치법 그대로 따라한 거밖에 없음..

conda install torchvision torchaudio pytorch-cuda=11.7 git -c pytorch -c nvidia
이 명령어가 cuda를 직접적으로 설치하는 게 아니면 cuda를 따로 설치한 기억은 없는 것 같은데, 내가 이해한 게 맞음..?

펼쳐보기▼

ㅇㅇ

2023-03-15 20:31:50

그걸 conda 프롬프트 상에서 textgen을 activate를 하고 해야함 그래야 textgen안에 cuda가 별도로 셋팅이 됨

펼쳐보기▼

넨카연

2023-03-15 20:32:19

아 create로 만들고 activate 넣고 한 거임 ㅇㅇ

펼쳐보기▼

ㅇㅇ

2023-03-15 20:33:07

그 뒤에 gptq setup_cuda할때 문제 없었음? 보통 이쪽에서 대부분 문제가 생김

펼쳐보기▼

넨카연

2023-03-15 20:34:11

그런 명령어를 입력한 적은 없는데, requirements안에 있는거임?

펼쳐보기▼

ㅇㅇ

2023-03-15 20:36:12

명령어가 아니라 gptq로  setup_cuda.py 돌리는 부분 말하는거임 
gptq for llama 가 4bit 구동의 핵심임

펼쳐보기▼

ㅇㅇ

2023-03-15 20:36:55

bitsandbytes까지만 셋팅하면 llama8bit까진 돌아감 최소한 그 이전 단계라도 잘된건지 확신하고 싶다면 먼저 8bit구동해보셈

펼쳐보기▼

넨카연

2023-03-15 20:40:19

FAQ보니까 내가 하려는 내용 아래에 8비트, 4비트 관련 설명이 나오는데, 8비트쪽 설명에서 하라는 걸 먼저 해야 하는거임?

펼쳐보기▼

ㅇㅇ

2023-03-15 20:45:10

좀 많이 생략하긴 했는데 너도 지식이 있으니까 미니콘다같은거 안쓰고 아나콘다 셋팅이 돼있는거 일거잖음.. gptq for llama 부분을 제외하면 모든 실행 방법 가르쳐주는내용은 다 8bit 관련 내용임 거기서 4bit 받아서 gptq로 cuda 컴파일해서 돌리는게 llama 4bit 임 그러니 일단 8bit 로 제대로 돌아가는지 체크부터 해보셈 8bit는 일반적으로 대부분 컴에서 잘 돌아감 근데 8bit도 실행이 안된다면 너가 메뉴얼을 놓친거임 8bit가 잘 실행이 된다? 그러면 네가 gptq를 잘못 셋팅한것임

펼쳐보기▼

ㅇㅇ

2023-03-15 20:46:09

gptq가 잘 실행이 안된다면 그땐 gptq 컴파일할때 오류 메세지들을 다 체크해야함

펼쳐보기▼

넨카연

2023-03-15 20:47:12

압도적 감사... 대충 흐름이 어떤지 알 것 같음
일단 지금은 시간이 늦어서 나중에 다시 보고 해결해 봐야겠음..ㄱㅅㄱㅅㄱㅅ

펼쳐보기▼

ㅇㅇ

2023-03-15 20:47:44

아님.. 나도 씨바 비주얼 스튜디오 오류때문에 진짜 ㄹㅇ 개삽질했음 넌 그렇게 나처럼 고생하지 말길 바람

펼쳐보기▼

넨카연

2023-03-15 20:48:34

컴에 vs2019깔려있는데 뭔가 불안하긴 하다... 암튼 여기저기 뒤져볼만 한 걸 알았다는 것부터 큰 수확임 ㄱㅅㄱㅅ

펼쳐보기▼

ㅇㅇ

2023-03-15 20:49:29

내 경우는 환경변수가 씹창나있어서 cl.exe를 못찾았음 너는 나랑 오류가 다른걸로 봐서 나랑 다른 상황일거같은데 일단 혹시 모르니 공유함

펼쳐보기▼

ㅇㅇ

2023-03-15 20:52:26

https://rentry.org/llama-tard-v2#bonus-4-4bit-llama-basic-setup
만약에 헷갈리면 이걸로 번역기 돌려서 셋팅ㄱ 이게 더 자세함

rentry.org

LLaMA Int8 4bit ChatBot Guide v2

9-3-23 Added 4bit LLaMA install instructions for cards as small as 6GB VRAM! (See “BONUS 4” at the bottom of the guide) 9-3-23 Added Torrent for HFv2 Model Weights, required for ooga’s webUI, Kobold, Tavern and 4bit (+4bit model)! Update ASAP! 11-3-23 There’s a new torrent version of th...

만약에 헷갈리면 이걸로 번역기 돌려서 셋팅ㄱ 이게 더 자세함

펼쳐보기▼

ㅇㅇ

2023-03-15 20:34:46

이게 핵심이기때문에 이걸 눈에 불을 켜고 뭔가 의심가는 이상한 에러나 익셉션 없었는지 확인해보셈
그래서 안된다면.. 너도 나랑 똑같이 컴퓨터가 어딘가 삐꾸가 난 상태일거임 환경변수든 비주얼스튜디오든 뭐든
그럴경우 너도 나처럼 구글링으로 몸비틀면서 개지랄하다보면 돌아갈거임

펼쳐보기▼

본 게시물에 댓글을 작성하실 권한이 없습니다. 로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인