우선 정보글의 4비트 구동법 정독하고 시키는대로 그대로 진행해서(지우고 새로 설치하고 몇 번을 갈아 엎었다)
(textgen) C:\Users\user\text-generation-webui\repositories\GPTQ-for-LLaMa>
python setup_cuda.py install
입력하면
SetuptoolsDeprecationWarning: setup.py install is deprecated. Use build and pip and other standards-based tools.
EasyInstallDeprecationWarning: easy_install command is deprecated. Use build and pip and other standards-based tools.
이런 메시지가 나오면서 설치가 안 되는데... 셋업툴도 교체해보고 업데이트도 해보고...
LLAMA 실행하면
raise RuntimeError('Attempting to deserialize object on a CUDA '
RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device('cpu') to map your storages to the CPU.
이렇게 CUDA때문에 안된다면서 돌아가라고 함. 물론 DLL추가랑 셋업 수정도 했음.
처음에는 Ninja가 없다고 하더니 Ninja 구해서 Path 지정해 줬더니 저런 메시지 뱉고...
torch버전 낮다고 해서 버전 올렸더니 또 딴소리 하고.
conda install torchvision torchaudio pytorch-cuda=11.7 git -c pytorch -c nvidia --force-reinstall도 해보고
비주얼 스튜디오 2019, 2022 C++도 설치해서 Path도 추가해봤고...
암튼 게시글에 있는 댓글 하나하나 다 읽어봤는데 해결불가라서 질문글 올림.
정보 게시판에 4비트 구동하는 방법이랑 댓글 계속 읽고 적용해봐도 저 CUDA 설치하는 작업에서 먹통인데..
(textgen)으로 전환하기 전에 (base) 상태에서
python
import torch
torch.cuda.is_available()
넣어보면 True로 나오는데 WebUI 폴더에만 접근하면 False 뜨네.
혹시 해결한 사람 있을까?
[ AI 게임 / 기획 / 리뷰 대회 ' J.O.A.T ' 개최 ] 
]---
