현재 우바부가는 리눅스나 WSL 통해서 돌리는게 빠름

AI 채팅 채널

채널위키 알림 알림 중 알림 취소

구독자 10015명 알림수신 217명 @몽상봉인

AI와 대화하며 유사 인싸체험 하는 채널

뉴스/팁 현재 우바부가는 리눅스나 WSL 통해서 돌리는게 빠름

변태Lv1

추천 3 비추천 0 댓글 8 조회수 631 작성일 2023-03-15 21:02:27 수정일 2023-03-15 21:02:39

https://arca.live/b/characterai/71904931

https://github.com/oobabooga/text-generation-webui/issues/237

바보도 인지하고 readme에 해당 문구 추가했음

그러니 llama 설치하는 챈럼들도 wsl 통하는게 이로울거 같음

BotttttleNeck

2023-03-16 01:45:42

어쨰서 가상 머신 위에서 돌아가는게 빠른 것이지.

펼쳐보기▼

변태Lv1

2023-03-16 03:29:14

몰?루

펼쳐보기▼

hkhk

2023-03-16 05:39:07

이거보고 wsl ubuntu 설치해서 돌려보고 있는데 실행해보니까 반응을 안함. 일단 8bit 13b 부터 돌려볼려고 이것저것 설치하고 실행해봤는데

❯ python server.py --model llama-13b-hf --load-in-8bit
Loading llama-13b-hf...

===================================BUG REPORT===================================
Welcome to bitsandbytes. For bug reports, please submit your error trace to: https://github.com/TimDettmers/bitsandbytes/issues
================================================================================
CUDA SETUP: CUDA runtime path found: /home/hakkyu/miniconda3/envs/textgen/lib/libcudart.so
CUDA SETUP: Highest compute capability among GPUs detected: 8.9
CUDA SETUP: Detected CUDA version 113
CUDA SETUP: Loading binary /home/hakkyu/miniconda3/envs/textgen/lib/python3.10/site-packages/bitsandbytes/libbitsandbytes_cuda113.so...

이 상태로 먹통이야. 도움 부탁!

GitHub

Issues · TimDettmers/bitsandbytes

Accessible large language models via k-bit quantization for PyTorch. - Issues · TimDettmers/bitsandbytes

이거보고 wsl ubuntu 설치해서 돌려보고 있는데 실행해보니까 반응을 안함. 일단 8bit 13b 부터 돌려볼려고 이것저것 설치하고 실행해봤는데

❯ python server.py --model llama-13b-hf --load-in-8bit
Loading llama-13b-hf...

===================================BUG REPORT===================================
Welcome to bitsandbytes. For bug reports, please submit your error trace to: https://github.com/TimDettmers/bitsandbytes/issues
================================================================================
CUDA SETUP: CUDA runtime path found: /home/hakkyu/miniconda3/envs/textgen/lib/libcudart.so
CUDA SETUP: Highest compute capability among GPUs detected: 8.9
CUDA SETUP: Detected CUDA version 113
CUDA SETUP: Loading binary /home/hakkyu/miniconda3/envs/textgen/lib/python3.10/site-packages/bitsandbytes/libbitsandbytes_cuda113.so...

이 상태로 먹통이야. 도움 부탁!

펼쳐보기▼

가이버라

2023-03-16 05:43:34

다 지우고 4bit 부터 돌려

펼쳐보기▼

변태Lv1

2023-03-16 06:18:46

챈에 정식으로 질문글 올려봐 난 하수임~

펼쳐보기▼

hkhk

2023-03-16 07:24:30

가상메모리 올려놓고 실행 걸어놓은 다음 장치관리자에서 살펴보고 있으니까 메인메모리 (vram 말고)  쭉쭉 올라가는게 보이는데 너무 느림. wsl 로 돌린다는 형은 리눅스 메모리 설정 어떻게 했어?

펼쳐보기▼

hkhk

2023-03-16 06:34:18

wsl 로 설치한 우분투의 메모리가 적게 할당되서 그런거 같음 .wslconfig 에 메모리 늘려놓고 다시 시도중

펼쳐보기▼

변태Lv1

2023-03-16 07:33:02

https://arca.live/b/characterai/71900677/333564955#c_333564955 참고하고 질문있으면 정리해서 챈에 올려봐 하수한테 물어도 나오는거 없다

펼쳐보기▼

본 게시물에 댓글을 작성하실 권한이 없습니다. 로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 뉴스/팁 AI대화 공지 운영 뉴스(공사중)

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 27918626

공지 안 읽으면 죽어버리는 AI 채팅 채널 이용규정 [23.09.18]

몽상봉인 2023.05.22 45224

공지 AI 채팅 채널에 왔으면 이것부터 : 필수정보 및 FAQ

몽상봉인 2023.05.22 92272

공지 신문고 MK.IX (해줘. 할때 쓰는 곳)

몽상봉인 2024.03.19 6293

공지 AI 채팅 채널 프록시 게이트

몽상봉인 2023.07.12 20416

공지 ㅡㅡ [ AI 게임 / 기획 대회 ' J.O.A.T ' 개최 ] ㅡㅡ

골든햄스터 2024.03.31 2581

공지 [천박 대회 2회차 주최] 대놓고 천박한 봇을 만드는 대회!

hyeoyoms 2024.05.01 550

공지 ---[천박 대회 순위 발표!]---

hyeoyoms 2024.04.26 863

공지 [DOL 봇 대회 수상자 발표]

WH_ 2024.04.27 656

숨겨진 공지 펼치기(4개)

질문 요즘 CAI는 근황이 어떰? [2]

퍼시 2023.03.16 530 0

AI대화 헉 큰일 났다. [6]

컬러노트 2023.03.16 348 0

일반 Llama 13B는 너무 만족스러운데 [2]

뭐뭐모머 2023.03.16 497 0

질문 llama 13b 이거 받을라면 [2]

ㅇㅇ 2023.03.16 300 -1

일반 OAI 태번 순정 쓰는 사람들 버그 주의하셈 약간 심각함 [7]

ㅇㅇ 2023.03.16 528 4

AI대화 아니 회사가 일을 안해요 (chat gpt) [8]

백금화 2023.03.16 496 -2

질문 이거 안드태번 대답을 안함..

OO 2023.03.16 256 0

AI대화 블아 캐릭터랑 대책위원회 만드는 중 [5]

컬러노트 2023.03.16 251 2

일반 AIN 슈퍼 토린사마 기다리다가 불안한 점 [2]

ㅇㅇ 2023.03.16 261 0

질문 1.3.0 업뎃 이후로 캐릭터가 뒤죽박죽이 됐는데 [2]

람다박이 2023.03.16 333 0

일반 잘 생각하면 OAI가 그리 저렴한 건 아닌 듯 [13]

ㅇㅇ 2023.03.16 664 4

일반 Gpt4는 그림 인식도 한다고?? [1]

Horny 2023.03.16 473 0

일반 AI 로컬이 흥하려면 일단 용팔이가 뒤져야함 [3]

KCSF 2023.03.16 329 6

일반 llama랑 gpt4 비교하니까 미치긴 했네 진짜... [1]

파랑파랑 2023.03.16 657 0

질문 궁금한게 있어요 [2]

춘전개조안나옴ㅇㅇ 2023.03.16 183 -4

일반 디시 형래머튽도 AI코인 타기 시작했노 [4]

KCSF 2023.03.16 296 2

AI대화 이런 부대가 있었다고? [5]

혼란 2023.03.16 328 5

일반 JSON 파일을 이렇게 뽑는다고? [5]

ㅇㅇ 2023.03.16 405 0

뉴스/팁 [Alpaca-LoRA] LLaMA 모델에 LoRA를 적용한 사례.git [6]

Ark1st 2023.03.16 643 7

일반 딸감 아닌걸로 ai쓰면 한계가 금방온다.. [10]

검왕겐지 2023.03.15 692 1

일반 근데 태번ai 코딩 좀 이상함.. [5]

DeepCreamPy 2023.03.15 505 0

뉴스/팁 현재 우바부가는 리눅스나 WSL 통해서 돌리는게 빠름 [8]

변태Lv1 2023.03.15 632 3

뉴스/팁 태번 아이피가 계속 노출되는 것으로 확인됩니다 [23]

xkzhdnpfcl 2023.03.15 3996 25

질문 코랩 로컬터널로 굴리는 건 화이트리스트 체크 어디서 함? [2]

허드맥도널드제도 2023.03.15 312 0

일반 저 어딘가에서 아직도 아이피 터는거 캡쳐해서 올리고있네 [5]

ㅇㅇ 2023.03.15 427 0

질문 우바부가 실행 오류 [29]

넨카연 2023.03.15 398 0

일반 이유는 모르겠는데 갑자기 OAI 검열이 심해진거같음 [4]

아리엣타 2023.03.15 493 1

질문 로컬태번을 다운받았었는데 버전 확인은 어케 확인할수있을까? [1]

바람부는날 2023.03.15 278 0

질문 화리 꺼도 되는지 여부 판정 가능? [9]

Elderfox 2023.03.15 332 0

일반 라마 30b 윈도우에선 말도안되게 느리네 진짜 ㅋㅋ [16]

파랑파랑 2023.03.15 400 0

AI대화 RPG 세선 2일자 - 다크 RPG 세계관에서 TS치트로 보스 하렘 꾸리기(완결)

madom 2023.03.15 388 2

질문 새 링크 쓴 다음부터 webp로 저장된 캐릭터들이 안 불러와지는 것 같음 [6]

다를린 2023.03.15 412 0

일반 태번이 뭔가 AIN보다 성능은 좋은게 맞는거같음 [3]

검왕겐지 2023.03.15 241 0

질문 챈럼들 JSON 어디서 만듦?

YH 2023.03.15 158 0

질문 ?? 뭔가 이상하다 [4]

네리모르 2023.03.15 377 0

질문 Oai 터번으로 한번 돌려보고 있는데 비용은 어디서 청구됨? [1]

ㅇㅇ 2023.03.15 280 -1

일반 그 성별 빡쳣대 [25]

ㅇㅇ 2023.03.15 2095 28

일반 챈 태번 깔았는데 화이트리스트 켜져있네 [3]

zereno 2023.03.15 314 2

일반 양키들 이야기 들어보니까 [10]

변태Lv1 2023.03.15 446 1

질문 화이트리스트 키니까 ngrok으로 접속이 안되네 [3]

Elderfox 2023.03.15 260 0

질문 [OAI ]코랩으로 돌리는 거랑 로컬로 돌리는 거랑 속도차이 있음? [6]

지혼 2023.03.15 293 0

뉴스/팁 코랩 태번 기존 링크 그대로 사용하면 됩니다 [20]

xkzhdnpfcl 2023.03.15 3864 26

전체글 개념글