Llama cpp 실행할 땐 로컬이 낫나 아님 콘다가 나음? - Ai 언어모델 로컬 채널

Ai 언어모델 로컬 채널

알림 알림 중 알림 취소

구독자 3790명 알림수신 191명 @바바리맨

제한없는 언어모델을 위한 채널

질문 Llama cpp 실행할 땐 로컬이 낫나 아님 콘다가 나음?

파라노이아

추천 0 비추천 0 댓글 8 조회수 270 작성일 2023-04-20 00:54:50

⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.

https://arca.live/b/alpaca/74438341

비쿠나 7b에 램 8기가로 걍 cmd에 놓고 쓰는 중.

미니콘다 프롬프트에서 실행시키면 속도가 더 낫다는 글을 본 것 같은데

뭘로 실행시키는게 나을까?

댓글 [8] 글쓰기

2023-04-20 01:00:37 답글

*수정됨

휴먼 gpt야
로컬 : 내 컴퓨터로 돌림
cmd : CLI(명령줄 인터페이스)의 한 종류
conda : 파이썬 패키지 관리 자체 cli가 있음
을 참고하여 질문을 다시 작성해줘~

펼쳐보기▼

파라노이아

2023-04-20 01:13:57 답글

노트북으로 비쿠나7b로 몇 번 소설을 뽑았는데 발열 때문인지 화면 깜빡임이 몇 번 일어나서 이것 때문에 깜짝 놀람. 그래서 그냥 cpp로 실행시키는데 나은지 아니면 gpu와 같이 쓴다는 textgen으로 갈아타는게 더 좋은지 궁금함.

펼쳐보기▼

파라노이아

2023-04-20 01:15:23 답글

비쿠나 실행시키고 소설진행시킬 때 자판 밑에 뭔가 팬이 돌아가는 소리가 위이잉 잘 나던데 이건 괜찮은건지...?

펼쳐보기▼

2023-04-20 01:59:56 답글

1. 화면 깜빡임은 아마 VRAM이 부족해서 그럴 가능성이 큼.

펼쳐보기▼

2023-04-20 02:02:43 답글

2. 모델을 CPU, GPU로 나누는 기능은 내가 트랜스포머나 파이토치나 쿠다같은 애들이 실제로 모델 구동하는 매커니즘을 몰라서 대답을 못해주겠는데 별로 안어려우니가 해보는게 최고
3. 전자기기는 그냥 소모품이니까 그냥 나중에 낡아서 버리는 것보다 완전 끝까지 다 쓰고 하얗게 불타서 죽는게 물건의 효용가치를 최대한으로 쓰는게 아닐까? 노트북 쿨러라도 달아주면 더 오래살거야

펼쳐보기▼

파라노이아

2023-04-20 02:26:32 답글

답변 ㄳㄳ

펼쳐보기▼

2023-04-20 02:33:24 답글

코랩 무료가 12GB라서 코랩이 나을 것 같은데

펼쳐보기▼

2023-04-20 04:48:56 답글

SSD라서 느리지만, CPU로 돌리는건 페이지파일 잡으면 512GB 메모리로 간주해도 된다.
내 윈도우가 그렇게 돌아가는중 32GB + 32GB 총 64GB

펼쳐보기▼

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 일반 질문 정보 학습 자료 자작모델 스터디 공지 운영 공모

번호 제목

작성자 작성일 조회수 추천

공지 아카라이브 모바일 앱 이용 안내(iOS/Android)

*ㅎㅎ 2020.08.18 36189501

공지 Ai 언어모델 로컬 채널 이용규정

바바리맨 2023.04.18 7345

공지 뉴비에게 도움 되는 글 모음

바바리맨 2023.04.18 33411

공지 언어모델 관련 정보취득 /무료체험 가능 사이트

바바리맨 2023.04.18 11218

공지 여러분의 학습에 도움을 줄 수 있는 하드웨어 지원

바바리맨 2023.08.01 6994

공지 신문고

바바리맨 2023.04.18 3172

숨겨진 공지 펼치기(1개)

정보 llama.cpp의 2bit 양자화 지원..? [2]

사과는맛있어맛있으면바나나 2023.04.20 410 1

자작모델 한국어Vicuna 모델 학습완료 및 모델 공개 [76]

하늘의아리아 2023.04.20 6997 65

일반 Cpu 성능차이가 크구나 [2]

꿈돌리 2023.04.20 423 0

일반 첫 학습이 성공했습니다만 ㅋ [13]

그래요 2023.04.20 663 6

정보 제안 - 온라인 딥러닝 공부모임 [57]

hkhk 2023.04.20 1246 9

일반 우바부가로 학습하는거 또 실패한것 같습니다 [10]

그래요 2023.04.20 531 1

질문 LLaMa 허깅페이스 버전은 decapoda-research/llama-13b-hf? [2]

RKNesk 2023.04.20 418 0

일반 StableLM과 Vicuna를 비교테스트해본 결과가 있네요 [6]

산정 2023.04.20 508 3

일반 스테이블 LLM보고 드는 생각인데 [5]

하늘의아리아 2023.04.20 502 1

질문 우바부바로 학습해보신 분 결과물 어디 저장됩니까? [9]

그래요 2023.04.20 254 0

질문 Llama cpp 실행할 땐 로컬이 낫나 아님 콘다가 나음? [8]

파라노이아 2023.04.20 271 0

일반 혹시 모델은 8비트화나 4비트화 하는 방법 아시는분계신가요? [8]

하늘의아리아 2023.04.20 280 0

일반 지금 구글 bard 한국에 풀렸는데 wait list에 등록하면 거의 바로 열어줌요 [8]

그래요 2023.04.19 372 0

일반 우바부가로 lora 학습시 4090이나 a100이나 속도 차이가 없습니다 [3]

그래요 2023.04.19 386 0

정보 Local에서 web-llm 돌리는 법 (vicuna 7b) [3]

tetman 2023.04.19 655 4

일반 무검열 비쿠나 1.0 버전 구려 [1]

ㅇㅇ 2023.04.19 338 1

정보 현직 웹개발자입니다. 정말.. 하루가 다르게 바뀌는 중이네요.. 각자 현직자들 가능하면 정보공유 부탁합니다. [96]

bb 2023.04.19 2183 9

일반 노검열 비쿠나 모델도 코랩에 올렸습니다 [6]

ㅇㅇ 2023.04.19 330 0

질문 모델 로드하면 GPU 계속 잡아먹음? [9]

oㅇo 2023.04.19 211 0

전체글 개념글