4090 1대 있는 우분투 서버에서 Langchain LlamaCpp로 챗봇 테스트 중입니다만,
Llama-cpp-python에서 제공하는 Llama에서 로드한 것은 비동기화가 원활하게 되는데,
Langchain LlamaCpp를 써서 동시에 챗봇에 질문하면 비동기화가 안되고 "중지됨 (코어 덤프됨)"이라고 하는 오류가 뜨는데
Langchain LlamaCpp로 비동기화 하신 분 계실까요?
어렵네요..ㅜ
구독자 3485명
알림수신 173명
제한없는 언어모델을 위한 채널
질문
langchain LlamaCpp 비동기화 어렵네요ㅜ
추천
1
비추천
0
댓글
2
조회수
406
작성일
⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.
댓글
[2]
글쓰기
용바오
용바오
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
30755354
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
6198
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
28098
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
9272
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5357
공지
신문고
2331
숨겨진 공지 펼치기(1개)
정보
RWKV-5가 1.7T 갯수의 토큰을 사용하여 llama2의 성능을 능가함
[1]
620
8
일반
레딧) grok 1 벤치마크
[4]
721
3
질문
말뭉치 추가로 학습하신분들 (한글 토큰추가), 주로 몇 토큰 정도 추가하셨나요?
[7]
513
0
일반
grok-1 312B(8x39B)모델 출시
[9]
1374
13
질문
선생님들!! 견적과 실현 가능성을 문의하고 싶습니다!
[17]
851
2
정보
gpt 3.5 turbo의 hidden dim을 4096으로 추정한 논문이 나왔네요.
[1]
784
9
일반
bge-m3 모델을 openai compatible api 방식으로 사용할 방법이 있을까요?
[1]
645
0
질문
궁금한 것이 있슴돠..
[9]
624
0
질문
langchain LlamaCpp 비동기화 어렵네요ㅜ
[2]
407
1
일반
한국어 멀티턴 데이터셋 생성 모델, KoMultiGen-General
[7]
1554
35
질문
우바부가 쳇 오류
201
0
질문
Grok 써보신 분들 계신가요?
[8]
744
0
질문
Whisper-WebUI 인스톨 오류 관련
[5]
432
-5
질문
갑자기 로컬 코랩이 안되는데 방법이 있을까요?
[4]
372
1
질문
지금와서 한국어 모델 tokenizer합치기로 굽는다면 뭐 해보는게 가장 좋을까요?
[3]
622
1
일반
full fine tune이나 MoE 제작할때 훈련하는 코드나 데이터 전처리 pipeline 코드 정보를 어디서 얻나요??
415
0
질문
Ebay 에서 팔고 있는 radeon pro v340 이라는 GPU 혹시 어떨까요?
[8]
541
0
정보
koboldcpp 가 multimodal 을 지원합니다 + 오류
[1]
338
4
