vllm을 이용하여 밴치마크를 진행하는 툴(?)들이 많은데
vllm을 사용하여 진행하면 사용하지 않는거랑 성능차이가 별로 안나나요?
아니면, 성능차이가 좀 나더라도 속도때문에 감안이 되는건가요?
구독자 3537명
알림수신 174명
제한없는 언어모델을 위한 채널
일반
vllm을 이용하여 벤치마크를 진행하면 성능에는 큰 차이가 없나요?
추천
0
비추천
0
댓글
1
조회수
368
작성일
댓글
[1]
글쓰기
maywell
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
31472707
공지
Ai 언어모델 로컬 채널 이용규정
Ai 언어모델 로컬 채널 이용규정
6293
공지
뉴비에게 도움 되는 글 모음
뉴비에게 도움 되는 글 모음
28623
공지
언어모델 관련 정보취득 /무료체험 가능 사이트
9504
공지
여러분의 학습에 도움을 줄 수 있는 하드웨어 지원
5490
공지
신문고
2367
숨겨진 공지 펼치기(1개)
4063
일반
miqu-evil-dpo 모델 업로드 및 출력 예시
[5]
545
9
4062
일반
vLLM 소형 모델 인퍼런스 느낀점 및 팁
[18]
1529
20
4061
일반
[어쩌다 AI] H100 컴퓨터 사양 문의
[15]
959
1
4060
질문
모델을 학습시키고 레포를 만들고 리더보드도 올려보고 하면서 원론적인 궁금증이 있습니다.
[6]
559
2
4059
일반
라마3를 실리콘 맥미니에서 돌려보았음.
[9]
989
6
4058
일반
라마3 덕분에 LLM기술들, 1년 이내로 상향평준화 완료?
[6]
961
0
4057
일반
재미있을 것 같은 프로젝트
[1]
676
5
4056
일반
Snowflake Arctic: 480b moe+dense모델
[1]
355
4
4055
일반
m4 맥스튜디오가 램 512gb로 나오면 닥치고 이거사는게 맞지않나요?
[11]
808
1
4054
질문
GPU에 정수연산기와 실수 연산기는 독립적으로 동작하는데
[3]
379
1
4053
일반
엔드 유저 분들은 이거부터 보세요! Feat. Groq Cloud
[2]
683
6
4052
질문
뉴비 LLM 멀티 GPU 구동 질문 하나 드립니다.
[4]
488
0
4051
질문
모델 레이어를 쌓아서 학습할 수 있을까요?
[2]
371
0
4050
질문
왜 양자화라는 이름이 붙었나요?
[19]
771
1
4049
질문
5090사기 vs m4 맥스튜디오 사기
[13]
791
2
4048
정보
merge kit에 Evolutionary Model Merging추가
[1]
287
3
4047
일반
GDDR7 모듈들 출시되는거 보면 5090은 36기가로 나올 수도 있을듯
[5]
545
6
4046
일반
wavecoder ultra 6.7B - 마이크로소프트
[4]
431
5
4045
질문
님들 제가 지금 exllamav2로 llama3 70b instruct 모델 변환중인데...
[10]
571
0
4044
질문
LlamaModel에서 gate구조에 대한 궁금증
[3]
358
1