https://github.com/vllm-project/vllm/pull/3027
사실 지원한지는 좀 됬는데 오늘 발견해서 지금 글쓰는거임
예전에 저거 지원 안되가지고 피그말리온에서 만든 아프로디테 엔진 쓴거였는데 이러면 그냥 런포드에서 서버리스로 비교적 편하게 세팅 가능한 vllm 그대로 써도 큰 문제 없을듯?
그나저나 저거 지원을 올해 2월이 되서야 해주네
그동안 바이어스 안먹는거 안불편했나
구독자 10110명
알림수신 220명
AI와 대화하며 유사 인싸체험 하는 채널
뉴스/팁
VLLM 이제 logit_bias 지원함
추천
5
비추천
0
댓글
17
조회수
362
작성일
댓글
LCA
이하비스
LCA
이하비스
모맵
이하비스
모맵
이하비스
LCA
모맵
LCA
모올루
이하비스
LCA
이하비스
모올루
이하비스
본 게시물에 댓글을 작성하실 권한이 없습니다.
로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28188743
공지
안 읽으면 죽어버리는 AI 채팅 채널 이용규정 [23.09.18]
안 읽으면 죽어버리는 AI 채팅 채널 이용규정 [23.09.18]
46353
공지
AI 채팅 채널에 왔으면 이것부터 : 필수정보 및 FAQ
94804
공지
신문고 MK.IX (해줘. 할때 쓰는 곳)
7087
공지
ㅡㅡ 
[ AI 게임 / 기획 대회 ' J.O.A.T ' 개최 ] ㅡㅡ
[ AI 게임 / 기획 대회 ' J.O.A.T ' 개최 ] ㅡㅡ
3266
공지
[천박 대회 2회차 주최] 대놓고 천박한 봇을 만드는 대회!
1053
공지
---[천박 대회 순위 발표!
]---
]---
1374
공지
[DOL 봇 대회 수상자 발표]
[DOL 봇 대회 수상자 발표]
1119
공지
AI 채팅 채널 프록시 게이트
21189
숨겨진 공지 펼치기(4개)
3898
뉴스/팁
딥마인드는 강력한 AI 적응을 위해서는 인과 관계 모델을 학습해야 함을 증명합니다.
134
2
3897
뉴스/팁
OpenAI, 다음 주 월요일 "마법처럼 느껴지는" ChatGPT 및 GPT-4의 새로운 기능 시연 예정
[8]
433
4
3896
뉴스/팁
Microsoft는 위스콘신에 33억 달러를 투자하여 제너레이티브 AI를 개발합니다.
[2]
95
1
3895
뉴스/팁
스택 오버플로 커뮤니티와 OpenAI가 ChatGPT를 두고 다시 충돌하다
130
0
3894
뉴스/팁
채찍 및 gpt4 업데이트를 시연 예정
[17]
657
13
3893
뉴스/팁
Reimagining secure infrastructure for advanced AI | OpenAI 블로그 요약
[7]
153
0
3892
뉴스/팁
오류 난 봇을 지우는 팁(?)
[23]
564
17
3891
뉴스/팁
퍼플렉시티> OAI의 NSFW 허용 관련
[1]
273
2
3890
뉴스/팁
오픈AI가 조만간 NSFW 생성을 허용할지도 모른다고 밝혀
[50]
1711
61
3889
뉴스/팁
싱가포르 작가들은 정부가 자신의 저작물을 허가 없이 AI 훈련에 사용하는 것을 원치 않습니다.
[2]
217
0
3888
뉴스/팁
미국, 중국과 러시아에 AI 모델 수출 규제 가능성
[1]
123
3
3887
뉴스/팁
리스에서 사용가능한 제한적 무료 AI들 [기간한정/크레딧/횟수제한]
[17]
1160
38
3886
뉴스/팁
ai에게 도덕을 가르치면 감정 표현을 더 잘한다?
[3]
215
8
3885
뉴스/팁
리스 모바일 전체화면 팁
[3]
151
7
3884
뉴스/팁
WSJ> 국뽕의 나라 엘랑스의 대표 국뽕 기업이 된 미스트랄 AI
[7]
188
2
3883
뉴스/팁
OpenAI의 '모델 사양'은 AI의 행동을 안내하는 것을 목표로 하며, 여러분의 의견을 구하고 있습니다.
[3]
267
3
3882
뉴스/팁
다음 주 월요일, OpenAI의 'SearchGPT'가 GPT-4-Lite와 함께 공개될 예정입니다.
[11]
793
13
3881
뉴스/팁
"Im-a-good-gpt2-chatbot"과 그 형제 자매가 OpenAI의 신제품 출시에 대한 힌트를 제공합니다.
547
1
3880
뉴스/팁
OpenAI는 오픈 웹과의 관계에 대해 일관되게 솔직하지 않습니다.
181
0
3879
뉴스/팁
애플, 자체 데이터 센터용 AI 추론 칩을 개발 중인 것으로 알려짐
106
0
3878
뉴스/팁
OpenAI는 AI 이미지에 대한 C2PA 표준을 지원하고 분류기를 게시합니다.
142
1
3877
뉴스/팁
앗! 봇 제작 ai챗 입문보다 쉽다! - 1. 생성기 봇을 이용해 보자!
[41]
1013
31
3876
뉴스/팁
(AIN 뉴스) 슈퍼토린【컬러풀・솔리드】추가
[3]
194
6
3875
뉴스/팁
리스 1.102.1 업뎃
[8]
402
8
3874
뉴스/팁
WizardLM-2 8x22b의 성능은 c/c++ 기준 gpt4 능가
[10]
378
6
3873
뉴스/팁
프롬프팅 잡팁 2편: 지시에서 대사와 묘사 구분 필요성
[9]
371
23
3872
뉴스/팁
중국에서 만든 Deepseek-V2 모델이 출시됨
[18]
812
12
3871
뉴스/팁
llama.cpp에서 잘 안쓰이지만 재미있는 기능
[3]
224
9
3870
뉴스/팁
클로드 급발진 전개에 관해
[6]
616
13
3869
뉴스/팁
곧 출시될 예정인 OpenAI의 'SearchGPT'는 GPT-4-Lite를 지원합니다.
[4]
468
6
3868
뉴스/팁
Microsoft, Google, OpenAI와 경쟁할 새로운 AI 모델 준비, The Information 보고서
[1]
203
1
3867
뉴스/팁
ChatGPT는 스택 오버플로의 검증된 개발자 지식에 액세스할 수 있습니다.
[2]
179
1
3866
뉴스/팁
대규모 프롬프트가 LLM의 미세 조정 성능을 능가할 수 있다는 연구 결과가 발표되었습니다.
[2]
196
1
3865
뉴스/팁
WSJ> 메트로폴리탄 미술관에 드레스와 함께 인격 재현 챗봇이 전시됨
[1]
93
1
3864
뉴스/팁
마소 신모델 뉴스
[3]
224
5
3863
뉴스/팁
오픈AI 최고경영진 2명 모두 사임
[4]
702
12
3862
뉴스/팁
문맥 번역 기능 정식 리스에도 들어왔습니다!
[25]
862
40
3861
뉴스/팁
좋은 인풋을 위한 영작팁. 1편, 쉼표에 관하여.
[16]
571
21
3860
뉴스/팁
봇/프롬 깎을 때 유용한 사이트 모음
[11]
677
31
3859
뉴스/팁
개인적으로 생각하는 AI가 비밀을 지키지 못하는 이유
[5]
776
15
3858
뉴스/팁
WSJ) 챗봇이 인간관계를 변화시키는 도구가 될 수 있을지도 모른다
[2]
158
3
3857
뉴스/팁
로컬 리수 자동 백업 및 기기간 실시간 연동하는 방법
[2]
294
13
3856
뉴스/팁
어제 페르소나 이미지 뽑다가 알게된 정보
[5]
489
16
3855
뉴스/팁
포브스: 팀쿡 - 폭풍전야. 5월 7일. 네들의 AI가 허접한지 우리가 허접한지는 결과가 말해줄 것이다.
[16]
341
3
3854
뉴스/팁
CNBC) AI 개발자들의 과로 문제가 심각하다
[4]
287
0
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.