모바일 기준 출력속도가 갑자기 ㅈㄴ느리길래
리퀘 잠깐 보니까
(잘린부분)
{data:chat-id}
이걸로 content 부분에
토큰 단어당 요청이 계속들어가있음
보조모델 쓰는거면 그렇다치는데
보조모델 빼고 메인모델 넣어보니 출력에 몇분씩 걸렸으니
미심쩍으니 다이나믹 에셋에는 스트리밍 쓰지마셈
별개로 그 기능자체는 ㅈㄴ 잘되긴함
반대로 다이나믹 에셋끄니까 정상적으로 빨라짐
모바일 기준 출력속도가 갑자기 ㅈㄴ느리길래
리퀘 잠깐 보니까
(잘린부분)
{data:chat-id}
이걸로 content 부분에
토큰 단어당 요청이 계속들어가있음
보조모델 쓰는거면 그렇다치는데
보조모델 빼고 메인모델 넣어보니 출력에 몇분씩 걸렸으니
미심쩍으니 다이나믹 에셋에는 스트리밍 쓰지마셈
별개로 그 기능자체는 ㅈㄴ 잘되긴함
반대로 다이나믹 에셋끄니까 정상적으로 빨라짐