진짜 빠른데 7b 요약용 로컬 모델일까

네이버 주식 다 팔아야겠다. 네이버 쓸 이유가 없네 ㅋ 잘 쓰지도 않지만 가끔 검색하면 광고만 나오고 ㅋㅋ 최적화가 굉장하네 노력 많이 한게 보이네 이거 만든 사람들 ㅋ
느낌이 여러개의 7b 모델을 동시에 돌려서 결과 조합해서 답변 주는 것 같네.. 질문 프롬프트 생성 , 요약,  검색 요약 등을 각각 잘하는 ㅎㅎㅎ

검색도 검색이지만 
ai가 글 모아다 기사를 써주는 것 같은데 
거기에다 추가 질문으로 내용 이어나가는 것 형식도 꽤 흥미로워요

퍼플렉시티 AI는 최신 정보를 가져오는 자체 접근 방식 ‘프레시프롬프트(FreshPrompt)’를 개발했다. 

퍼플렉시티 AI에 따르면 프레시프롬프트는 내부 검색, 색인화 및 크롤링 인프라를 통해 가장 관련성이 높고 가치 있는 최신 정보로 LLM을 강화한다. 또 검색 색인은 규모가 크고 정기적으로 업데이트되며, 정교한 순위 알고리즘을 사용해 고품질 사이트를 우선 노출한다고 밝혔다. 이를 통해 ‘스니펫(Snippet)’이라는 웹사이트 발췌 기술로 최신 응답을 온라인 LLM에 제공된다.
https://www.aitimes.com/news/articleView.html?idxno=155575

저 회사는 라마 새로 나오면 써볼수 있게 해주기도 해서 좋아요 https://labs.perplexity.ai 자기들이 파인튜닝한 모델 쓰는듯요

와.. 이거 장난 아니네. 속도도 어마어마하고 성능도

어떻게 이렇게 빠를까요? 불러오는 거 보니 컨텍스트 길이도 적지 않아 보이는데 말이죠;;;