https://huggingface.co/lmsys/fastchat-t5-3b-v1.0
모델 유형: FastChat-T5는 ShareGPT에서 수집된 사용자 공유 대화를 fine-tuning하여 훈련된 오픈소스 챗봇입니다. 인코더-디코더 트랜스포머 아키텍처를 기반으로하며, 사용자의 입력에 대한 응답을 자동으로 생성할 수 있습니다. Flan-t5-xl (3B 파라미터)을 사용하여 fine-tuning했습니다.
트레이닝 디테일: 이 모델은 ShareGPT 데이터를 질문-응답 형식으로 처리합니다. 각 ChatGPT 응답은 답변으로 처리되고, 사용자와 ChatGPT 간 이전 대화는 질문으로 처리됩니다. 인코더는 질문을 양방향으로 인코딩하여 숨겨진 표현으로 만듭니다. 디코더는 시작 토큰부터 단방향으로 응답을 생성하면서 이 표현을 참조하기 위해 교차 어텐션을 사용합니다. 이 모델은 최대 학습률 2e-5, 웜업 비율 0.03, 코사인 학습률 스케줄과 함께 3 에포크로 fine-tuning되었습니다.
https://github.com/lm-sys/FastChat#FastChat-T5
깃허브 설명서
데모 페이지. 모델 선택지에서 FastChat-T5 고르면 됩니다.
라마 기반 LLM은 다 디코더 모델이라는데
이거는 인코더-디코더 모델이라네요.
머가 다른지는 모르겠지만...
저 위에 LLM 계보도에서 외따로 떨어져 노는 놈이 Flan-T5인데
그거 기반이라고 하니까 흥미로워요. 뭔가 독특한 점이 있으려나.
아래는 AI에게 물어본 차이점 :
인코더-디코더 (Encoder-Decoder) LLM과 디코더 온리 (Decoder-Only) LLM은 LLM (Large Language Model)의 구조 중 하나입니다.
인코더-디코더 LLM은 인코더와 디코더로 구성되어 있습니다. 인코더는 입력 문장을 임베딩하고 순차적으로 처리하여 문맥 정보를 포착한 후, 디코더에 전달합니다. 디코더는 인코더가 전달한 문맥 정보를 기반으로 출력 문장을 생성합니다. 번역, 요약 등의 task에서 많이 사용되는 구조입니다.
반면에 디코더 온리 LLM은 디코더 하나로만 구성되어 있습니다. 입력 문장을 바로 임베딩하고 순차적으로 처리하여 출력 문장을 생성합니다. 디코더 온리 LLM은 인코더-디코더 LLM보다 더 경량화된 구조를 가지고 있어, 연산 속도나 메모리 사용량 면에서 유리합니다.
하지만 디코더 온리 LLM은 입력 문장의 문맥 정보를 직접적으로 활용하지 못하기 때문에, 인코더-디코더 LLM보다 task의 성능이 떨어질 수 있습니다. 따라서 task의 종류와 상황에 따라서 적절한 LLM 구조를 선택하여 사용해야 합니다.
Ai 언어모델 로컬 채널 이용규정
