EmbeddingGemma 300M 모델을 기반으로 학습한 특수 목적의 한국어 임베딩 모델입니다.
일반적인 임베딩 모델은 주어진 글의 '내용'을 임베딩하도록 훈련되었습니다. 다른 언어, 다른 표현이라도 의미가 같으면 비슷한 값을 내도록 말이죠.
저는 반대로 내용과는 관계 없이, 글의 '문체'를 구분하고 임베딩하는 모델을 만들고자 했습니다.
그래서 합성 데이터를 만들어, 같은 내용에서도 문체가 다르면 다른 위치에 임베딩되도록 모델을 구축했습니다.
이를 통해 실제로 약 3천자 분량의 텍스트를 통해 높은 확률로 동일 작품을 식별해낼 수 있었고, 동일 작가의 다른 작품도 식별하는 것이 가능해졌습니다.
실제 모델은 아래 링크에서 확인해보실 수 있습니다.
https://huggingface.co/Baragi-AI/Munche-768
추가로 모델 훈련 과정에서 얻게 된 흥미로운 정보도 있습니다.
바로 각 모델이 갖는 문체 공간이 굉장히 획일화되어 있다는 것입니다.
작가마다 다른 위치를 갖는 인간과는 달리, LLM은 긴 프롬프트를 주어도, 장르가 달라도, 이야기가 달라도 거의 같은 공간에 위치했습니다.
특히 GPT 5.6 시리즈는 다른 모델과는 굉장히 이질적인 공간에 위치했고, Gemini와 Gemma는 매우 유사한 특성을 가졌습니다.
이 외에도 무협 작품은 집필 시대에 따라 다른 문체를 가진다거나, LLM이 그나마 사람과 유사한 문체를 갖는 장르는 현대 판타지라거나 하는 정보도 얻을 수 있었네요.
단순히 강화학습에 쓸 평가자 모델을 만들고자 시작한 프로젝트지만, 예상 외로 얻어가는 것이 많았네요.
자신과 유사한 문체를 갖는 LLM을 훈련하고 싶다거나, 모델간의 출력 유사성 분석을 하고자 하시는 분들께 도움이 되리라고 생각해 공유합니다.
스크롤 바로 내리신 분들을 위한 링크
https://huggingface.co/Baragi-AI/Munche-768
