4090 램 32GB, 라마 13B랑 30B 돌려봤는데

13B는 일단 --cai-chat 붙여서 채팅 들어가도 대답이 즉각적으로 출력되는데

30B는 5초 후에 출력이 시작되고 몇 자 출력되다 보면 램이 24G 다 차서 엄청 느려짐.

그렇다고 30B의 대화수준이 더 좋은가? 생각해보면 그런 건 아님.

13B때 적었던 대사 그대로 적어봤는데 맥락을 더 이해하는 모습을 보여주진 않았다.

그리고 둘다 이전 대화를 거의 기억 못함. 몰입은 불가능한 상태.(태번은 아직 안써봐서 모르겠다.)

대신 --cai-chat 안붙이고 텍스트 모드로 들어갔을 때는 13b랑 30b랑 둘 다 빠르게 출력.

둘이 비교했을 때 글을 쓰는 능력은 거의 비슷하게 느껴지더라. 나는 지식 테스트 용도로

사용해보진 않아서 둘의 차이는 크게 느껴지지 않았음.

알 수 없는 말을 내뱉는 건 조~금 줄어든 느낌적인 느낌 정도?

30B를 계속 사용해 보다가 13B로 돌아갔을 때 역체감 때문에 못쓰겠다 싶으면

30B가 훌륭하다고 평가할 수 있겠는데 아직까지는 큰 차이를 모르겠어서

속도 느린게 답답하다 싶으면 13B로 내려올 예정.

하지만 LLAMA의 최고 장점은... 캐릭터 성향을 정해주지 않는 이상 수위 검열이 없다.

테스트로 하드한 이야기들을 주문해봤는데 번역기에 넣는 것도 쫄릴 정도로 진짜 노빠꾸임...