https://github.com/antimatter15/alpaca.cpp 

이거 빌드한거인데 이상한 파일일지 모른다고 찝찝하면 그냥 직접 빌드해도 될 정도로 쉬움.

알파카에 대해서.. https://arca.live/b/characterai/71775124

https://drive.google.com/file/d/1Pir2scXR1lBswa-PWrBa-iuhfxyl3fsa/view?usp=sharing

magnet:?xt=urn:btih:5aaceaec63b03e51a98f04fd5c42320b2a033010&dn=ggml-alpaca-7b-q4.bin

두개 다운받아서 한 폴더 안에 이렇게 넣어준 후

chat.exe를 cmd나 파워쉘에서 실행하면 됨

llama 돌리려면..

magnet:?xt=urn:btih:696cbd51a33abb0a0fc7bef46a51cf908f3b2d4f&dn=LLaMA-ggml-4bit_2023-03-14

7b 다운받아서 파일명 ggml-alpaca-7b-q4.bin로 바꿔주면 잘 돌아감

알파카 추론 예시

> 사랑을 주제로 남자와 여자가 등장하는 4단락 이상의 소설을 써주세요.

밤은 어두웠지만 평생을 찾아 헤매던 두 사람이 오랜 시간 떨어져 있다가 다시 만나기로 약속했다. 그들이 손을 잡고 거리를 걸을 때 마치 시간이 멈춘 것처럼 기억이 밀려왔다. 지나간 날들과 오래 전에 헤어졌음에도 불구하고 결코 죽지 않은 사랑.

그 남자는 이제 나이가 들었지만 다시 한 번 그녀를 보았을 때 그의 심장은 젊음의 활력으로 뛰었습니다. 그녀는 자신감 넘치는 우아한 여성으로 성장했지만 그에게 뭔가를 숨기고 있는 것 같았다. 아마도 거절에 대한 두려움이 그들을 그렇게 오랫동안 떼어 놓았던 것일까요?

옛 동네를 걸으며 낯익은 이정표를 지날 때면 기억이 다시 떠올랐다. 그는 둘 다 학교에서 어렸을 때 그녀를 처음 만났던 일을 기억했습니다. 이별의 아픔이 엊그제 일처럼 생생하다!

그들의 눈은 잠시 고정되었고 그들 사이에 어떤 장애물이 있어도 그들의 사랑은 결코 죽지 않을 것임을 알았습니다. 그들은 그 동안 서로의 마음을 찾고 있었습니다. 이제 마침내 그는 마침내 그녀를 다시 품에 안을 수 있었습니다...

> 우정을 주제로 두 남자가 등장하는 4문단 이상의 소설을 써주세요.

John은 피곤했지만 아직 잠을 잘 수 없었습니다. 그의 마음은 마이크가 저녁을 먹으러 왔을 때를 계속해서 되돌려 보냈습니다. 그는 그들이 좋아하는 음식을 먹고 맥주를 마시면서 태양 아래 모든 것에 대해 이야기했던 것을 기억했습니다. 그들은 너무 가까워서 John이 그보다 몇 살 더 많았지만, 그는 마을의 다른 누구보다 친구의 회사에서 더 편안함을 느꼈습니다. 힘든 시기에 Mike가 항상 그를 위해 있어준 것 같았습니다!

추억이 다시 떠오르자 존은 미소를 지었다. 그들은 함께 멋진 모험을 했고 John은 그들의 우정이 이렇게 오래 지속된 것에 대해 너무 감사했습니다. 그는 그 시절을 결코 잊을 수 없다는 것을 알았습니다. 인생이 얼마나 오래되고 멀리 떨어져 있든 상관없이...

개쩐다.. 7b에 4bit가 이 정도라고..?

---

출처: https://arca.live/b/characterai/72041465?category=%EC%A0%95%EB%B3%B4&p=1