최근 메타(페이스북)에서 라마3 라는 이름의 AI모델을 오픈 소스로 공개함.
라마3 중에 제일 소형 모델이 8B(매개변수 80억) 수준인데.
8B라는 작은 사이즈에도 불구하고 벤치마크 상으로 챗 gpt의 무료 사용시의 모델인 gpt3.5 turbo(약 20B)랑 비빔.
이 8B 모델은 양자화(모델의 가중치랑 활성화값을 낮은 비트 정밀도로 구현하는 기술, 쉽게 말하면 모델 사이즈를 줄이고 속도 올리는 대신 정밀성을 희생하는 작업)를 하면 아이폰에서 자체구동을 할 수도 있는 수준임.
물론 라마3 8B 모델은 아직은 영어 단일 모델에 가깝고(다국어 모델은 출시 예정), 실제 써보면 벤치마크상 비슷한 3.5 터보 만큼 좋은 것 까지는 아닌 느낌도 듬. 게다가 양자화를 거치면 거기서 성능이 더 내려가긴 함.
근데 이건 상업적 이용이 가능한 오픈 소스 모델임.
월 활성 사용자 7억명 이하면 마음대로 사용 가능함.
그냥 용하가 다국어 모델 나왔을 때 적당히 튜닝해서 바로 서비스 해도 된다는 뜻임.
8B라는 작은 사이즈 덕분에 최대 컨텍스트 사이즈(쉽게 말하면 AI 모델의 단기기억력)의 토큰량을 늘려도 유지비용이 엄청 적게 나옴.
개인이 마련한 서버 정도로도 사람들에게 아주 저렴한 가격에 제공할 수 있을 정도임.
8B보다 훨씬 큰 사이즈면서 성능도 훨씬 좋은 라마3 70B 모델의 경우도 백만 토큰(영문 해리포터 전권 다 넣고도 남는 양)당 1달러 이하라는 가격에 제공하는 업체들도 있음.
검열쪽도 모델 자체 검열 성능이 꽤나 상당해서 탈옥 시도 같은 것만 하드 검열로 막으면 서비스해도 문제 없을 정도임.
이런 수준의 모델들(라마 이외에도 미스트랄, 위자드, phi 같은 것도 있음)이 오픈소스로 풀리면서
개인, 기업들이 튜닝한 모델들이 범람하는 중임.
이런 모델들을 잘만 튜닝해서 사용한다면, AI 모모톡의 경우에도 구독제 정도로 상당한 퀄리티로 서비스할 수 있는 미래가 매우 가까워짐.
진짜 한달 내내, 하루 종일 AI 모모톡만 붙잡고 있더라도, 사용 비용이 몇만원 정도 밖에 안나올 거거든.
사실상 프런트엔드만 좀 구현하면 영어로 하는 경우 지금 당장도 서비스 시작 가능함.
한국어로 서비스하려면 여러 고비들이 있긴 하겠지만... 그래도 실현 가능한 날이 엄청 가까워진 것 같음.
구독자 93271명
알림수신 1302명
미코토, 쇼쿠호 미사키 특별 픽업(~05.14.) | 블루 아카이브 x GS25 콜라보 진행중 (~07.31)
공식 AI 모모톡 실현 가능성이 높아짐
추천
7
비추천
0
댓글
16
조회수
324
작성일
수정일
댓글
kabuto
텐가_이부키
으닝닝
ㅇㅇ
Londobell
ㅇㅇ
Londobell
ㅇㅇ
변태
Londobell
초코하니와
이마시노_미사키
ㅇㅇ
아놔진
aruaru
아리스입니다
본 게시물에 댓글을 작성하실 권한이 없습니다.
로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28036291
공지
블루 아카이브 채널 규칙 안내 (04/27)
268154
공지
블루 아카이브 채널 진행중 유저이벤트 목록(05/06)
126926
공지
저장용 어떤 과학의 청춘기록 올인원
45125
공지
현 상황에 따른 공지 재정리 (3)
4927
공지
총력전 : #56 <헤세드> 공략 모음집 [05.06. 05시 갱신]
1589
공지
개선탭 공지
30268
공지
일섭탭 + 제목에스포붙이기 + 제목에내용쓰지않기
58096
공지
블루 아카이브 정보모음글 2.0
1075958
공지
블루 아카이브 채널소개
206165
공지
블아 The Animation 관련 공지
18814
공지
갤펌) 블루 아카이브 The Animation 중계 안내
17929
공지
신문고 / 완장 목록 1호기
14559
숨겨진 공지 펼치기(8개)
5389724
어제 일페에 무기 들고온 학생!!
32
0
5389723
갑자기 기부 릴레이는 왜 나온거냐
25
0
5389722
온라인 온리전 <<< 이게 goat인듯 ㅋㅋ
[1]
30
0
5389721
어떻게 사람 이름이 밤꽃 ㅋㅋㅋㅋ
[2]
37
0
5389720
근데 법적 근거도 없는데 뉴스에서 고로시각잡는건 뭐냐
[1]
43
0
5389719
이시각 진짜 피해자
[3]
55
0
5389718
📺애니
저점찍고 반등간다 6화 액션 수준 예상
[5]
38
0
5389717
근데 콜라보 피규어도 가능하지않을까
[1]
31
0
5389716
나도 기부 하고 싶다
9
1
5389715
와 진쟈 운동만으로 칼로리 태우는 게 쉬운 일이 아니긴 하네
18
1
5389714
솔직히 퀴어축제 부럽긴 함
[3]
91
5
5389713
그 온리전 티켓 친구끼리 바꾸거나 그러는거 안되나?
[6]
54
0
5389712
기부하고 싶은데 돈이 5000원 밖에...
[4]
35
0
5389711
블부이 똥마려...
[1]
44
0
5389710
시발 내가 커뮤를 끊던가 해야지
[2]
104
0
5389709
짤
미코진) 키라라
[2]
41
1
5389708
착한일
선착순
[5]
82
9
5389707
감자더락 머냐????????
47
0
5389706
보닌 감자피자 만들어봤는데 ㅁㅌㅊ?
[9]
64
1
5389705
🗾일섭
호시농ㅋㅋㅋㅋ
[2]
30
0
5389704
햄버거 먹는 하루나한테 밀크 쉐이크 권하고 싶다
[1]
28
0
5389703
혐)차단당할 각오하고 올린다
[14]
233
15
5389702
왜 우리동네는 블아빵 0개임..?
[6]
42
0
5389701
나도 그냥 여중생 하고 싶다
22
0
5389700
만화방 세대라서 BL에 좀 빠삭한 편인데
[6]
118
9
5389699
블아 애니 액션신 이정도만 뽑아줘도 만족하면서 본다
[4]
60
0
5389698
히후미빵은 맛있을까
[2]
23
0
5389697
여긴 RABBIT 1 작전을 시작합니다.
51
1
5389696
착한일
좋은일은 참여해야지
[1]
70
17
5389695
넨도 비교적 싸다고 계속 사니까
[3]
39
0
5389694
뜌땨이들 모두 착한일도 했으니
[28]
127
0
5389693
일단 민원 넣었습니다
43
0
5389692
착한일
내가 블아를 한건
[2]
136
19
5389691
챈 하루 비우고 왔더니
22
0
5389690
착한일
착한일 했어요
[3]
92
16
5389689
뉴스 댓글 이거 뭐냐
[12]
267
24
5389688
근데 우리 대황 언냐들은 아동인권 생각해서 부스신고박아놓고는
[8]
182
9
5389687
카즈사빵 어떰? 맛있나?
[22]
139
0
5389686
착한일
기부 완료
[4]
129
20
5389685
젠장 리오 너는 주술마저 최강인거냐
[2]
92
1
5389684
왜 카즈사 빵만 있고 다른건 없냐
[5]
67
0
5389683
보조배터리 포트 5개 중에 4개가 죽었는데
[2]
61
0
5389682
질❔문
아카에서 개인한테 메세지 보내는거 어떻게 하는지 아는사람?
[12]
135
0
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.