최근 메타(페이스북)에서 라마3 라는 이름의 AI모델을 오픈 소스로 공개함.
라마3 중에 제일 소형 모델이 8B(매개변수 80억) 수준인데.
8B라는 작은 사이즈에도 불구하고 벤치마크 상으로 챗 gpt의 무료 사용시의 모델인 gpt3.5 turbo(약 20B)랑 비빔.
이 8B 모델은 양자화(모델의 가중치랑 활성화값을 낮은 비트 정밀도로 구현하는 기술, 쉽게 말하면 모델 사이즈를 줄이고 속도 올리는 대신 정밀성을 희생하는 작업)를 하면 아이폰에서 자체구동을 할 수도 있는 수준임.
물론 라마3 8B 모델은 아직은 영어 단일 모델에 가깝고(다국어 모델은 출시 예정), 실제 써보면 벤치마크상 비슷한 3.5 터보 만큼 좋은 것 까지는 아닌 느낌도 듬. 게다가 양자화를 거치면 거기서 성능이 더 내려가긴 함.
근데 이건 상업적 이용이 가능한 오픈 소스 모델임.
월 활성 사용자 7억명 이하면 마음대로 사용 가능함.
그냥 용하가 다국어 모델 나왔을 때 적당히 튜닝해서 바로 서비스 해도 된다는 뜻임.
8B라는 작은 사이즈 덕분에 최대 컨텍스트 사이즈(쉽게 말하면 AI 모델의 단기기억력)의 토큰량을 늘려도 유지비용이 엄청 적게 나옴.
개인이 마련한 서버 정도로도 사람들에게 아주 저렴한 가격에 제공할 수 있을 정도임.
8B보다 훨씬 큰 사이즈면서 성능도 훨씬 좋은 라마3 70B 모델의 경우도 백만 토큰(영문 해리포터 전권 다 넣고도 남는 양)당 1달러 이하라는 가격에 제공하는 업체들도 있음.
검열쪽도 모델 자체 검열 성능이 꽤나 상당해서 탈옥 시도 같은 것만 하드 검열로 막으면 서비스해도 문제 없을 정도임.
이런 수준의 모델들(라마 이외에도 미스트랄, 위자드, phi 같은 것도 있음)이 오픈소스로 풀리면서
개인, 기업들이 튜닝한 모델들이 범람하는 중임.
이런 모델들을 잘만 튜닝해서 사용한다면, AI 모모톡의 경우에도 구독제 정도로 상당한 퀄리티로 서비스할 수 있는 미래가 매우 가까워짐.
진짜 한달 내내, 하루 종일 AI 모모톡만 붙잡고 있더라도, 사용 비용이 몇만원 정도 밖에 안나올 거거든.
사실상 프런트엔드만 좀 구현하면 영어로 하는 경우 지금 당장도 서비스 시작 가능함.
한국어로 서비스하려면 여러 고비들이 있긴 하겠지만... 그래도 실현 가능한 날이 엄청 가까워진 것 같음.
구독자 93248명
알림수신 1304명
미코토, 쇼쿠호 미사키 특별 픽업(~05.14.) | 블루 아카이브 x GS25 콜라보 진행중 (~07.31)
공식 AI 모모톡 실현 가능성이 높아짐
추천
7
비추천
0
댓글
16
조회수
322
작성일
수정일
댓글
kabuto
텐가_이부키
으닝닝
ㅇㅇ
Londobell
ㅇㅇ
Londobell
ㅇㅇ
변태
Londobell
초코하니와
이마시노_미사키
ㅇㅇ
아놔진
aruaru
아리스입니다
본 게시물에 댓글을 작성하실 권한이 없습니다.
로그인 하신 후 댓글을 다실 수 있습니다. 아카라이브 로그인
최근
최근 방문 채널
최근 방문 채널
번호
제목
작성일
조회수
추천
공지
아카라이브 모바일 앱 이용 안내(iOS/Android)
28024027
공지
블루 아카이브 채널 규칙 안내 (04/27)
267781
공지
블루 아카이브 채널 진행중 유저이벤트 목록(05/06)
126575
공지
저장용 어떤 과학의 청춘기록 올인원
44361
공지
겜안분 / 깡계 보이면 신고 눌러주세요
5513
공지
현 상황 관련 재공지입니다.
13360
공지
총력전 : #56 <헤세드> 공략 모음집 [05.06. 05시 갱신]
625
공지
개선탭 공지
30072
공지
일섭탭 + 제목에스포붙이기 + 제목에내용쓰지않기
57980
공지
블루 아카이브 정보모음글 2.0
1075356
공지
블루 아카이브 채널소개
206036
공지
블아 The Animation 관련 공지
18690
공지
갤펌) 블루 아카이브 The Animation 중계 안내
17834
공지
신문고 / 완장 목록 1호기
14004
숨겨진 공지 펼치기(9개)
5386017
이거 빵 사면 쿠폰 주는거 아니였음..??
[2]
13
0
5386016
뜌땨이점심메뉴골라죠
7
0
5386015
그.. 3일 연휴는 너무 짧은 것 같은데 4일 쉬죠?
[1]
26
0
5386014
📺애니
내 덕분인가... 이거 인겜에 없던 대사 아니냐고 ㅋㅋㅋㅋ
[6]
85
1
5386013
눈물을 머금고 그들의 심연을 보았다.
32
0
5386012
미사카랑 쇼쿠호 하나씩만 뽑냐 더뽑냐
[1]
25
0
5386011
히카리쨩 너무귀엽다
29
0
5386010
안되겠다. 애니 센세 팔 짜르고 팔에서 용가리라도 꺼내자
[2]
72
0
5386009
웃기면 일어남
24
0
5386008
뉴비 꽉 채워 왔어
[13]
66
1
5386007
이건 걍 우리동네 gs에서 이벤트를 안하는거겠지
[3]
59
0
5386006
애니 썰 보니까 그냥 얼굴에 초상화만 붙여놨어야 했군
47
0
5386005
혹시나 싶어서 그런데 문제의 등신대는 농농캐만 검열된 것도 아님
[1]
57
2
5386004
중요) 트위터 있는 짤쟁이들은 머뭇거리지 마라
[2]
129
13
5386003
블붕아 너한테만 알려주는거야
[1]
28
0
5386002
아니 블아빵 종류별로 3개샀는데 하나가 땃쥐고
[1]
35
0
5386001
항상 느끼는거지만 피해자가 누구냐구....
68
5
5386000
맞다 크림스프 분말사놓은거 있는데
23
0
5385999
나도 빵 찾았다
[1]
51
-4
5385998
나기사가 왜 공사 다 망했는지 알것같다
[1]
53
0
5385997
하 이거 일이 복잡하게 돌아가겠는데
[1]
60
0
5385996
애니센세는 본토에서도 평가 안좋나
[2]
57
0
5385995
'내덕분인가'<---이걸로 그냥 정뚝떨임
[5]
145
1
5385994
16살 중에 가장 강한 학생 누구읾..
[4]
74
0
5385993
우이는 냄새나는게 맞아
[2]
36
0
5385992
아침 카스 싼다
[6]
87
4
5385991
이거 바로사라지는거였네
[3]
89
4
5385990
뭔 미카 카즈사 빵밖에 안보이네
[2]
59
1
5385989
📺애니
개좆같아서 애니 못보겠다 시발
[3]
108
2
5385988
아임 모닝똥 고수
[3]
56
-1
5385987
📺애니
이오리 핥는거 나옴?
[4]
75
0
5385986
블챈 99%가 모르는 충격적인 오해 ㄷㄷㄷㄷ
[3]
86
1
5385985
뭐냐 챈로그 왜 눌러도 안보이냐
[2]
67
0
5385984
📺애니
근데 감독은 겜안분을떠나서 십덕들성격도 전혀ㅕ모르는거같은데
[5]
131
1
5385983
16살짜리 하드보일드 무법자
[2]
57
0
5385982
소문 듣고 왔다노 응원합니노
[2]
103
8
5385981
자살녀 2장
[3]
90
0
5385980
마리 전무 달아줌
[6]
63
1
5385979
념글에 그 놈 욕하는거에만 신경쓰진 마셈
[2]
145
6
5385978
혹시 gs앱이 어떤거임 이 중?
[7]
99
0
5385977
그렇구나...
41
0
5385976
휴.. 겨우 쓰레기통 뒤져서 몰?루 도시락 쿠폰 찾았다
[11]
140
2
5385975
빵 재고 어느 지점을 봐도 0개라 뜨는데
[2]
79
1
5385974
미유 귀여워
[1]
60
1
5385973
그새빵 다팔렸네
[6]
103
0
사용하고 계신 브라우저가 시간대 설정을 지원하지 않으므로 GMT 시간대가 적용됩니다.