https://twitter.com/AIatMeta/status/1730293297481150569

Facebook Artificial Intelligence Research (FAIR)

뉴욕대 교수 얀 르쿤의 주도로 페이스북 본사 맨로 파크, 뉴욕대가 있는 맨하튼, 영국 런던에 위치한 연구소를 합쳐 설립

오픈소스 기조로 Pytorch와 같은 머신러닝 라이브러리를 공개적으로 풀었고,

오픈AI의 챗GPT나 테슬라의 오토파일럿도 Pytorch를 이용한다

아이러니하게도 오픈AI의 챗GPT가 아직 공개되기 2주 전, 메타는 생성형 대형 언어 모델 Galactica를 출시한다

그러나 아직 AI 언어 모델에 생소했던 사람들은 AI가 가짜 정보를 내놓는 '환각(Hallucination)' 현상에 기겁하고,

과거 마이크로소프트의 Tay AI 사태처럼 브랜드에 타격이 갈 걸 우려한 끝에 3일만에 서비스가 중지된다

신생 기업인지라 평판에 큰 가치가 없던 오픈AI는 각종 환각 오류에도 불구하고 챗GPT 출시를 강행하고,

엇갈린 운명 속에 사람들은 챗GPT의 환각 현상에도 불구하고 그 생성 능력에 열광하며 마이크로소프트의 대규모 투자를 받는데에도 성공한다

똑같은걸 만들었는데 지들은 욕 먹고 챗GPT는 찬양받는걸 본 얀 르쿤은 챗GPT 광풍이 불던 당시 그건 특별할게 없는 기술이라고 주장했지만, 악덕 기업 페이스북에서 일하는 부역자가 열폭하는 것으로 조명될 뿐이었다

광풍을 틈타 대규모 투자를 받은 오픈AI는 대대적으로 학습용 설비와 데이터를 늘려가며 성능을 더 끌어올리고, 동시에 각종 로비를 통해 'AI는 사실 위험하다!'며 다른 기업, 다른 국가에서 AI를 연구하는걸 막는 대규모 캠페인을 벌인다. 

양심적으로 깨어있고 가장 능력이 좋은 자신들만 AI를 개발하고, 자신들이 선별한 사람들만 AI를 이용할 수 있도록 유도하기 위해 오픈AI측은 계속해서 사람들의 AI에 대한 공포를 이용해 정책 결정자들을 설득해왔다. 오픈AI는 더 이상 '오픈'하지 않고, 사용된 데이터셋부터 구조까지 오픈소스인 부분이 없다.

https://twitter.com/BasedBeffJezos/status/1723114328726155634

이들은 실제 오픈소스로 풀리고 있는 메타의 Llama는 영리 기업인 메타 소유이니 '오픈'하지 않다며 역으로 공격하며, 폐쇄적인 오픈AI의 챗GPT에 대해 말을 돌리기도 한다. Llama와 같은 오픈소스 모델이 많이 풀리며 더 많은 사람들이 자유롭게 LLM을 가지고 놀 수 있게 되는 상황을 오픈AI가 바라지 않기 때문이다. 

아이러니하게도 오픈AI의 자금 대부분은 영리 기업인 마이크로소프트에서 오고 있다.

현재 사람들의 관심사는 LLM에 몰려있는 상황이지만, 르쿤의 경우 언어모델 자체의 한계점이 있다고 지적한다. 사람은 어린 아이의 경우도 각종 시청각 경험과 인식을 통해 빠르게 새로운 능력을 학습하고 발전시킬 수 있는데, 언어모델 AI는 아주 간단한 새로운 능력을 위해서 모든걸 정제된 '언어'의 형태로 넣어 한참을 학습시킨 뒤 긴 파인튜닝 과정을 거쳐야 작동한다. 

실제 초지능은 단순 언어모델 기반이 아닌 이러한 복합 인지/학습 능력이 있어야 한다고 보고 있으며, 이와 관련된 연구를 계속해서 하고 있다