내가 흥미있는것만 찝어왔음
전체 내용이 궁금한 사람은 아래 영상 보면 됨 (1시간 18분)
https://youtu.be/bc6uFV9CJGg?si=l-j1oXGqvp8agu_x
[3:35] 로드맵
우리는 다중 양식, 더 많은 다국어성, 더 큰 컨텍스트 창을 제공할 새로운 릴리스에 대한 로드맵을 가지고 있습니다. 바라건대, 올해 말쯤에는 405B가 출시될 것입니다. 현재 훈련 중인 경우 이미 약 85MMLU에 도달했으며 여러 벤치마크에서 선두적인 벤치마크를 가질 것으로 기대합니다. 나는 그 모든 것에 대해 매우 흥분됩니다.
[11:29] 코딩 훈련
예를 들어, Llama-2를 작업할 때 사람들이 WhatsApp에서 Meta AI에게 코딩 관련 질문을 많이 하지 않을 것이기 때문에 코딩을 우선시하지 않았습니다. 이제 그들은 그럴 것입니다. 그렇죠? 모르겠습니다. WhatsApp이나 Facebook, Instagram이 사람들이 많은 코딩 질문을 하게 될 UI인지 잘 모르겠습니다. 어쩌면 우리가 출시할 웹사이트인 Meta.ai일 수도 있습니다.
하지만 지난 18개월 동안 다소 놀라운 결과가 나온 것은 코딩이 코딩뿐만 아니라 많은 도메인에 중요하다는 사실이 밝혀졌다는 것입니다. 사람들이 코딩 질문을 하지 않더라도 코딩에 대한 모델 교육은 질문에 더욱 엄격하게 답하고 다양한 유형의 영역에 걸쳐 추론하는 데 도움이 됩니다. 이것이 바로 Llama-3의 경우 많은 코딩을 통해 교육하는 데 중점을 둔 한 가지 예입니다. 그렇게 하면 사람들이 주로 코딩 관련 질문을 하지 않더라도 이러한 모든 면에서 더 나은 결과를 얻을 수 있기 때문입니다.
[22:59] 8b 크기 문제
내 생각에 8B는 다양한 사용 사례에 충분히 작지 않다고 생각합니다.
시간이 지나면서 1-2B 매개변수 모델이나 심지어 500M 매개변수 모델을 얻고 이를 통해 무엇을 할 수 있는지 알아보고 싶습니다.
[30:53] 전기 문제
그러나 300MW, 500MW 또는 1GW 규모의 데이터 센터를 구축하기 시작하면 아직 1GW 데이터 센터를 구축한 사람은 없습니다. 나는 그것이 일어날 것이라고 생각합니다. 이는 시간문제일 뿐이지 내년이 될 수는 없습니다. 이들 중 일부는 구축하는 데 몇 년이 걸릴 것입니다. 이것을 관점에서 보면 기가와트는 모델 훈련에만 사용되는 의미 있는 원자력 발전소의 크기가 될 것이라고 생각합니다.
아마존이 이런 일을 하지 않았나요? 그들은 950MW를 가지고 있습니다. 나는 그들이 무엇을 했는지 정확히 모르겠습니다. 그들에게 물어봐야 할 것입니다.
[38:06] 예측 불가능성
분명히 시간이 지남에 따라 이 것들이 어떤 방향으로 흘러갈지 예측하는 것은 매우 어렵습니다. 그렇기 때문에 누구도 그것을 어떻게 개발할 계획인지, 무엇을 할 계획인지에 대해 독단적이어서는 안 된다고 생각합니다. 각 릴리스마다 이를 살펴보고 싶습니다.
우리는 분명히 매우 전문적인 오픈 소스이지만 우리가 하는 모든 일을 공개하겠다고 약속하지는 않았습니다.
저는 기본적으로 오픈 소스가 커뮤니티에 좋을 것이고 우리가 혁신의 혜택을 누릴 수 있기 때문에 우리에게도 좋을 것이라고 생각하는 경향이 있습니다.
그러나 어느 시점에서 사물의 기능에 질적인 변화가 있고 우리가 그것을 오픈 소스화할 책임이 없다고 느낀다면 우리는 그렇게 하지 않을 것입니다. 모두 예측하기가 매우 어렵습니다.
[45:06] AI 위험성
AI 시스템이 나쁜 일을 할 위험이 있습니다. 하지만 저는 초강력 AI를 갖고 있는 믿을 수 없는 행위자가 적대적인 정부인지, 신뢰할 수 없는 기업인지 등을 걱정하며 밤을 새웁니다.
나는 그것이 잠재적으로 훨씬 더 큰 위험이라고 생각합니다. 마찬가지로, 그들은 다른 누구도 가지고 있지 않은 무기를 가지고 있기 때문에 우리 정부를 전복시킬 수 있습니까? 아니면 많은 혼란을 야기할 수도 있습니다.
직관에 따르면 이 물건은 경제적, 보안적 이유와 기타 여러 가지 측면에서 매우 중요하고 가치가 있다고 생각합니다. 신뢰하지 않는 사람이나 적이 더 강력한 것을 얻게 된다면 그게 문제가 될 수도 있다고 생각해요.
아마도 이를 완화하는 가장 좋은 방법은 표준이 되고 다양한 방식으로 리더가 될 수 있는 우수한 오픈 소스 AI를 보유하는 것입니다. 이는 단지 훨씬 더 공평하고 균형잡힌 경쟁의 장을 보장할 뿐입니다.
[1:08:19] 독점 문제
이에 대한 한 가지 비유가 있습니다. 제가 일반적으로 모바일 생태계에 대해 짜증나는 점 중 하나는 Apple과 Google이라는 두 개의 게이트 키퍼 회사가 있다는 것입니다. 이 회사는 귀하가 무엇을 구축할 수 있는지 알려줄 수 있습니다. 우리가 무언가를 만들 때 그들이 돈을 많이 가져가는 것과 같은 경제적 버전이 있습니다. 그러나 질적인 버전이 있는데, 이것이 실제로 나를 더 화나게 합니다.
우리가 기능을 출시했거나 출시하고 싶었을 때 Apple은 "아뇨, 그건 안돼요"라고 말할 때가 많이 있습니다.
정말 짜증나는 일이죠? 그렇다면 문제는 우리가 AI를 통해 그런 세상을 준비할 수 있느냐는 것입니다.
API를 제어하고 따라서 무엇을 구축할 수 있는지 알려줄 수 있는 이러한 폐쇄형 모델을 실행하는 소수의 회사를 갖게 될 것입니다.
우리 입장에서는 우리가 그런 위치에 있지 않은지 확인하기 위해 직접 모델을 구축하는 것이 가치가 있다고 말할 수 있습니다. 나는 다른 회사가 우리가 무엇을 만들 수 있는지 말하는 것을 원하지 않습니다.
