https://the-decoder.com/deepmind-proves-robust-ai-adaptation-requires-learning-causal-models-under-the-hood/
https://openreview.net/pdf?id=pOoKI3ouv1

연구자들은 인공 지능이 새로운 환경에 강력하게 적응하려면 인과 관계 모델을 학습해야 한다는 사실을 보여줍니다.


인과 관계를 학습하는 것은 인간의 인지에 있어 근본적인 역할을 합니다. 그렇다면 인과 관계 추론 없이 인간 수준의 AI는 불가능할까요? 최근 인과 모델을 명시적으로 학습하지 않고도 다양한 환경과 작업에 적응할 수 있는 AI 에이전트와 모델의 발전은 이러한 관점에 도전합니다.


하지만 Google DeepMind의 연구원들은 이제 변화하는 조건에 강력하게 적응할 수 있는 AI 시스템은 명시적이지 않더라도 데이터와 그 관계에 대한 인과 모델을 반드시 학습해야 한다는 것을 수학적으로 증명했습니다.


연구팀은 AI 에이전트가 목표를 달성하기 위해 전략(정책)을 선택해야 하는 의사 결정 작업을 살펴봤습니다. 예를 들어 환자 데이터를 기반으로 진단을 내려야 하는 분류 시스템을 들 수 있습니다.


연구진은 예를 들어 에이전트가 다른 환자 그룹이 있는 새로운 병원으로 이동하는 등 데이터의 분포가 바뀌면(분포 이동) 에이전트는 전략을 조정해야 한다는 것을 보여주었습니다.


에이전트가 데이터에 어떤 변화가 발생하더라도 최소한의 손실로 이를 수행할 수 있다면 수학적 추론에 따라 관련 변수 간의 관계에 대한 인과 모델을 학습한 것이 틀림없습니다. 적응력이 좋을수록 인과 관계 모델이 더 정확해집니다.


인과 관계 모델의 명시적 학습과의 차이점은 학습에 사용된 방법에 관계없이 AI가 이러한 모델을 학습한다는 점입니다. 따라서 훈련된 시스템에는 인과 관계에 대한 지식이 포함됩니다.


연구진은 이 논문에서 제시된 정리에서 두 가지 결론을 도출했습니다:

1. 최적의 정책은 모든 인과 관계와 연관 관계를 인코딩합니다.
2. 도메인 변화에 따른 일반화를 학습하는 것은 데이터의 인과 모델을 학습하는 것과 같으며, 표면적으로는 개념적으로 구분되는 프로세스 문제를 생성하는 것과 같습니다.

인과적 모델로 새로운 능력을 설명할 수 있습니다.


예를 들어, 이 결과는 AI가 소위 신흥 능력을 개발하는 방법을 설명할 수 있습니다: 인공지능은 다양한 작업을 학습함으로써 세상에 대한 인과 모델을 학습하고 이를 유연하게 적용할 수 있습니다. 그러나 연구팀에 따르면 이를 위해서는 학습 데이터에서 인과 모델을 인식할 수 있어야 합니다.

"The question is then if current methods and training schemes are sufficient for learning causal world models. Early results suggest that transformer models can learn world models capable of out-of-distribution prediction. While foundation models are capable of achieving state of the art accuracy on causal reasoning benchmarks, how they achieve this (and if it constitutes bona fide causal reasoning) is debated."


From the paper

"그렇다면 현재의 방법과 훈련 체계가 인과 관계 세계 모델을 학습하기에 충분한지 의문이 듭니다. 초기 연구 결과에 따르면 트랜스포머 모델은 분포 외 예측이 가능한 세계 모델을 학습할 수 있습니다. 기초 모델은 인과 추론 벤치마크에서 최첨단 정확도를 달성할 수 있지만, 이를 달성하는 방법(그리고 그것이 진정한 인과 추론에 해당하는지 여부)은 논쟁의 여지가 있습니다."


논문에서 발췌


저자들은 자신들의 연구가 일반 지능에서 인과관계의 역할을 이해하는 데 한 걸음 더 나아간 것으로 보고 있습니다. 인과적 추론은 인간 지능의 기초이며 인간과 유사한 AI에 필요할 수 있습니다. 일부 AI 시스템은 명시적인 인과 관계 모델링 없이도 잘 작동하지만, 이 연구는 강력한 의사 결정을 위해서는 훈련 방법이나 아키텍처에 관계없이 모든 시스템이 데이터의 인과 관계 모델을 학습해야 한다는 것을 보여줍니다. 이 모델을 통해 각 목표에 맞는 최적의 전략을 찾을 수 있습니다. 이 결과는 인과성과 일반 지능 사이의 깊은 연관성을 지적하며 인과적 세계 모델이 강력하고 다재다능한 AI의 필수 구성 요소임을 보여줍니다.