- 자연어 기반인 거대 언어 모델(LLM)은 ‘확률적’이며, ‘모든 디테일을 생성’해야하는 구조를 지님
- AI가 실질적으로 현실에 더욱 적용되려면 세상에 대한 이해가 필요 -> 세상에 존재하는 것들에 대한 ‘나름의’ 해석과 대응이 필요
- LLM을 기반으로 진행하기에는 연산적 비효율이 천문학적으로 증가: 모든 디테일을 하나씩 구현하며 계산해야하는 한계에 봉착
- 이를 해결하고자 하는 것이 ‘세계 모델(World Model)’
- 사람이 어떤 대상을 이해하기 위해 모든 디테일이 필요하지 않듯(=개를 떠올리면 개의 털 한올한올과 생김새를 떠올리지 않듯), AI도 개념에 대한 추상화 및 직관적 이해가 가능할 것이라는 전제
- 데이터를 때려박고 모든 것을 학습시켜 높은 성공 확률의 결과물을 내는 LLM과는 달리, 더럽혀진(corrupted) 데이터를 주고 이를 고치는 작업을 기반으로 학습
- 추상화 작업이 성공적으로 이뤄진다면, LLM에 비해 훨씬 더 효율적인 연산과 결과물 형성이 가능
- 효과적인 AI의 ‘심장’이 세계 모델이 될 것이며, 이에 대한 구현과 디테일을 잡는 것이 ‘LLM’이 되는 것
- 메타(Meta)가 현재 올인하고 있는 것이 바로 이 부분이며, 현재 OpenAI도 최근 연구 시작
원문: What If We Are All Wrong About AI? – The contrarian bet by Meta, in plain English