LLM의 한계

Scaling is not enough

현재 LLM의 규모만 더 키우면 결국에 인간과 비슷한 수준의 AI가 탄생할 것이라는 주장을 단 한 순간도 믿어본 적이 없다 얀 르쿤

1. 현재 LLM은 토큰화가 필수

• 토큰화는 discrete하고 low-dimensional인 텍스트 데이터에는 잘 적용된다
• 하지만 continuous 하고 high-dimensional 시그널인 비디오에는 접목되지 않는다.

2. LLM 구조상 한정적인 추론만 가능

• Abstract latent variables를 포함하지 않는 모델의 특성상→ 사람처럼 고맥락의 행동을 할 수 없다고 주장(과거에 대한 기억이 없으니까)(2) 그리고 그 바탕으로 optimal course of action을 찾아 수행할 여지가 없음
• (1) perception에 대한 다양하고 다채로운 해석을
• → short-term memory에 해당하는 부분이 없어서 한정적인 정보 만으로 다음 상황을 예측해야함

강화 학습의 한계

Reward is not enough

강화학습 방식을 사용하려면 모델에게 간단한 작업만 학습시킨다 해도 방대한 데이터가 필요하다. 나는 그런 방식은 성공 가능성이 없다고 생각한다. 얀 르쿤

1. 스칼라 리워드로는 한정적인 정보만 제공되고, 이는 ‘과다한’ 실패로 이어진다

숫자로 정의되는 리워드들은 한정적이다 → 세상은 숫자만으로는 표현 불가능한데 명확히 판단되지 않는 상황이 너무 많다

• Intrinsic cost module이 환경 그 자체가 되고, 그 말은 unknown function 이라는 말이다.
• Model-free RL은 인간/동물 대비 대단히 비효율적이다 → 모든 경우의 수를 다 경험해야한다
• Model-based는 그나마 낫지만 World Model을 훈련하기에는 reward로는 부족하다

결론

결국 AGI를 만들기 위해서는 뇌 구조도 인간과 유사해야하고 훈련 방식도 인간과 유사해야한다.

“위와 같은 얀 르쿤의 아이디어가 딥러닝 커뮤니티에서 나온 것은 처음이다” ”LLM은 실제로 중요한 부분은 세계에 대한 내부 모델과 기억력이 부족하다” Santa Fe 연구소, 멜라니 미셸

반대 입장

“르쿤의 제안에서 언어가 완전히 배제된 것은 이상하다; 우리는 LLM이 매우 효과적이며 수많은 인간의 지식을 활용한다는 사실을 알고 있다” ”인간이 무언가를 배울 때 직접적인 경험이 꼭 필요한 것은 아니다, 우리는 뜨거운 냄비를 직접 만지지 않더라도 그렇게 하지 말라는 말만 듣고 행동을 고칠 수 있으며 언어가 없다면 얀이 제안하는 이 세계모델을 어떻게 업데이트할 수 있겠는가? 구글 브레인, 나타샤 자크

Reference

[AI인사이트] AI계의 사대천왕 얀 르쿤! 딥러닝 외길만 40년을 걸어온 그가 이제 와서 지금의 연구가 잘못 됐다는데.. 과연 그가 제안하는 AGI(일반인공지능)로 가는 길은?

AGI로 가는 길에 LLM의 한계와 강화학습의 한계