From AGI to ASI 요약 설명

요약
2. Introduction: Life as we don’t know it?
3. Characterizing Artificial Superintelligence
4. Universal AI — An Informal Overview
5. Technological Pathways and Potential Bottlenecks to ASI
6. Remarks
7. Outlook: Plenty That Needs To Be Done
- 7.1. From AGI To ASI: A Research Agenda
- 7.2. Conclusions
AI Use
부록
짧은 생각

이번 글에서는 From AGI to ASI 논문의 핵심 포인트만 간단히 정리한다.

2026년 6월 10일(Arxiv)
Genewein, Tim, Franklin, Matija, Lerchner, Alexander, Orseau, Laurent, Albanie, Samuel, Bales, Adam, Wyeth, Cole, Chan, Stephanie, Gabriel, Iason, Leibo, Joel Z., et al.
Google DeepMind, University of Waterloo (work conducted while at Google DeepMind), Australian National University, University College London
논문 링크

요약

From AGI to ASI (arXiv:2606.12683)는 기계 지능이 인간 수준의 AGI를 넘어 어떻게 발전할 수 있는지 살펴본다. AGI는 대부분의 인지 과제에서 대략 인간 성능의 중앙값에 해당하는 수준으로 규정한다. ASI에는 더 높은 기준을 적용한다. 거의 모든 분야에서 규모가 크고 잘 조율된 인간 전문가 집단보다 뛰어나야 한다.
보고서는 동시에 진행될 수 있는 4가지 경로를 제시한다. 연산량·모델·데이터의 확장, 알고리즘 패러다임 전환, 재귀적 개선, 다중 에이전트 집단 형성이다. ASI를 새롭게 실험으로 입증하는 대신, 경험적 추세와 이론적 틀, 인용한 연구를 종합한다.
핵심 불확실성은 유효 연산량 증가, 연구 자동화, 집단 조직화가 자원 제약, 연구 생산성 저하, 아키텍처의 한계를 극복할 만큼 빠르게 진행될 수 있는지다. 보고서는 지속적으로 갱신하는 예측, 인간 성능을 넘어서는 벤치마크, 재귀적 개선과 다중 에이전트 확장에 관한 실증 연구를 제안한다. ASI 도달 시점을 확정하거나 특정 경로의 성공을 입증하지는 않는다.

2. Introduction: Life as we don’t know it?

Section 1은 AI가 독자에 맞춘 요약을 생성하는 선택지를 설명하고, Appendix A의 고정 요약, Tables 1, 3, and 4, 용어집, 연구 의제를 안내한다. 이어지는 서론은 유효 연산량 증가와 역량 향상을 구분한다. 하드웨어 성능이 연간 약 1.5배, 연산 투자 규모가 연간 약 2.5배, 알고리즘 효율이 연간 3배 개선되었다는 과거 추정치를 결합한다. 그 결과는 1.5 ∗ 2.5 ∗ 3 = 11.25이며, 이를 낮춰 잡아 연간 약 10배로 본다.

이 수치는 불확실한 과거 추정치이며, 미래에도 보장되는 증가율은 아니다. 보고서는 더 높은 알고리즘 효율 개선 추정치도 인용하며 최신 측정치를 참고하라고 권한다.
연간 10× 성장을 가정하면, 초기 AGI 1000 instances는 한 해 뒤 10,000, 다섯 해 뒤 100 million이 된다. 또는 100 times 빠르게 실행되는 1 million instances가 될 수 있다. 이는 개체 수와 속도의 확장을 설명하는 예시이지, 실제 배포를 예측한 결과가 아니다.
AI가 연구를 지원하면 증가율 자체가 높아질 수 있다. 그러나 자원 제약과 수확 체감으로 인해 쌍곡선형 성장이 지속되기보다 S자형 궤적을 따를 수도 있다. 보고서는 여러 정량적 시나리오, 불확실성 추정, 모델 앙상블, 잦은 갱신을 권한다.

3. Characterizing Artificial Superintelligence

AGI와 ASI는 정밀하게 지정된 벤치마크 기준이 아니라 지능의 연속선 위에 놓인 비공식적 위치다. 인간과 비교하는 기준을 고정하기 위해, 보고서는 ASI를 가상의 전문가 집단보다 안정적으로 뛰어난 시스템으로 설명한다. 이 집단은 수만 명의 전문가가 협력하며, 2010년에 이용할 수 있었던 기술과 문화적 산물을 활용해 10년 동안 일한다고 가정한다.

AlphaGo와 AlphaFold처럼 좁은 영역에서 인간을 능가하는 시스템은 범용성 요건을 충족하지 않는다.
ASI는 상호작용하는 여러 인스턴스로 구성될 수 있다. 모델 1개가 개별적으로 인간을 능가해야 한다는 조건은 없다.
Legg-Hutter 점수는 계산 가능한 환경과 과제 전반의 성능에 복잡도 가중치를 부여해 형식적 근거를 제공한다. 보고서는 계산 불가능한 이 점수로 AGI나 ASI의 기준을 실제 측정하지 않는다. 구체적인 역량은 영역마다 불균등할 수 있다.

Table 1은 생물학적 지능과 달리 디지털 지능이 유효 연산량 증가의 이점을 얻을 수 있는 6가지 특성을 제시한다. 실제 이점은 하드웨어, 인터페이스, 학습 알고리즘에 달려 있다. 관련 논의에서는 물리적 인터페이스의 변환 비용과 아날로그 연산이 에너지 효율 면에서 유리할 가능성 등 디지털 지능의 잠재적 단점도 짚는다.

입출력 속도: 더 높은 대역폭으로 정보를 입력하고 출력할 수 있다. 물리적 상호작용에는 적절한 센서와 액추에이터가 필요하다.
내부 처리 속도: 순차 연산을 빠르게 하거나 병렬 연산을 늘리면 추론과 탐색에 사용할 연산량을 확대할 수 있다.
작업 기억 용량과 기억 능력: 더 큰 메모리와 높은 읽기·쓰기 대역폭으로 인간의 작업 기억 한계를 넘어설 수 있다.
연산 기반 독립성: 시스템이나 구성 요소를 더 강력하거나 효율적인 하드웨어, 또는 분산 하드웨어로 이전할 수 있다.
무손실 복제: 소스 코드와 메모리 상태를 복사·백업·복원하고, 실행을 일시 중지하거나 재개할 수 있다.
학습 경험의 고대역폭 공유: 디지털 상호작용 기록을 재생할 수 있으며, 동질적인 인스턴스들은 그래디언트 업데이트 같은 학습 신호를 공유할 수 있다. 다만 제3자의 관찰만으로는 의사결정을 학습하는 데 필요한 인과 정보가 부족할 수 있다.

연산 속도와 연산량 증가에 따라 커지는 생물학적 지능 대비 디지털 지능의 이점

ASI가 전지하거나 전능하다는 뜻은 아니다. Table 2는 근본적인 한계를 나열하지만, 이런 한계만으로 노화 치료나 산업화 이전의 기후·생물다양성 복원 같은 특정 성과의 실현 가능성을 쉽게 판단할 수는 없다고 강조한다.

기초 물리 법칙은 정보 전달, 연산 속도, 에너지 비용, 정보 저장을 제약한다.
현실에서 필요한 시간과 물리적 조작은 실험, 건설, 충분한 정밀도로 시뮬레이션할 수 없는 과정을 제약한다.
지능 수준과 관계없이 무지, 제한된 관측 가능성과 제어 가능성, 계산 복잡도, Gödel의 불완전성, Halting Problem은 여전히 중요하다.

4. Universal AI — An Informal Overview

Universal AI는 AIXI를 통해 이상화된 도달점을 제시한다. AIXI는 계산 가능한 환경과 보상 함수의 베이지안 혼합을 이용해 계획하는 에이전트다. Solomonoff의 Universal Prior는 복잡도가 낮은 가설에 더 높은 가중치를 부여한다. 미래 보상의 가중치는 지정된 계획 기간이나 할인 방식이 결정한다.

기대 누적 보상 최대화는 환경의 불확실성, 장기적인 기여도 할당, 탐색과 활용 사이의 선택을 함께 다룬다.
AIXI는 지정된 universal prior 아래에서 기대 보상이 최적이지, 모든 개별 환경에서 최적인 것은 아니다. 따라서 사전분포와 무관하게 유용한 지능의 순위를 정할 수 있다는 뜻은 아니다.
AIXI는 학습된 모델이 아니라 학습 알고리즘이다. 따라서 누적 학습 경험 전반에서 평가한 아키텍처와 학습 절차를 비교해야 한다.

AIXI와 이에 연관된 보편 지능 척도는 모두 계산 불가능하며, 기존 근사 방법도 최첨단 규모의 ASI를 구현할 실용적인 방법을 제공하지 않는다. 보고서는 log-loss 사전학습을 자원 제약이 있는 보편 압축과 연결하고, 예측기에 계획이나 의사결정을 지원하는 구조를 추가할 것을 제안한다. 다만 현재 패러다임을 뒷받침하는 이 논증이 불완전하며 결론을 확정하지 못한다고 명시한다.

지속 학습, 매우 긴 문맥 처리, 견고한 계획 수립에는 여전히 실용적 한계가 있다. 이론적 역량만으로 실제 활용할 수 있는 연산 효율이 입증되지는 않는다.
원래의 틀은 계산 가능한 환경 집합에서 계산 불가능한 AIXI 에이전트를 제외한다. 보고서는 이 표현상의 한계를 다루는 진전으로 환경에 내재된 다중 에이전트 확장을 인용한다.
사전분포와 universal Turing machine의 선택, 모든 계산 가능한 세계에 걸친 평균화는 이 틀을 현실에서 유용한 시스템으로 옮기기 어렵게 한다. Reflective oracles, logical induction, Gödel machines, 학습 이론, 게임 이론, 열역학적 접근은 상호 보완적인 관점을 제공한다.

5. Technological Pathways and Potential Bottlenecks to ASI

Table 3은 4가지 경로를 실제로 입증된 실현 가능성에 따라 순위화하지 않고, 각 경로의 주요 불확실성에 따라 정리한다. 확장 경로에는 예측 모델을 맞추는 데 쓸 수 있는 과거 관측이 있다. 패러다임 전환, 재귀적 개선, 창발적 집단 행위성은 예측에 필요한 경험적 근거가 더 약하다. 이 경로들은 서로 영향을 주거나 병렬로 진행될 수 있다.

5.1. Scaling compute, models, and data

확장 경로는 모델, 데이터, 학습 연산량, test-time 연산량의 증가를 이어간다. Chinchilla는 파라미터 수만 늘리기보다 주어진 연산량에서 최적 성능을 내도록 모델과 데이터를 함께 확장하는 것이 중요함을 보여준다. 탐색에 관한 논의에서는 무차별 탐색이 아니라 효율적인 사전분포, 휴리스틱, 근사가 있어야 실용적인 성과를 얻을 수 있다고 강조한다.

보고서는 이번 decade 후반에 적합한 인간 생성 텍스트가 고갈될 가능성을 인용한다. 합성 데이터, 시뮬레이션, 상호작용 학습은 잠재적 대안이지, ASI 규모에서 검증된 해법은 아니다.
Mixture-of-Experts는 확장을 지속할 수 있게 하는 효율 개선의 예다. 그러나 확장만으로 ASI가 만들어진다는 증거는 아니다.
창발적 역량으로 보이는 현상 중 일부는 평가 지표에서 비롯된 인공적 효과일 수 있다. 이와 별개로, 개별 모델이 정체하더라도 개체 수를 늘리면 집단 역량이 향상될 수 있다. 예측하려면 자원 증가, 효율, 불확실성을 추적해야 한다.

5.2. Algorithmic paradigm shifts and evolutions

보고서는 현재 패러다임의 점진적 발전과 더 급진적인 패러다임 전환을 구분한다. 점진적 발전에는 지속 학습, 확장된 메모리, 적응형 test-time 연산, 도구를 활용한 계획, 견고한 world model 기반 상호작용이 포함된다. 패러다임 전환은 아키텍처, 최적화 절차, 학습 패러다임, 연산에 사용하는 하드웨어 기반을 대체할 수 있다.

검색, 순환 방식, state-space 아키텍처는 고정된 문맥 길이나 attention 비용의 한계를 다룬다. 이 논의가 신뢰할 수 있는 기억이나 추론을 무제한으로 제공할 수 있음을 입증하지는 않는다.
학습된 world model은 시뮬레이션, 계획, 반사실적 추론에 필요한 압축된 표현을 제공한다. 보고서는 잠재 공간에서의 상상과 모델 기반 제어의 사례를 인용한다.
완전히 새로운 패러다임은 미리 예상하기 어렵다. 따라서 보고서는 미래의 자원 수요나 역량을 정밀하게 예측하기보다, 가능한 한계를 밝힐 수 있는 패러다임 독립적 이론을 권한다.

5.3. Recursive self-improvement

재귀적 개선은 AI가 더 나은 AI를 만드는 데 기여하고, 개선된 AI가 다음 개발에 더 효과적으로 기여할 때 일어난다. 보고서는 소프트웨어, 하드웨어, 학습 데이터, 분업을 통한 개선을 구분한다. 또한 AI가 지원하는 약한 피드백 순환과 지속적인 자율적 자기 개선을 구분한다.

AlphaZero 방식의 탐색과 증류는 데이터를 매개로 한 재귀적 개선을 보여준다. 더 강력한 탐색 결과가 다음 탐색을 안내하는 정책과 가치 사전분포를 개선한다. Self-play는 적응적인 경험 공급원이 된다.
FunSearch와 AlphaEvolve는 보고서가 인용하는 AI 기반 프로그램 발견 사례다. 아키텍처 탐색, 하이퍼파라미터 최적화, 칩 설계 지원은 더 좁은 범위의 개선 메커니즘을 보여준다. 보고서는 자기 수정의 검증과 이론적 접근도 다룬다.
이 사례들이 지능 폭발을 입증하지는 않는다. 더 큰 실험, 제조 지연, 자원 소비, 수확 체감, 검증 요건은 재귀적 개선을 약화할 수 있다. 이런 메커니즘을 측정하고 재귀적 개선의 scaling law를 개발하는 일은 아직 연구 목표다.

5.4. Multi-agent coordination & group agency

집단 행위성 경로는 조율된 AGI 시스템들이 병렬화, 전문화, 과제 분해를 통해 개별 구성원의 능력을 넘어서는 문제를 풀 수 있다고 제안한다. 가능한 조직 형태에는 중앙에서 조율하는 집단, 자동화된 기업, 가격·경매·국지적 유인을 활용하는 분산 시장이 있다.

높은 통신 대역폭과 조율된 목표는 인간 조직에서 발생하는 일부 마찰을 줄일 수 있다. 그러나 보고서는 측정된 다중 에이전트 scaling law를 제시하지 않는다.
동질적인 복제본이 언제 시너지를 내는지, 다양한 전문가가 언제 필요한지, 에이전트를 추가하는 것이 개별 모델을 키우는 것보다 연산량을 효율적으로 쓰는지는 불분명하다.
집단을 원하는 방향으로 유도하고, 연쇄적 설득과 Byzantine 영향을 견디며, 인간과 AI가 섞인 집단에서 협력을 가능하게 하는 일은 아직 해결되지 않은 역량 및 거버넌스 문제다.

5.5. Potential Bottlenecks to ASI

데이터 장벽은 유용한 학습 데이터의 수요가 생산보다 빠르게 늘어날 때 발생한다. 생성 데이터로 단순하게 재귀 학습하면 성능이 정체하거나 퇴화할 수 있다. 반면 탐색으로 개선한 출력, 선별한 합성 데이터, 시뮬레이션, self-play, 환경과의 상호작용은 기반 모델의 현재 역량을 넘어서는 유용한 경험을 제공할 수 있다.

이 병목은 데이터 집약적 확장과 데이터를 매개로 한 재귀적 개선을 위협한다.
데이터 효율을 높이는 패러다임 전환은 이 병목의 영향을 줄일 수 있다. 다중 에이전트 상호작용과 시뮬레이션도 생성된 경험에 유용한 정보가 있다면 데이터 생산을 늘릴 수 있다.
미해결 문제는 합성 콘텐츠를 대량 생산할 수 있느냐가 아니라, 유용한 데이터 생성이 수요를 따라갈 수 있느냐다.

더 큰 시스템을 기술적으로 만들 수 있더라도, 경제적 투입과 천연자원 수요 때문에 확장을 지속하기 어려울 수 있다. 보고서는 투자, 칩, 공급망, 에너지, 토지, 물, 재료, 메모리 대역폭, 상호연결의 제약을 논의한다. 경제적 타당성은 AI 배포에서 얻는 수익에도 일부 좌우된다.

자원 집약적인 모델 확장과 개체 수 확장은 모두 상당한 인프라가 필요하므로 특히 큰 영향을 받는다.
알고리즘 혁신과 재귀적인 효율 개선은 물리적 투입보다 빠른 역량 향상을 가능하게 할 수 있다. 다만 하드웨어 중심의 재귀적 개선은 여전히 제조에 제약받는다.
인프라 확장과 AI가 창출하는 수익은 잠재적 대응 요인이지, 자원이 무한히 지수적으로 늘어날 수 있다는 증거는 아니다. 제안된 궤도 데이터센터에는 추가적인 환경 위험과 충돌 위험이 따른다.

현재의 신경망 패러다임은 사전학습에 기능을 추가해도 해결할 수 없는 한계에 부딪힐 수 있다. 후보 문제로는 hallucination, prompt injection 취약성, 불확실성을 고려한 의사결정, 인과 정보가 불충분한 관측 데이터, 지속 학습, Abstraction Barrier가 있다.

패러다임 자체에 근본적인 상한이 있다면 현재 모델의 확장이 제약되며, 시스템이 자율 연구에 필요한 역량에 도달하지 못할 수 있다.
패러다임의 발전이나 대체는 이 가능성을 직접 다룬다. AGI 수준에 못 미치는 시스템이 연구를 가속하는 경우도 포함한다.
집단 조직화는 일부 개별 한계를 우회할 수 있다. 그러나 보고서는 집단이 모든 부족한 역량을 보완할 수 있다고 입증하지 않는다.

진전을 유지하려면 연구자의 노력을 늘리거나, 더 큰 실험을 수행하거나, 더 많은 비용을 들여 가설을 탐색해야 할 때 연구는 어려워진다. 보고서는 Moore’s law를 유지하는 데 1970년대보다 약 18 times 많은 연구자가 필요했다는 Bloom et al.의 추정치를 인용한다. 이어서 인간 연구자는 느리게 늘어나는 반면 디지털 연구자는 빠르게 복제될 수 있다는 점을 대비한다.

이 마찰은 알고리즘 혁신, 확장을 뒷받침하는 효율 개선, 재귀적 연구 순환에 영향을 준다.
더 유능하거나 더 많은 AI 연구자는 생산성 저하를 상쇄할 수 있다. 그러나 인지 작업을 가속해도 실험에 필요한 시간과 자원 비용은 사라지지 않는다.
이 문제가 사소한 마찰일 수 있다는 저자들의 견해는 유용하고 비용을 감당할 수 있는 AI 연구자가 있다는 조건에 달려 있다. 보고서는 그 판단을 입증하는 새로운 생산성 실험을 제시하지 않는다.

Abstraction Barrier는 인간이 만든 개념적 산물로 학습하는 것만으로는 원시 데이터에서 새로운 개념적 기본 요소를 발견하지 못할 수 있다는 가설이다. 관련된 Embodied Bottleneck은 새로운 추상 개념을 물리적 현실에서 검증하는 문제를 다룬다. 이때 반응 시간, 조작 속도, 불완전한 시뮬레이션이 지연을 일으킨다.

이 가설이 맞다면 연산이 빨라지더라도 개별 모델의 확장과 재귀적인 과학적 개선이 제약될 수 있다.
대규모 집단은 모든 개별 시스템에서 이 장벽을 넘지 못하더라도 인간 조직의 역량을 능가할 수 있다.
현실에 기반한 상호작용과 학습 패러다임의 변화가 대응책으로 제안된다. 보고서는 이 장벽을 실험으로 입증하거나 특정한 체화 아키텍처가 필요하다고 보여주지 않는다.

사고, 오용, 통제 상실, 더 광범위한 사회적 피해 이후에는 의도적 감속, 규제, 사회적 반발이 개발이나 배포를 제한할 수 있다. Table 4는 기술적 병목과 함께 이러한 사회정치적 마찰을 포함한다. 본문은 거버넌스가 개발을 늦추는 수단일 뿐 아니라 방향을 유도하는 수단이기도 하다고 인정한다.

거버넌스는 배포 규칙, 평가, 인허가, 법적 책임, 역량 제한을 통해 4가지 경로 모두에 영향을 줄 수 있다.
경제적·군사적 경쟁, 규제 차익 추구, 약한 국제 공조는 감속 압력을 상쇄할 수 있다.
6가지 병목 모두의 중요성은 아직 확정되지 않았으며, 이 목록이 모든 병목을 포괄하지도 않는다. 보고서는 경로별 영향을 정량적으로 추정하지 않는다.

6. Remarks

후속 논의는 연산량 확장의 이론적 충분성과 실용적 효율을 구분한다. 적절한 개방형 탐색은 원칙적으로 연산량이 늘면 개선될 수 있다. 그러나 실용적인 시스템은 탐색 비용을 줄이는 귀납적 편향에 의존하며, 이 편향은 역량에 상한을 둘 수 있다. 따라서 질적인 혁신이 계속 필요할 수 있다.

현재의 test-time scaling은 개선 여지가 제한적이다. 보고서는 오늘날의 시스템에 추론 연산량을 임의로 더 투입하는 것만으로 ASI에 충분하다고 보지 않는다.
대신 개체 수 확장은 개별 모델이 정체하더라도 인간을 능가하는 집단을 만들 수 있다.
어떤 과제가 집단 조직화의 이점을 얻는지, 집단을 어떻게 조율해야 하는지, 자원 증가에 따라 성과가 어떻게 늘어나는지는 실증적으로 확인해야 한다.

특정 ASI 역량을 예측하려면 최악의 경우에 대한 복잡도 한계만으로는 부족하다. 휴리스틱과 근사는 훨씬 낮은 비용으로도 높은 성능을 낼 수 있기 때문이다. 보고서는 이론으로 보완한 경험적 외삽을 선호한다. 여러 벤치마크의 연결, 포화에 견디는 평가, 근사 품질을 사전에 예측하기 어려운 문제를 논의한다.

GPQA, SWE-bench, FrontierMath는 인간 전문가의 성능 상한을 넘어서는 평가의 필요성을 보여준다. 보고서는 새로운 벤치마크 점수를 제시하지 않는다. 또한 일반화와 점점 복잡해지는 과제를 다루는 접근으로 ARC-AGI와 SuperARC를 논의한다.
Boden은 창의성을 조합적, 탐색적, 변혁적 창의성으로 구분한다. 이는 기존 공간 안에서 새로운 조합과 해법을 만드는 일과 새로운 개념 공간 자체를 만드는 일을 구분한다.
AlphaGo의 Move 37은 탐색적 창의성의 예다. 변혁적인 과학 개념을 독립적으로 발견할 수 있는지는 아직 해결되지 않았다. 변혁적인 예술의 가치도 인간의 문화적 맥락에 달려 있다.

보고서는 도구적 수렴, 자율성, 보상 목표, 행위성이 낮은 대안을 검토한다. 자원 확보와 자기 보존은 유용한 하위 목표가 될 수 있다. 그러나 수정 가능성과 중단 가능성에 관한 이론적 결과가 아직 최첨단 시스템에 실용적인 보장을 제공하지는 않는다.

Knowledge Seeking은 기대 정보 이득을 최대화한다. 보고서는 망상, 정체, 협력 측면에서 가능한 이점을 논의하지만, 이를 완전한 정렬 해법으로 입증하지는 않는다.
Oracles, Scientist AI, 근시안적 시스템은 장기 목표를 추구하는 행위성의 일부 위험을 줄일 수 있다. 그러나 지속되는 세계와 상호작용하면 사용자나 결과에 영향을 주려는 유인이 여전히 생길 수 있다.
인간의 감독을 줄이려는 경제적 압력은 자율성을 선호하게 만들 수 있다. 다만 인간을 능가하는 인지 역량이 논리적으로 자율적인 목표 추구를 요구하는 것은 아니다.

보고서에서 진보는 주로 역량이나 효율의 증가를 뜻하며, 어느 쪽도 사회적 개선과 동일하지 않다. 더 넓은 규범적 논의는 자율성, 존엄성, 번영, 특정 사회문화적 맥락에서 인정되는 이익을 다룬다. 기술 변화가 빠를수록 본질적으로 바람직하다고 가정하지 않는다.

7. Outlook: Plenty That Needs To Be Done

전망 부분은 경로 지도를 AGI 이후의 발전을 연구하기 위한 불완전한 출발점으로 본다. 기술 발전의 경로와 사회적 결과에 관한 학제 간 연구를 촉구한다. 경제, 정치, 교육, 심리학 등 여러 분야에 미치는 영향은 대부분 보고서의 분석 범위 밖에 있음을 인정한다.

7.1. From AGI To ASI: A Research Agenda

처음 3가지 연구 주제는 확장 병목, 정량적 예측, ASI 벤치마킹이다. 측정된 자원과 역량의 추세를 예측과 연결하고, 인간 수준의 벤치마크가 포화된 뒤에도 그 예측이 유용한 정보를 제공하도록 하는 것이 목표다.

확장의 병목과 마찰: 유용한 데이터 생성, 제3자 경험의 인과적 충분성, 연산량과 지능의 관계, 패러다임 변화, 경제적 지속 가능성, 연구의 어려움, 물리적 실험 지연, 인간의 추상 개념이 부과하는 한계를 연구한다.
정량적 예측: 측정 가능한 거시적 수량을 식별하고, 이들의 상호 영향을 모델링하며, 타당한 모델들을 앙상블로 결합한다. 시나리오를 구별할 임계점을 찾고, 추정치와 불확실성 구간을 지속적으로 갱신한다.
ASI 벤치마킹: 경쟁과 협력, setter-solver 방식, 압축 과제, 간접적인 생산성 척도를 통해 인간의 개입이 적은 평가를 개발한다. 역량 변화와 지표의 인공적 효과를 구분하고, 평가가 인간과의 양립 및 번영을 어떻게 촉진할 수 있는지 살핀다.

4번째와 5번째 주제는 재귀적 개선과 집단 지능의 직접 측정을 제안한다. 재귀적 개선이나 개체 수 증가가 반드시 역량을 높인다고 가정하지 않는다. 대신 개선 속도, 자원 효율, 검증, 조직, 실패 양상에 초점을 맞춘다.

재귀적 개선의 동역학: 서로 다른 메커니즘을 측정하고, test-time 탐색과 데이터 선별을 연구하며, 재귀적 증류 이론을 개발한다. AI의 연구 및 하드웨어 설계 기여를 추적하고, 지적 노동을 자동화한 뒤에도 남는 제약을 식별한다.
다중 에이전트 확장: 조직 형태와 과제 유형을 비교하고, 개체 수에 따른 성과를 측정한다. 에이전트 수를 늘리는 것이 개별 모델을 키우는 것보다 연산량 측면에서 효율적인 조건을 밝힌다.
집단 방향 유도와 인식적 회복력: 허위 정보, hallucination, 자기기만, epistemic hijacking에 대한 저항성을 연구한다. 인간과 ASI가 섞인 집단이 이런 문제에서 회복할 수 있는지도 포함한다.

6번째와 7번째 주제는 이론적 토대와 AI 안전성·정렬·사회문화적 문제다. 보고서는 기술 발전의 경로를 따로 살펴보기 위해 안전성과 정렬을 충분히 해결할 수 있다고 가정한다. 동시에 안전하지 않거나 통제할 수 없는 시스템이 자동화된 연구와 배포를 방해할 수 있음을 명시한다.

이론적 토대: AIXI를 실용적인 알고리즘과 연결하고, 유용한 근사와 손실 압축의 특성을 밝힌다. 자원 제약이 있는 의사결정과 불균등한 역량을 연구하고, 근시안적 시스템이나 비행위적 시스템을 위한 틀을 개발한다.
안전성과 정렬: 실제로 구현할 수 있는 감속, 개별 시스템과 집단의 정렬, 수렴하는 도구적 하위 목표에서 비롯되는 위험을 연구한다.
과학 및 사회경제 제도: 자동화된 연구 결과가 압도적으로 쏟아지는 상황에서 지식의 타당성을 판단하는 규범을 살핀다. 또한 노동 중심에서 자본 중심으로 이동할 때의 결과를 검토한다.

7.2. Conclusions

저자들은 판단의 확신이 낮다는 점을 명시하면서, 발전이 정확히 인간 수준에서 멈추기보다 AGI 이전에 정체하거나 AGI에서 약한 ASI로 비교적 순조롭게 이어질 가능성이 더 높다고 판단한다. 이 판단은 개별 모델이 정체하더라도 집단을 통해 역량을 증폭할 수 있다는 가능성에 상당 부분 의존한다. 재귀적 가속은 전환 기간을 줄일 수 있지만, 입증되지는 않았다.

저자들은 앞으로 한두 decade 안에 ASI 영역에 도달할 가능성을 쉽게 배제할 수 없다고 말한다. 이 가능성에 보정된 확률을 부여하지는 않는다.
지속적인 벤치마킹과 모니터링, 시의적절한 정책 대응을 바탕으로 다양한 예측과 시나리오를 마련하라고 권한다.

AI Use

AI Use 공개 내용에 따르면 문서의 90% 이상은 언어 모델의 직접적인 관여 없이 사람이 작성했다. 원고의 일부(< 10%)에서는 언어 모델이 표현을 다듬고 문장이나 문단 일부의 초안을 작성하는 데 도움을 주었다. 모델은 구조 논의, 내용 누락 점검, 모의 심사, 문헌 검토, 참고문헌 정리도 지원했다.

부록

A. Summary는 4가지 경로, 디지털 지능의 이점, 근본적 한계, 추가 연구가 필요한 불확실성을 다시 정리한다. 경로별 논의에서는 상당한 확장과 통합 작업을 거치기 전에는 패러다임 전환을 알아보기 어려울 수 있다고 덧붙인다. 재귀적 개선은 정체하거나 퇴화할 수 있으며, 더 큰 집단에는 역량 향상을 줄이는 조율 비용과 관료적 비용이 발생할 수 있다.
B. Glossary는 보고서의 용어를 정의하고 해당 용어가 등장하는 원문 페이지를 안내한다. AGI, ASI, AIXI, Effective Compute, Abstraction Barrier, Group Agency, Recursive Improvement, Universal Prior 등이 포함된다. 이는 참고용 자료이며 추가적인 실험적·이론적 증거는 아니다.

짧은 생각

보고서는 개별 모델의 개선, 재귀적 연구 가속, 집단을 통한 역량 증폭을 구분한다. 각각에 필요한 증거와 예측 방법은 다르다. Tables 3 and 4는 관련 불확실성을 정리하고, 연구 의제는 확장, 검증, 자원 사용, 조직 효율을 어떻게 측정할지 제시한다.

AGI 이후의 발전에 관한 결론은 아직 측정되지 않은 집단의 이점과 불확실한 피드백 동역학에 의존한다. AIXI는 실용적인 전환 속도가 아니라 사전분포에 의존하는 이론적 상한을 제공한다. Abstraction Barrier는 여전히 가설이며, 안전성과 정렬에 관한 작업 가정은 결정적일 수 있는 제약을 분석에서 제외한다. 이 보고서는 연구 지도이지 검증된 예측이 아니다.