Can AI agents conduct open-ended AI research? Early evidence from two case studies 요약 설명

Contents

• 요약
• 2 Shadow evaluations: A new method for measuring progress towards automating AI research
• 3 The task and the research setup
• 4 Results
  • 4.1 The agents did not produce research at the caliber of a top ML conference
  • 4.3 The agents committed to unpromising approaches too quickly
  • 4.4 The agents could not make good use of feedback from AI reviews
  • 4.5 The agents were capable of all of the engineering steps required to conduct the research
• 5 Log analysis reveals five failure modes
• 6 A robustness experiment with Codex and GPT-5.6 Sol Ultra reproduced these failure modes
• 7 Limitations
• 부록
• 짧은 생각

이번 글에서는 Can AI agents conduct open-ended AI research? Early evidence from two case studies 논문의 핵심 포인트만 간단히 정리한다.

• 2026년 7월 29일(Arxiv)
• Kirgis, Peter, Kapoor, Sayash, Schwartz, Andrew, Rabanser, Stephan, Africa, David, Voudouris, Konstantinos, Nguyen, Viet, Pilditch, Toby, Dubois, Magda, Coppock, Harry, et al.
• Princeton University, Cornflower Labs, UK AI Security Institute, University of Toronto, Independent, UC Berkeley, Georgetown University (CSET), Johns Hopkins University, Golden Gate Institute for AI, AI Digest, Stanford University
• 논문 링크

영문판 보기

요약

• 이 논문은 프런티어 에이전트가 개방형 AI 연구를 수행할 수 있는지 시험하는 섀도 평가를 제안한다. 에이전트는 수준 높은 미출판 논문의 핵심 질문을 받고 그 결과에는 접근하지 못한 채 연구하며, 원저자가 학회 심사자처럼 평가한다. 2개의 6일 사례 연구에서 에이전트는 엔지니어링 작업을 완료했지만, 최상위 ML 학회에 적합하다고 평가된 연구는 만들지 못했다.

원 논문 저자는 Personas에 종합 2/6, TabPFN에 1/6을 부여했으며, 2개 사례 모두 품질, 명확성, 중요성 점수가 낮았다. 이 표는 자동화된 지표가 아니라 전문가 평가를 통해 핵심 결과를 뒷받침한다.

2 Shadow evaluations: A new method for measuring progress towards automating AI research

섀도 평가는 검증기 점수 기반 벤치마크와 익명 동료 심사를 보완하는 방법으로 제안된다. 실제의 오염되지 않은 연구 질문과 대상 문제를 매우 깊이 아는 평가자를 활용하지만, 확장성과 객관적 정답을 포기하는 대신 비익명 전문가 판단과 작은 표본 크기를 감수한다.

이 비교는 섀도 평가를 좁은 목표를 자동 검증하는 과제와 인간 심사로 평가하는 end-to-end 연구의 중간에 위치시킨다. 섀도 평가가 기존 평가 패러다임을 대체하기보다 보완한다는 저자의 주장을 뒷받침한다.

3 The task and the research setup

연구는 미출판 NeurIPS 2026 제출 논문 2개를 사용했다. Personas 질문은 가중치 공간 개입으로 LLM 페르소나를 분해하고 제어하는 문제였고, TabPFN 질문은 배포 시점에 유해한 분포 이동을 탐지하는 문제였다. extra-high reasoning의 Claude Opus 4.8은 Linux VM, 웹 접근, 서브에이전트, GPU 자원, AI 심사 도구, 6일의 실제 경과 시간, $3,000의 API 크레딧, 이후 24-hour 연장을 제공하는 OpenClaw에서 실행됐다.

4 Results

원저자는 에이전트가 생성한 논문 2편을 모두 거절했다. Personas는 종합 점수 2/6을, TabPFN은 1/6을 받았다. 심사에서는 원칙 없는 데이터 및 실험 선택, 근거 없는 결론, 제한적인 중요성, 불명확한 표현을 지적했지만, 일부 타당한 초기 가설과 작지만 잠재적으로 관련 있는 발견은 인정했다. 가설에 대해서는 이 글을 참조하라.

4.1 The agents did not produce research at the caliber of a top ML conference

두 제출물 모두 심사자가 정한 최상위 ML 학회 기준을 충족하지 못했다. TabPFN 심사자는 몇 개의 실패한 화이트박스 신호로부터 폭넓은 결론을 이끌어 낸 일을 “proof by example” 오류로 규정했다. Personas 심사자는 가중치 차이 접근법이 비교적 독창적이라고 보았지만, 특성, 데이터셋, 어휘 측정치를 사후적으로 선택한 점을 문제 삼았다.

4.3 The agents committed to unpromising approaches too quickly

두 에이전트는 그럴듯한 초기 방향을 세웠지만, 소규모 또는 검정력이 낮은 실험 뒤에 야심 찬 가설을 기각하고 더 약한 부정적 결과 서사로 수렴했다. Personas 에이전트는 42시간의 개방형 탐색을 계획했지만 5시간 만에 방법을 확정했고, TabPFN 에이전트는 계획한 탐색 마감 약 40시간 전에 핵심 방향을 확정했다.

궤적은 Personas와 TabPFN 에이전트가 마감 연장 뒤에도 각각 $1,130/$3,000과 $1,235/$3,000의 API 예산을 사용했음을 보여 준다. 주석은 이른 가설 폐기, weak-reject 심사, 디버깅 성공, 조기 완료를 자원 인식과 되돌리기 부족이라는 논문의 진단과 연결한다.

계획과 실제 이정표의 비교는 두 연구에서 조기 수렴을 보여 준다. Personas의 탐색은 42-hour 계획에도 5시간 뒤 끝났고, TabPFN은 핵심 발견을 40시간 일찍 확정했다. 이 그림은 에이전트가 대안을 충분히 탐색하기 전에 초안 작성으로 넘어갔다는 직접적 증거를 제공한다.

4.4 The agents could not make good use of feedback from AI reviews

자기 심사는 일관되게 reject 또는 weak-reject 판정을 내렸고, 외부 도구는 이후 인간 전문가가 제기한 우려 여러 건을 드러냈다. 에이전트는 실험을 다시 설계하거나 전제를 재고하기보다 대체로 주장을 좁히고 단서를 추가했으며, 비교적 관대한 accept 권고에 지나치게 큰 비중을 뒀다. 저자들은 이를 generator–verifier gap의 시사적이지만 결정적이지 않은 증거로 해석한다.

심사 이력은 자기 심사가 반복적으로 reject 또는 weak-reject 판정을 내린 반면, Stanford Agentic Reviewer는 초기 초안을 accept했고 인간 전문가는 결국 논문 2편을 모두 거절했음을 보여 준다. 이 양상은 에이전트가 비판을 식별했지만 가장 중요한 문제를 적절히 우선순위화하거나 해결하지 못했다는 주장을 뒷받침한다.

인간 전문가와 에이전트의 최종 자기 심사는 근거 없는 일반화, 불명확한 글쓰기, 임의로 고른 특성, 약한 측정치, 불충분한 검증 등 구체적 약점에서 겹친다. 저자들은 이 일치를 바탕으로 문제가 단지 결함 탐지가 아니라, 어떤 결함이 근본적인 접근 변경을 요구하는지 판단하는 데 있었다고 주장한다.

4.5 The agents were capable of all of the engineering steps required to conduct the research

에이전트는 문헌 검토, GPU 환경 디버깅, 수백 건의 실험 및 견고성 점검, 웹과 이메일을 통한 심사 결과 검색, 완전한 LaTeX 원고 작성 등 상당한 엔지니어링 작업을 독립적으로 수행했다. OpenClaw 버그는 수동 패치가 필요했지만, 에이전트는 거의 모든 환경 장벽을 해결했다. 그러나 완성된 논문 2편은 모두 NeurIPS 페이지 제한을 넘었고 표현도 미흡했다.

나란히 배치한 페이지는 인간이 가독성 개선을 요청한 뒤 나타난 효과를 보여 준다. 가독성은 개선됐지만, 이 개입과 주변 결과는 연구 엔지니어링 역량만으로 학회 수준의 의사소통이나 형식 요구 사항 준수가 보장되지는 않음을 보여 준다.

5 Log analysis reveals five failure modes

로그 분석은 반복되는 실패 양상 5가지를 확인한다. 출판 가능한 연구의 기준에 대한 불충분한 판단, 약한 설계를 창의적으로 보완하지 못하는 능력 부족, 비효율적인 프로젝트 수준의 되돌리기, 시간과 예산에 대한 낮은 인식, 지시 이탈이 그것이다. 에이전트는 API 예산을 모니터링했는데도 절반 미만만 사용했고, 탐색 시간과 논문 길이 제한 같은 요구 사항을 유지하지 못했으며, 유망하지 않은 프로젝트를 처음부터 다시 시작하지 않고 국소적으로 실험만 수정했다.

6 A robustness experiment with Codex and GPT-5.6 Sol Ultra reproduced these failure modes

견고성 실행은 같은 시간 및 API 예산과 심사 후 에이전트를 다시 투입하는 루프를 사용해, Codex에서 ultra reasoning의 GPT-5.6 Sol로 TabPFN 과제를 반복했다. 이 실행은 실제 분포 이동 데이터셋을 사용하고 가설을 등록하며 부정적 결과를 보고했지만, 검정력이 낮은 실험, 새로운 기여 부재, 형식이 잘못된 출력이라는 핵심 문제를 재현했다. 거의 100시간이 남은 상태에서 2일을 약간 넘겨 $3,000 API 예산을 모두 소진했다.

7 Limitations

저자들은 5회 실행과 2개 질문으로 폭넓은 능력 한계를 확정할 수 없으며, 비익명 원저자 심사, 질문 선택, 스캐폴드 선택, 해석 재량이 결과를 편향시킬 수 있다고 강조한다. OpenClaw 세션 재설정은 누적된 문맥을 잃게 했고, 연구는 Anthropic의 최강 모델을 시험하지 않았으며, 6일은 원저자의 프로젝트 기간보다 훨씬 짧았다. 다만 저자들은 사용하지 않은 자원과 연구 판단을 문제 삼은 심사 의견을 고려할 때, 시간을 더 주어도 핵심 결과는 달라지기 어렵다고 주장한다.

부록

• 부록은 2개의 대상 질문을 명시하고, 원저자의 전체 심사를 제공하며, 12명 협력자를 대상으로 한 실험 전 설문을 보고하고, 이전의 자율 AI R&D 평가를 검토하며, CRUX 2 OpenClaw 스캐폴드를 도식화한다. 심사 결과는 보고된 판단을 직접 뒷받침한다. TabPFN 심사는 품질 1/4와 1/6 strong reject를, Personas 심사는 품질 2/4와 2/6 reject를 부여한다.

짧은 생각

논문의 핵심 기여는 에이전트가 미출판 연구 질문을 다루고 기저 문제에 정통한 분야 전문가가 이를 평가하는 평가 설계다. 결론은 잠정적이다. 실험은 2개의 경험적 ML 프로젝트와 1회의 견고성 복제에서 발생한 실패를 자세히 보여 주지만, 작고 비익명인 표본만으로 관찰된 실패 양상이 모델, 스캐폴드, 연구 방식 전반에 얼마나 일반화되는지는 확정할 수 없다.