AI 시대, 과학은 다시 연금술이 되는가?

이 글의 출발점 — AI가 과학을 연금술처럼 만들고 있다는 비평은 매력적입니다. 그러나 그 비유가 유효하려면 무엇이 연금술적이고, 무엇이 과학적인지부터 분명히 해야 합니다.

몇 가지 연구 아이디어를 AI에 물어봅니다. 제안된 방법을 조합하고 코드를 실행하고, 결과가 기대에 미치지 못하면 다시 질문합니다. 어느 순간 성능이 좋아집니다. 이제 왜 좋은 결과가 나왔는지 설명해 달라고 하면 AI는 그럴듯한 이론과 논문의 구조까지 제안합니다.

이 과정에서 연구자는 실제로 무엇을 발견한 것일까요? 그리고 무엇을 알게 된 것일까요?

저는 이 질문이 앞으로 AI 기반 연구를 평가할 때 점점 중요해질 것이라고 생각합니다.

연금술이라는 비유의 정확한 의미

2017년 NIPS에서 Ali Rahimi는 머신러닝의 경험적 성공과 그 성공을 설명하는 엄밀한 지식 사이의 간극을 문제 삼았습니다. 연금술 비유의 핵심은 잘 작동하는 시스템을 만드는 능력과 그 시스템에 대한 검증 가능한 이해를 구분하라는 요구로 볼 수 있습니다. [1]

그러나 시행착오 자체가 연금술을 뜻하지는 않습니다. 과학에서도 탐색적 실험은 중요합니다. 모든 발견이 처음부터 완성된 이론에서 출발하는 것도 아닙니다. 연금술의 역사 역시 단순한 무지의 역사로 환원할 수 없습니다.

문제는 성공한 결과를 찾는 과정과 그 결과를 정당화하는 과정이 서로를 견제하지 못할 때입니다. 연구는 과학적인 외형을 갖추고도 오류를 제대로 걸러내지 못할 수 있습니다.

특히 생성형 AI는 아이디어뿐 아니라 근거처럼 보이는 설명도 손쉽게 만들어 줍니다. 연구자가 이해하지 못한 방법의 성과에 대해 매끄러운 사후 설명이 먼저 도착할 수 있는 것입니다.

발견의 비용과 정당화의 비용

과학 연구의 과정을 단순화하면 두 질문으로 나눌 수 있습니다.

발견: 어떤 가설과 방법을 탐색할 것인가?
정당화: 그 결과를 어떤 근거로 신뢰하고, 어디까지 일반화할 수 있는가?

AI는 첫 번째 과정의 비용을 크게 낮출 잠재력이 있습니다. 연구 주제를 제안하고, 여러 구현을 병렬로 실험하고, 실패한 방법을 수정하는 작업이 빨라집니다.

하지만 두 번째 과정의 비용이 같은 속도로 줄어드는지는 별개의 문제입니다. 새로운 데이터, 독립적인 실험, 반증 가능한 예측, 분석 선택에 관한 기록은 여전히 필요합니다. 분야에 따라서는 검증 자체도 자동화할 수 있지만, 그 자동화가 또 다른 검증의 문제를 낳을 수도 있습니다.

여기에서 하나의 가설이 나옵니다.

AI가 생성하는 지식 후보의 양이 이를 검증하는 역량보다 빠르게 증가한다면, 과학의 병목은 발견에서 검증으로 이동할 수 있습니다.

이때 늘어나는 것은 반드시 지식이 아닙니다. 검증을 기다리는 가설과 설명, 즉 지식의 후보들입니다. 이러한 부담을 잠정적으로 **검증 부채(validation debt)**라고 부를 수 있을지 생각해 보고 싶습니다. 이것은 이 글의 분석적 제안이지, 새 현상이 이미 실증적으로 입증되었다는 뜻은 아닙니다.

두 개의 서로 다른 미래

AI가 발전할수록 두 상황이 모두 가능해집니다.

첫 번째는 새로운 연금술입니다. AI가 가설을 만들고, 실험 결과를 해석하고, 그 결과에 맞는 설명을 다시 구성합니다. 실패한 탐색 경로나 배제된 가설은 기록에서 사라지고, 최종 논문은 처음부터 일관된 계획으로 발견이 이루어진 것처럼 보일 수 있습니다. 과학적 글쓰기의 완성도가 증거의 강도를 대신하는 위험입니다.

두 번째는 새로운 과학적 패러다임입니다. AI가 인간 혼자서는 탐색하기 어려운 가설 공간을 다루고, 독립적인 검증 체계가 이를 지속적으로 반박하거나 확증합니다. 그 결과 인간에게 직관적이지 않은 모형도 새로운 예측과 개입의 가능성을 제공할 수 있습니다.

후자를 단순한 상상이라고 볼 필요는 없습니다. Robot Scientist ‘Adam’은 이미 2009년에 가설 생성과 실험 자동화를 연구 대상으로 제시했습니다. [2] 그러나 자동화가 곧 새로운 과학철학의 성립을 의미하지는 않습니다.

과학이 실제로 변하는 순간은 도구가 등장하는 시점만이 아니라, 무엇을 검증된 발견으로 인정할지에 대한 공동체의 규칙이 변할 때일 것입니다.

무엇을 확인해야 하는가

이 생각이 단순한 선언에 머무르지 않으려면 다음 질문을 경험적으로 검토해야 합니다.

AI가 제안하는 가설 수가 증가할 때, 독립적으로 재현되는 발견도 같은 비율로 늘어날까요?
AI가 생성한 설명은 사전에 설정한 예측을 통과할까요, 아니면 성공한 결과를 뒤늦게 설명하는 데 더 유리할까요?
같은 기반 모델을 쓰는 연구자들은 더 다양한 문제를 탐색할까요, 아니면 비슷한 가설에 집중할까요?
실패한 실험을 조건과 함께 보존하는 시스템은 최종 발견의 신뢰성과 총비용을 개선할까요?

Lisa Messeri와 M. J. Crockett은 2024년 Nature에서 AI가 과학자에게 실제보다 더 많이 이해하고 있다는 착각을 줄 수 있으며 연구의 다양성을 약화시킬 가능성을 논의했습니다. [3] 그렇다고 AI를 활용한 모든 연구가 실제로 그렇다는 뜻은 아닙니다.

인간이 이해하지 못하는 발견은 과학일까?

AI가 새로운 모형을 만들고, 그 모형이 반복적으로 실험을 통과하지만 인간은 그것을 충분히 설명하지 못한다면 어떻게 해야 할까요?

저는 예측의 성공, 개입의 성공, 원인에 대한 이해를 구분해야 한다고 생각합니다. 정확한 예측은 중요한 성과지만 모든 의미의 설명을 자동으로 보장하지는 않습니다. 반대로 완전한 인간의 직관이 없다고 검증된 예측 성과가 무의미한 것도 아닙니다.

따라서 질문은 “AI가 과학을 대체할 것인가”보다 정교해야 합니다. AI가 어떤 종류의 지식 생산을 새로 가능하게 하며, 그 지식을 과학으로 인정하기 위한 검증 체계는 무엇이어야 하는가?

결론 대신 남기는 질문

AI가 과학을 다시 연금술로 만들 수도 있고, 연금술에서 과학으로 넘어간 전환에 비견할 만한 변화를 이끌 수도 있다는 주장은 겉보기에는 모순처럼 보입니다. 하지만 두 가능성의 핵심은 같습니다. 발견하는 능력과 검증하는 능력의 관계가 바뀌고 있다는 것입니다.

과학의 미래를 결정하는 것은 논문을 얼마나 빠르게 쓸 수 있는지가 아닐지도 모릅니다. 무엇을 모르는지 인정하고, 어떤 결과가 틀렸는지 확인하며, 검증된 발견을 공동의 지식으로 쌓아 갈 수 있는지가 더 중요할 것입니다.

우리는 지금 더 많은 것을 생산하는 시대를 지나, 더 많은 것을 정말로 아는 시대로 나아가고 있을까요?

참고문헌

Berkeley EECS (2017). Ben Recht wins NIPS Test of Time Award. Rahimi와 Recht의 2017년 연설 배경에 관한 기관 자료.
King, R. D., et al. (2009). The automation of science. Science, 324(5923), 85–89. DOI: 10.1126/science.1165620.
Messeri, L., & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. Nature, 627, 49–58. DOI: 10.1038/s41586-024-07146-0.

이 글은 연구 질문을 공개적으로 검토하기 위한 작업 중인 에세이입니다. 구성과 표현을 발전시키는 과정에 생성형 AI와의 토론을 활용했으며, 출처 및 핵심 주장의 타당성을 지속적으로 검토할 예정입니다.