인간이 이해하지 못하는 과학도 과학인가?
AI가 인간에게 설명하기 어려운 모형을 발견했지만 독립적 예측과 개입에 성공한다면, 우리는 정확히 무엇을 알게 되었다고 할 수 있을까요?
AI와 과학의 미래, 네 편 중 마지막 글입니다. AI가 만든 모형이 엄격한 검증을 통과했지만 인간이 그 작동 기제를 설명할 수 없다면, 그 결과를 과학적 지식이라고 불러야 할까요?
어떤 AI 시스템이 복잡한 물질을 기존에 익숙하지 않은 수학적 특징들로 표현한다고 상상해 보겠습니다. 모형은 새로운 온도와 압력에서 그 물질이 어떻게 행동할지 정확하게 예측합니다. 독립적인 연구팀도 그 예측을 재현합니다. 모형이 제안한 실험 조건을 바꾸면 예상했던 결과도 얻습니다.
하지만 어떤 과학자도 왜 해당 특징들이 물질의 행동과 연결되는지 간결하게 설명하지 못합니다. 익숙한 변수로 작성한 아름다운 법칙도 없습니다.
이것은 실제 AI가 발견했다는 사례가 아니라 사고실험입니다. 이 사례는 AI 기반 과학에 관한 논의에서 쉽게 혼동되는 세 활동을 구분하게 합니다. 예측, 개입, 설명은 서로 관계가 있지만 동일한 성과는 아닙니다.
예측은 설명과 다릅니다
모형은 결과를 정확히 예측하면서도 그 결과를 낳는 인과적 기제를 확인하지 못할 수 있습니다. 특정 데이터에서 안정적인 상관관계가 환경이 바뀌면 사라질 수도 있습니다. 여러 설명 중 어느 것이 옳은지 정확한 예측만으로 결정하지 못할 때도 있습니다.
반대로 과학적 설명은 다소 불완전하거나 근사적이더라도 우리의 이해를 넓힐 수 있습니다. 모든 설명이 모든 상황에서 가장 높은 예측 정확도를 보장하는 것은 아닙니다.
Leo Breiman은 2001년 통계 모형화의 ‘두 문화’라는 영향력 있는 글에서 예측에 초점을 둔 알고리즘적 접근과 데이터 생성 과정에 관한 가정을 중심으로 모형을 구성하는 접근을 구별했습니다. [1] 예측과 설명에 관한 논쟁은 생성형 AI 이전부터 있었습니다.
AI 시대의 문제는 시스템이 첫 번째 차원을 나머지 두 차원보다 훨씬 빠르게 발전시킬 수 있다는 점입니다. 예측 시스템은 연구실의 효율을 높이면서도 설명적 질문은 여전히 남겨 둘 수 있습니다.
그것 역시 실제 진보입니다. 다만 어떤 종류의 진보인지 정확히 표현해야 합니다.
개입은 더 많은 것을 알려 주지만 전부는 아닙니다
AI 시스템이 자연스러운 결과를 예측하는 데서 그치지 않고 실험 조건을 일부러 바꾸도록 제안한다고 가정해 보겠습니다. 결과가 어떻게 달라질지 정확히 예측하고, 개발에 사용하지 않은 새로운 환경에서도 성공합니다.
이런 성과는 익숙한 벤치마크의 높은 점수보다 모형의 실행 가능한 지식을 신뢰할 더 강한 이유가 될 수 있습니다.
그렇지만 개입에 성공하더라도 여러 기제가 양립할 수 있습니다. 특정 영역에서는 잘 작동하지만 다른 곳에서는 실패할 수도 있습니다. 따라서 과학자는 여전히 적용 범위, 불확실성, 대안적 설명, 위험한 개입의 조건을 알고 싶어 할 것입니다.
이 때문에 저는 신뢰의 서로 다른 세 수준을 구분하고자 합니다. 기존 관찰에 적합함, 새 데이터에서 예측에 성공함, 새로운 개입에서 반복적으로 성공함입니다. 일부 맥락에서 실용적 증거의 강도를 나타내는 구분이지만 모든 과학 분야에 적용되는 보편적 순위는 아닙니다.
기계는 인식론적 동료가 될 수 있을까요?
여기에는 실제로 어려운 철학적 문제가 있습니다. 전통적인 과학은 사람이 소통하고 비판할 수 있는 설명을 높게 평가합니다. 그런데 AI가 인간 연구자 누구도 직관적으로 이해하기 어려운 개념을 발전시킨다면 그것을 가르치고, 다른 이론과 연결하고, 오류를 점검하기가 어려워질 수 있습니다.
반면 과학적 지식이 반드시 기존의 인간적 직관에 맞아야 한다고 요구하는 것도 위험합니다. 수학과 현대 물리학의 상당 부분은 일상의 상상을 넘어섭니다. 오늘날의 연구 공동체 역시 어느 한 과학자가 모두 이해할 수 없는 기기와 전문 지식에 의존합니다.
따라서 더 유용한 질문은 모형을 즉시 이해할 수 있는가가 아닙니다. 설명이 완전하지 않더라도 그 주장을 공개적으로 시험하고, 적용 범위를 한정하고, 반박하고, 다른 지식과 연결할 수 있는가입니다.
어떤 발견 분야에서는 제거하기 어려운 불투명성을 감수할 수 있지만 다른 분야에서는 받아들일 수 없을 것입니다. 안전이 중요한 의사결정에서 결과를 본 뒤에 그럴듯한 설명을 붙이는 것만으로는 위험합니다. Cynthia Rudin은 위험이 큰 의사결정에서는 블랙박스에 사후 설명을 덧붙이기보다 본래 해석 가능한 모형을 사용해야 한다고 주장했습니다. [2]
AI 고유의 과학이라는 목표가 설명과 책임이 필요한 분야의 기준을 낮추는 구실이 되어서는 안 됩니다.
이 생각을 독립적으로 시험하려면
앞선 사고실험을 조금 더 구체적인 연구 설계로 바꿀 수 있습니다.
내부의 실제 기제가 알려진 시뮬레이션 환경을 준비하되 AI 시스템에는 그 기제를 직접 보여주지 않습니다. 시스템이 예측 표현을 학습한 뒤 새로운 환경 변화, 처음 보는 개입, 경쟁 가설을 제시합니다.
세 가지 결과를 비교할 수 있습니다.
- 별도 데이터의 예측 정확도를 최적화한 모형.
- 앞으로 수행할 개입의 성공을 최적화한 모형.
- 독립적으로 시험 가능한 인간 가독적 설명을 제공하도록 제약한 모형.
흥미로운 결과는 어느 모형이 가장 높은 점수를 받았는가에 그치지 않습니다. 인간에게 불투명한 표현이 새로운 개입에서도 더 신뢰할 수 있는지, 해석가능성이나 인과 구조를 도입하면 어떤 조건에서 그 신뢰성이 달라지는지 물을 수 있습니다.
주의할 점이 있습니다. 시뮬레이터는 자연 자체가 아니며, 실제 연구자는 환경의 참된 기제를 알고 있지 못할 때가 많습니다. 이런 실험은 특정 모형에 관한 주장을 시험할 수 있지만 오랜 과학철학 논쟁을 한 번에 해결하지는 못합니다.
피해야 할 두 가지 오류
첫 번째 오류는 설명할 수 없으므로 과학이 아니다라고 말하는 것입니다. 독립적으로 검증된 유용한 발견을 버릴 수 있고, 모든 연구에 당장 완전한 이해를 요구하는 무리한 기준이 될 수 있습니다.
두 번째 오류는 예측이 정확하므로 세계를 이해한 것이다라고 말하는 것입니다. 불안정한 상관관계를 인과적 이야기로 승격할 위험이 있습니다. Messeri와 Crockett은 AI가 실제 증거가 허용하는 것보다 더 많이 이해한다고 믿게 만들 수 있다고 경고했습니다. [3]
책임 있는 태도는 그 사이에 있습니다. 유용한 지식은 인정하되 설명의 범위를 과장하지 않는 것입니다. 엄격한 시험을 요구하되 모든 기제가 처음부터 투명해야 한다고 가장하지 않는 것입니다.
어떤 미래가 진정한 혁명일까요?
앞선 글들은 연결된 문제를 다루었습니다. AI는 설득력 있어 보이는 연구 이야기를 만들 수 있고, 발견의 조직 방식을 바꿀 수 있으며, 가설을 검증 능력보다 빠르게 늘릴 수 있습니다.
여기에 가능성이 하나 더 있습니다. AI가 인간에게 익숙한 이론으로 번역하기 어려우면서도 과학적으로 유용한 개념을 만들어 낼 수도 있다는 것입니다.
그때 핵심 과제는 기계가 ‘과학자처럼 생각하는가’를 결정하는 일이 아닙니다. 모형이 어떤 일을 할 때 믿을 수 있는지, 무엇은 여전히 설명되지 않았는지, 어떤 관찰이 나오면 신뢰를 거둬야 하는지 판단할 제도와 시험을 설계하는 일이 중요해집니다.
그것은 과학의 깊은 변화일 수 있습니다. 이해가 더 이상 중요하지 않아서가 아니라, 우리가 ‘이해’라고 부르는 서로 다른 성과를 더욱 정확히 구별하게 되기 때문입니다.
이 시리즈는 연금술이라는 비유에서 시작했습니다. 마지막에는 조금 덜 극적이지만 더 어려운 요구에 도달합니다. 도구가 강력해질수록 작동하는 것, 아는 것, 왜 작동하는지 설명하는 것을 더 신중하게 구분해야 한다는 요구입니다.
참고문헌
- Breiman, L. (2001). Statistical Modeling: The Two Cultures. Statistical Science, 16(3), 199–231.
- Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1, 206–215.
- Messeri, L., & Crockett, M. J. (2024). Artificial intelligence and illusions of understanding in scientific research. Nature, 627, 49–58.
물질과학의 사례는 가상입니다. 제안한 신뢰 수준과 실험은 검증된 지표가 아니라 개념적 제안입니다. 이 작업 중인 에세이의 작성에는 생성형 AI의 도움을 활용했으며 앞으로의 수정에 열려 있습니다.