AI가 수학 밀레니엄 난제를 풀었다는 드라마 — 수학자들이 격분한 이유를 쉽게 읽기
쿼타 매거진은 발표 당일 이 결과를 수학의 역사적 사건으로 보도했다. 그런데 같은 날, 전혀 다른 목소리가 나왔다. NYU 수학자 트리스탄 버크마스터가 공개 성명을 냈다. 그는 Anthropic 연구자 레반트 알푀게와 함께 이 문제를 수년간 연구해 오던 중이었다. 버크마스터는 OpenAI의 접근 방식이 자신이 어디에도 공개하지 않은 연구 방향과 정확히 일치한다고 주장했다.
테크크런치 보도에 따르면 버크마스터와 알푀게 외에는 그 방향으로 연구하는 사람이 없었다. OpenAI의 에이전트들이 정확히 그 길로 들어섰다는 건 우연이 아닐 수 있다는 게 그의 주장이었다. 두 연구자가 비공개 채널에서 나눈 논의나 초안이 어떤 경로로든 모델 학습 데이터에 흘러들었을 가능성을 그는 배제할 수 없다고 말했다. OpenAI는 버크마스터의 코드나 증명이 모델 학습에 영향을 준 증거가 없다고 부인했다. 두 쪽의 주장 중 어느 쪽이 사실인지는 아직 확인되지 않았다.
수학계가 격분한 지점
수학자들이 격분한 이유는 한 가지가 아니었다. 가장 핵심적인 문제는 OpenAI가 원래의 문제가 아닌 다른 버전을 풀었다는 것이다. 클레이 연구소의 공식 문제 서술에는 유체에 외부 힘이 작용하는 경우를 포함하는 옵션이 있었다. OpenAI는 이 옵션을 골라 매우 인위적인 외부 힘을 설계했다. 그 힘을 가하면 방정식이 유한 시간 내에 폭발한다는 것을 증명한 것이다.
기술적으로는 문제 조건을 충족한다. 그런데 그 외부 힘은 실제 유체에서는 절대 나타날 수 없는 완전히 인공적인 조건이었다. 사이언티픽 아메리칸은 수학자의 말을 인용해 “우리가 진짜 풀고 싶었던 문제가 아니다”라고 전했다. 수학자들이 90년 가까이 고민해온 핵심은 외부 힘 없이도 방정식이 폭발할 수 있느냐는 것이다. 물이 담긴 용기에서 아무 외부 교란 없이 유체 자체의 내부 운동만으로 속도가 무한대에 도달하는 순간이 올 수 있는지를 묻는 게 본질이었다.
이후 세 명의 수학자가 별도 논문을 냈다. OpenAI의 방법은 그 핵심 문제로 절대 확장될 수 없다는 것을 증명한 내용이었다. 즉 이 방법으로는 수학자들이 원하는 답에 영원히 닿을 수 없다는 얘기다. OpenAI 자신도 이 결과로 클레이 연구소에 상금을 청구하지 않겠다고 밝혔다. 클레이 연구소 역시 나비에-스토크스를 여전히 미해결 문제로 유지하고 있다.
두 번째 문제는 증명의 가독성이었다. 수학에서 증명은 옳다는 것만으로 충분하지 않다. 다른 수학자들이 읽고 납득할 수 있어야 하고, 그 이해 과정에서 새로운 아이디어와 수학적 기법이 파생되어야 비로소 지식으로서 의미를 갖는다. NPR은 수학자들이 “이 풀이에서 거의 아무것도 배우지 못했다”고 말했다고 전했다. 166쪽 논문은 어떤 직관에서 이 구성이 나왔는지를 전혀 알 수 없는 방식으로 쓰여 있었다.
퓨처리즘이 인용한 수학자들의 표현은 “이해 불가능에 가깝다”는 것이었다. 컴퓨터가 검증했다는 건 논리적 오류가 없다는 의미일 뿐이다. 왜 이 구성이 작동하는지, 어떤 수학적 직관이 이 방향을 선택하게 했는지는 전혀 알 수 없었다. 마치 자물쇠를 수백만 번의 무차별 대입으로 열어놓고 그것이 왜 열리는지를 설명할 수 없는 것처럼, AI의 탐색 과정은 수학적 이해 자체를 만들어내지 못한다는 지적이 나왔다. 증명이 존재한다는 것과 그 증명을 이해한다는 건 완전히 다른 일이다.
출처 문제도 격분의 이유 중 하나였다. 버크마스터의 주장이 사실에 가깝다면 AI가 독창적인 통찰을 낸 게 아니라 누군가의 미공개 아이디어를 대규모 연산으로 가속 실행한 것에 가깝다. 수학 연구에서 아이디어의 출처는 학문적으로 매우 예민한 문제다. 사이언티픽 아메리칸은 이 논란이 수학 역사상 전례 없는 형태의 크레딧 분쟁이라고 표현했다. OpenAI가 부인했지만 논란은 가라앉지 않았다.
이 논란이 남긴 것
이 사건 이후 수학자들 사이에서 AI 증명의 기준에 관한 논의가 빠르게 구체화됐다. AI가 형식적으로 맞는 증명을 만들어낼 수 있다는 건 이제 입증된 사실이다. 린 같은 형식 증명 도구를 통해 논리 오류를 자동으로 확인하는 것도 가능해졌다. 그러나 수학계는 그 이상을 요구한다. 증명이 이해 가능해야 하고, 새로운 수학을 여는 직관을 담고 있어야 한다는 것이다.
AI가 수학에서 실질적으로 유용한 영역은 따로 있다. 이미 알려진 증명을 형식 언어로 옮기는 작업, 조합론처럼 경우의 수가 폭발적으로 많은 문제에서 탐색을 보조하는 것, 특정 계산 단계를 대신 처리하는 것은 이미 인정받고 있다. DeepMind의 알파프루프가 국제 수학 올림피아드 문제를 풀어낸 것도 이런 방향에서의 성과였다. 올림피아드 문제 상당수는 창의적 발상보다 치밀한 계산 탐색이 필요한 구조라, AI의 빠른 탐색 능력이 인간보다 실질적으로 유리하게 작동했다. 그 풀이는 단계별로 추적이 가능했고, 수학자들이 내용을 검토하고 이해할 수 있었다.
반면 밀레니엄 난제처럼 수십 년간 누적된 수학적 직관이 필요한 문제에서 AI가 독립적으로 의미 있는 기여를 했는지는 여전히 불분명하다. 기술적으로는 충족하지만 본질을 비껴간 증명을 두고 ‘풀었다’고 할 수 있는가. 이번 사건은 그 기준이 아직 정해지지 않았다는 것을 보여줬다. 어떤 문제를 ‘풀었다’고 선언하는 권한이 AI 기업에 있는지, 아니면 해당 분야 수학 공동체에 있는지에 대한 논쟁이 시작됐다. 수학자들 사이에서는 그 기준을 다시 써야 할 수도 있다는 말이 나온다.
이 논란에서 가장 오래 남을 교훈은 아마 이것일 거다. “그럴듯해 보이는 것”과 “맞는 것”과 “이해할 수 있는 것”은 다르다. 수학은 세 가지를 동시에 요구한다. AI가 세 가지를 동시에 충족하는 날이 오더라도, 그 전까지는 성급한 헤드라인이 계속해서 논란을 낳을 것이다. 이번 사건은 그 간격이 예상보다 훨씬 크다는 걸 확인시켜줬다.