AI 속도 경쟁에 브레이크를 달자: Pacing the Frontier가 던진 질문

최근 ‘Pacing the Frontier’ 서명 운동이 AI 업계를 흔들었다. 요슈아 벤지오, 제프리 힌턴, 스튜어트 러셀 등 석학 100여 명이 “초지능 개발 속도를 늦추고 안전장치를 먼저 갖춰야 한다”는 공개서한에 이름을 올렸다. 구글 딥마인드, 오픈AI, 앤트로픽 연구원 수백 명도 동참했다. “속도 경쟁만 하다간 통제 불능 지점을 지나친다”는 경고다. 한국 언론도 이를 ‘AI 핵무기 경쟁’에 비유하며 보도했다. 그런데 현장 분위기는 더 복잡하다.

AI 발전 속도가 무서울 정도다. 매주 새로운 모델이 벤치마크를 갈아치우고, 오픈소스 모델은 상용 모델 성능을 따라잡는 데 걸리는 시간이 몇 달에서 몇 주로 줄어들었다. 누구나 API 키 하나면 GPT-4급 추론을 자기 서비스에 붙일 수 있고, 로컬에서 70B 모델을 돌리는 건 이제 취미 영역이 됐다. 기술 민주화라는 말로 포장하지만, 실상은 ‘작동 원리를 몰라도 되는 블랙박스’가 일반인 손안에 쥐어진 셈이다.

문제는 속도다. GPT-4가 나온 지 1년 만에 오픈소스 모델이 비슷한 성능을 냈고, 에이전트 프레임워크 몇 줄이면 자율적으로 코드를 짜고, 서버를 띄우고, 결제까지 시도하는 에이전트가 돌아간다. 레드팀 테스트도, 레드팀이 뚫릴 때까지 기다려주는 레드팀도 없이 프로덕션에 올라간다. ‘일단 돌려보고 문제 생기면 고치자’는 실리콘밸리 문화가 AI에도 그대로 이식됐다. 그런데 AI가 실수하면 코드 버그 하나가 아니라, 수천만 원 결제가 나가고, 개인정보가 유출되고, 잘못된 의료 조언이 나간다.

전문가들도 경고한다. 힌턴은 “통제 불가능한 초지능이 5~20년 내 등장할 확률이 10~20%”라고 했고, 앤드루 응은 “AI 위험론이 과장됐다”면서도 “규제는 신중해야 하지만 안전장치는 필요”라고 했다. EU AI Act는 ‘고위험 AI’에 사전 평가를 의무화했고, 미국 행정명령도 레드팀 테스트 의무화를 넣었다. 한국도 ‘AI 기본법’ 입법 논의가 시작됐지만, 여전히 ‘산업 육성’ 쪽 무게추가 기울어 있다.

스타트업 CTO들과 얘기해보면 “우리 모델이 왜 그런 판단했는지 설명 못 해요”가 디폴트다. RAG 붙이고 프롬프트 엔지니어링으로 어떻게든 맞춰서 런칭하는데, 엣지 케이스에서 환각이 터지면 그때 가서 패치한다. 로그도 없고, 롤백도 없고, ‘왜 그랬는지’ 설명할 로직도 없다. 금융권 PoC 현장에선 “모델이 왜 이 고객을 거절했는지 설명 못 하면 컴플라이언스 통과 못 한다”는 말에 프로젝트가 멈추는 걸 봤다. 설명 가능성이 선택이 아닌 필수가 되는 순간, 지금까지 ‘잘 돌아간다’고 믿던 파이프라인 절반은 재설계 대상이다.

브레이크는 ‘멈춤’이 아니다. 자율주행차에 비상 브레이크가 있다고 차가 안 달리는 게 아니다. 오히려 브레이크가 확실하니까 고속으로 달릴 수 있다. AI도 마찬가지다. 모델이 스스로 행동을 중단하거나, 사람 승인을 요구하거나, 의심스러운 행동을 롤백하는 ‘가드레일’이 내장돼야 더 과감하게 위임할 수 있다. 앤트로픽의 헌법적 AI, 오픈AI의 슈퍼얼라인먼트 팀, 구글의 세이프티 레이어 연구가 모두 그 방향이다. 오픈소스 진영도 라마가드, 네모트론 울트라 같은 가드레일 모델을 내놓고 있다.

한국은 아직 ‘가이드라인’ 수준에 머문다. 가이드라인은 권고고, 브레이크는 제동장치다. 금융권이 모델 검증 의무화를 논의할 때, 스타트업은 “우리도 그 정도 리소스 있으면 좋겠다”며 손을 놓는다. 정부가 표준 가드레일 라이브러리를 오픈소스로 제공하고, 중소기업이 붙여 쓰게 하는 인프라 투자가 없다면 ‘대기업만 안전하고 스타트업은 리스크 떠안는’ 구조가 고착된다.

속도 경쟁은 이미 시작됐고, 되돌릴 수 없다. 중요한 건 브레이크를 ‘나중에 달자’가 아니라 ‘지금 달면서 달리자’는 거다. 설명 가능성, 중단 가능성, 롤백 가능성—이 세 가지가 기본 장착되지 않은 AI 시스템은 프로덕션에 올라가지 못해야 한다. 그게 ‘AI 개발 중단’이 아니라 ‘제대로 된 AI 개발’의 시작이다.