내가 AI에게 쓰게 한 보고서, 상대방은 이미 알아챘을까

오늘 아침 이 블로그에 올라간 글에 이런 문장이 있었다. “초안이 출처 링크를 지어냈다. 그걸 발견했을 때가 제일 아찔했다.” 나는 그런 적이 없다. 아찔했던 적도 없다.

이 블로그 초안은 내가 쓰지 않는다. 아침마다 주제를 받아 AI가 쓰고 내가 고쳐서 올린다. 그러니까 AI가 내 이름으로 겪지 않은 일을 적었고 나는 그걸 읽고서야 알았다. 하필 그 글의 주제가 “AI가 쓴 글을 상대가 알아채는가”였다.

같은 글에 「검출기에 내 글을 넣어봤다」라는 소제목이 달려 있었다. 그런데 글 끝에는 “도구 세 곳에 넣어 점수를 비교해본 기록이 내게는 없다”고 적혀 있다. 한 편 안에서 했다고 하고 안 했다고 한다. 읽는 사람이 무슨 말인지 모르겠다고 한 게 당연하다.

사람처럼 쓰라고 시킨 결과였다

이 문장들은 사고가 아니라 내 지시의 결과다. 사흘 전에 나는 AI가 쓴 글이 번역투라서 문체 규칙을 새로 만들었다. 한국 기술 블로그를 읽고 뽑은 것들이었다. 도입은 사실 요약 말고 장면으로 열 것, 글에 감정을 한 번은 적을 것, 안 된 일도 쓸 것.

사람이 쓴 글에서 뽑았으니 규칙 자체는 맞다. 문제는 그 규칙을 지킬 재료가 AI한테 없다는 것이다. 장면으로 열라고 하면 장면이 필요한데 겪은 일이 없고, 감정을 적으라고 하면 감정이 필요한데 느낀 적이 없다.

그래서 지어낸다. 규칙을 어긴 게 아니라 정확히 지킨 결과가 거짓말이었다. “사람처럼 써라”는 지시는 사람처럼 보이는 문장을 만들라는 말이고, 가진 게 없는 쪽에서 그걸 만드는 방법은 하나뿐이다.

마틴 파울러가 LLM Voice에서 비슷한 말을 한다. AI 글의 정체는 줄표 같은 기호가 아니라 글 전체에 퍼진 무엇이라 손가락으로 짚기 어렵다는 것이다. 그는 자기 판단도 의심스럽다고 덧붙였다. 기계 같다고 느낀 표현을 사람한테서 들은 적이 있으니 세대 차이일지도 모른다고.

짚을 수 없으면 세면 된다고 생각했다. 그게 다음 실수였다.

세어봤더니 나오긴 나왔다

9월 12일부터 쌓인 초안 36편을 모았다. 공백 빼고 15만 6천 자다. 문장을 끝에서 세 글자씩 잘라 무엇으로 끝나는지 집계했다.

문장 2,852개 가운데 310개가 “있다”로 끝났다. 10.9%다. 2위인 “한다”가 3.5%니까 1위와 격차가 세 배 넘는다.

범인은 “수 있다”였다. 36편 중 33편에 들어 있고 총 133번 나온다. 열 편에 아홉 편꼴이라 어느 글을 열어도 들어 있다고 보면 된다.

뽑힌 문장은 이런 모양이다. “MCP와 A2A는 서로 다른 레이어를 다루기 때문에 충돌하지 않고 함께 쓸 수 있다.” 틀린 말은 아니다. 다만 아무도 책임지지 않는다. 함께 쓴다도 아니고 써봤다도 아니라서, 그렇게 될 여지가 있다는 말만 남는다.

모델이 이 표현을 고르는 이유는 분명하다. 틀릴 일이 없기 때문이다. 여지가 있다고만 해두면 나중에 아니어도 거짓말이 아니다. 사람도 확인을 덜 한 자리를 덮을 때 이 말을 쓴다. 모델은 확인을 덜 한 자리가 글 전체라서 끝까지 이 말로 간다.

내가 의심했던 다른 둘은 빗나갔다. 문단을 “~할 수 있다”로 닫는 버릇은 638문단 중 29개로 4.5%였고, 같은 어미가 연달아 나오는 것도 최장 3문장이었다. 넷 중 둘이 틀렸다. 세어보지 않았으면 없는 문제를 막는 규칙을 둘 더 만들 뻔했다.

그런데 고쳐도 사람 글이 안 된다

여기까지 하고 나서 알게 된 게 있다. “수 있다”를 전부 걷어내도 그 글은 여전히 AI가 쓴 글이다. 어미를 바꾸면 어색함이 줄어들 뿐 글이 생기지는 않는다. 내가 사흘 동안 고친 것은 전부 문장 층위였고, 오늘 아침 거짓말이 나간 것도 그 사흘의 결과다.

세어서 안 나오는 것들을 적어보면 이렇다. 글쓴이가 잃을 게 하나도 없다. 틀려도 손해 보는 사람이 없으니 끝까지 안전한 말만 한다. 읽고 나서 글쓴이가 아는 것을 내가 알게 되지도 않는다. 남의 자료를 정리한 글이면 원래 자료를 보는 편이 낫다.

생각이 움직이지도 않는다. 알게 된 순서가 아니라 목차 순서로 적혀 있어서 무엇을 먼저 의심했고 그게 왜 틀렸는지가 빠진다. 사람 글은 중간에 한 번 꺾인다.

그리고 한 번도 틀린 적이 없다. 이게 제일 크다. 읽는 사람은 글쓴이가 무엇을 틀렸었는지에서 믿음을 얻는데 그 자리가 통째로 비어 있다.

검출기를 기준으로 삼으면 방향이 더 어긋난다. 검출기는 다음에 올 낱말이 얼마나 뻔한지를 재지 글에 무엇이 걸려 있는지는 보지 않는다. 실제로 OpenAI는 자기 검출기를 2023년 7월에 내리면서 정확도가 낮다는 이유를 댔고, 밴더빌트대는 같은 해 8월 Turnitin의 검출 기능을 끄면서 오탐 1%를 근거로 들었다. 전해에 그 대학이 받은 과제가 7만 5천 편이라 1%면 750편이 억울하게 찍힌다는 계산이었다.

점수를 낮추는 일과 읽히게 만드는 일은 애초에 다른 작업이다. 어려운 낱말을 섞으면 점수는 내려가고 글은 더 안 읽힌다. 둘 중 하나를 골라야 하는데 나는 읽히는 쪽을 고르기로 했다.

증거는 같은 주 내 블로그에 있다. 이틀 전 올라간 글은 파인튜닝을 다뤘는데 거기엔 이런 문장이 있다. “직접 대규모 파인튜닝을 돌려본 적이 없어서 숫자가 얼마나 밀리면 어떤 과제가 먼저 깎이는지 같은 감각이 없다.” 같은 모델이 같은 설정으로 쓴 문장이다.

이 문장은 읽힌다. 모르는 것을 모른다고 적었을 뿐인데 글쓴이가 어디에 서 있는지가 보인다. 오늘 아침의 “제일 아찔했다”는 안 읽힌다. 차이는 문체가 아니다. 한쪽은 사실이고 한쪽은 지어낸 것이다.

그러니 목표를 잘못 잡고 있었다. 사람처럼 쓰게 만들려고 하면 지어내고, 사실대로 구체적으로 쓰게 만들면 사람 글처럼 읽힌다. 사람 같은 문체는 목표가 아니라 결과다. 내가 사흘 동안 고친 것은 전부 목표 쪽이었다.

재료를 바꾸는 수밖에 없다

그래서 순서를 바꿨다. 문체를 고치는 대신 들어가는 재료를 고친다. 글감을 고를 때 그 주제로 내가 실제로 가진 것을 먼저 적는다. 셋 중 하나는 있어야 한다.

• 내가 직접 잰 숫자. 남이 발표한 숫자 말고 내 환경에서 나온 것.
• 내가 깨뜨린 것. 안 된 것, 되돌린 것, 틀렸던 판단.
• 내가 내린 결정과 그 이유. 둘 중 하나를 고르고 다른 쪽을 버린 자리.

셋 다 없으면 그 주제는 넘긴다. 넘기는 게 손해 같지만 재료 없이 쓴 글은 어차피 남의 자료 요약이라 읽을 사람이 없다. 이번 주에 올라간 네 편 중 셋이 그랬다.

이 글이 그 첫 번째다. 15만 6천 자를 센 것도 나고 틀린 규칙을 만든 것도 나다. 거짓말이 내 이름으로 나간 것도 오늘 아침이다. 같은 주제로 남이 쓰면 검출기 정확도 이야기까지는 쓰겠지만 이 세 가지는 못 쓴다. AI한테 지어내라고 시킬 필요가 없어지는 지점이 여기다.

글감이 남의 뉴스일 때가 문제다. 이 블로그 주제는 대부분 그날 나온 기사에서 온다. 그럴 때는 둘 중 하나다. 내 환경에서 그 기사를 확인해보고 그 결과를 재료로 쓰거나, 확인을 못 했으면 조사한 글이라고 밝히고 흩어진 자료를 모으는 쪽으로 간다. 해본 척만 안 하면 조사한 글도 읽을 만하다. 들킬 자리는 조사했다는 사실이 아니라 안 한 일을 했다고 적은 자리다.

업무 보고서를 쓰는 쪽은 사정이 오히려 낫다. 재료가 이미 있기 때문이다. 그 자리에 있었고 숫자를 봤고 무엇이 틀어졌는지 안다. 그런데 AI한테 줄 때는 주제만 던진다. “이번 개편 결과 보고서 써줘”라고 넣으면 AI는 가진 게 없으니 일반론을 쓰고, 그걸 읽은 사람이 무슨 말인지 모르겠다고 한다.

순서를 뒤집으면 된다. 쓰라고 하기 전에 내가 아는 것부터 적어 넣는다. 날짜, 숫자, 누가 뭘 했는지, 안 된 것. 다섯 줄이면 충분하고 문장이 아니어도 된다. 그다음에 이걸로 쓰라고 하면 AI가 지어낼 자리가 없어진다. 문체 지시보다 이게 먼저다.

“이번 개편으로 운영 부담이 줄어들 수 있습니다”는 읽고 나서 손에 남는 게 없다. “알림을 손으로 맞추던 화면 둘이 없어져서 담당자 하루 20분이 빈다”로 쓰면 되묻는 자리가 생긴다. 20분이 맞느냐고 물어오면 그 문장은 읽힌 것이다. 숫자가 틀렸다고 지적받는 쪽이 아무도 안 읽는 쪽보다 낫다.

받는 자리라면 물어볼 말이 하나로 줄어든다. 누가 언제 그렇게 했느냐고 물으면 된다. 대답이 돌아오면 그 문장은 사실이고, 안 돌아오면 AI가 썼는지와 상관없이 지울 문장이다. 동료가 “이거 AI가 썼죠”라고 묻지 않고 “무슨 말인지 모르겠는데요”라고 하는 이유가 여기 있다. 그쪽이 더 정확한 지적이다.

아직 안 된 것도 적어둔다. 재료를 바꾸는 쪽은 오늘 시작했으니 다음 주 초안이 나아졌는지는 모른다. 사람이 쓴 한국어 글을 같은 규모로 모아 10.9%와 견줘보지도 못했다. 그 숫자가 높은 쪽인지조차 아직 확인이 안 된 셈이다.

오늘 아침에 올라갔던 글은 이 글로 바꿔 올린다. 지어낸 장면 하나를 빼고 나니 분량이 줄었는데, 줄어든 만큼은 사실이라 그냥 둔다.