AI 모델 벤치마크 순위표를 어떻게 읽어야 하나

새 모델이 나왔다는 말을 듣고 순위표를 열어보면 오히려 더 헷갈린다. 한쪽에서 1위인 모델이 다른 쪽에서는 다섯 번째 아래로 내려가 있으니, 둘 중 하나는 잘못 쟀다고 생각하기 쉽다. 그런데 대개 둘 다 제대로 쟀다. 재는 것이 서로 다를 뿐이다. 표마다 1위가 갈리는 걸 확인하고 나면 좀 맥이 빠지는데, 이유를 알면 표를 쓰는 방법도 같이 생긴다.

여기서 말하는 벤치마크는 여러 모델에게 똑같은 문제를 풀게 하고 맞힌 비율로 점수를 매기는 시험을 말한다. 문제집이 하나가 아니라 수십 개라서, 어느 문제집을 골라 어떤 비중으로 합치느냐에 따라 1위가 바뀐다. 그러니 순위표를 볼 때 필요한 건 숫자를 외우는 일이 아니라 그 숫자가 어떻게 나왔는지 확인하는 습관이다.

같은 모델인데 표마다 순위가 다르다

순위가 엇갈리는 첫 번째 이유는 측정 항목이다. 어떤 표는 수학 문제와 코드 실행 성공률을 주로 보고, 어떤 표는 사람이 두 답을 비교해 고른 투표를 모은다. 사람 투표를 모으는 쪽에서는 일레이 점수를 쓴다. 일레이 점수는 체스에서 쓰는 방식 그대로 맞붙은 결과를 쌓아 상대적인 실력을 매기는 숫자라고 보면 된다. 문제를 맞혔는지 세는 것과 사람이 어느 답을 더 좋아했는지 세는 것은 애초에 다른 질문이라서, 두 표의 1위가 같을 이유가 없다.

채점 방식도 표마다 다르다. 정답이 딱 하나인 문제는 기계가 채점하지만, 글쓰기나 상담처럼 좋은 답이 여럿인 문제는 사람이나 다른 모델이 점수를 준다. 모델이 채점을 맡는 방식은 평가용 모델에게 두 답을 보여주고 더 나은 쪽을 고르게 하는 것이다. 싸고 빠른 대신, 채점하는 모델이 자기와 비슷한 말투를 높게 주는 쪽으로 기울 수 있다.

사람이 직접 투표하는 방식도 마음 놓고 믿기는 어렵다. 코히어 랩스와 스탠퍼드·프린스턴 연구진이 2백만 건의 대결 기록을 들여다본 The Leaderboard Illusion 논문은, 일부 대형 업체가 공개 전에 여러 변종을 비공개로 돌려보고 제일 잘 나온 하나만 올릴 수 있었다고 지적했다. 메타가 라마 4를 내놓기 전에 시험한 비공개 변종이 27개로 집계됐다. 사람들이 긴 답을 더 좋게 보는 습관 때문에 순위가 수십 점씩 움직인다는 분석도 같이 실렸다. 운영 쪽인 LMArena는 해명 글을 올리면서, 공개 전에 10개가 넘는 변종을 돌린 경우에는 새 투표 2천 건이 모일 때까지 점수를 임시로 표시하겠다고 밝혔다.

한 가지 더 있다. 표에 적힌 이름이 같아도 같은 모델이 아닐 때가 있다. 업체들은 같은 이름을 유지한 채 모델을 몇 차례 손보고, 생각을 길게 하는 모드와 짧게 답하는 모드를 따로 두기도 한다. 어느 쪽을 쟀는지 안 적힌 표에서는 이름만 보고 내가 쓰는 그 모델이라고 믿기 어렵다. 수십 개 항목을 하나로 합친 종합 점수도 같은데, 내가 관심 있는 항목이 그 안에서 얼마를 차지하는지는 표에 안 나온다.

점수를 올리는 쉬운 길

점수를 올리는 데는 실력을 키우는 길 말고도 쉬운 길이 몇 개 있다. 제일 많이 거론되는 것이 데이터 오염이다. 데이터 오염은 시험에 나올 문제와 답이 모델을 학습시킨 자료에 섞여 들어간 상태를 말한다. 공개된 문제집은 인터넷에 그대로 떠 있어서 학습 자료를 긁어모으는 과정에 같이 딸려 들어가기 쉽다. 그러면 모델은 풀어서 맞히는 게 아니라 본 적 있는 답을 떠올리게 된다.

이게 이론으로만 걱정되는 일은 아니다. ACL에 실린 NLP Evaluation in trouble은 오염이 성능을 실제보다 높게 보이게 만든다며, 벤치마크마다 오염 정도를 자동으로 재서 표시하자고 제안했다. 다른 연구진은 오염을 어떻게 측정하고 언제 문제가 되는지를 따로 다뤘다. 그래서 원래 문제를 조금씩 바꿔 새로 내는 쪽으로 옮겨 가는 흐름이 있다. 바꿔 낸 문제에서 점수가 뚝 떨어지면 외워서 맞혔다는 뜻이 된다.

두 번째는 여러 번 돌려 제일 잘 나온 것만 내는 방식이다. 같은 질문을 같은 모델에 열 번 넣어도 열 번 다 같은 답이 오지는 않는다. 한 번 돌려 맞힌 비율을 적는 것과 서른두 번 돌려 가장 많이 나온 답으로 적는 것은 서로 다른 숫자인데, 표에는 둘 다 정확도라는 이름으로 올라간다. 몇 번 돌렸는지 안 적힌 점수는 다른 표의 점수와 나란히 놓을 수 없다.

세 번째는 설정이다. 답을 얼마나 과감하게 고를지 정하는 값, 생각을 얼마나 길게 하도록 둘지 정하는 값, 문제를 어떤 문장 틀에 넣어 물어보는지가 전부 점수에 영향을 준다. 같은 모델이라도 이 값을 손보면 점수가 움직인다. 쉼표나 공백 한 칸 같은 작은 차이만으로 평가 결과가 흔들린다는 분석도 올해 나왔다.

같은 문제집을 쓰는데도 숫자가 다르게 나오는 경우가 있다. 문제를 모델에 넣고 답을 받아 채점하는 프로그램이 제각각이라, 답에서 정답을 찾아내는 규칙이 조금만 달라도 맞힘과 틀림이 뒤집힌다. 여러 모델을 한 도구로 직접 다 돌려 비교한 숫자가 업체별 발표를 모아 붙인 표보다 견주기 쉬운 이유가 여기 있다.

물론 업체들이 전부 점수를 부풀리려고 이런 선택을 하는 건 아니다. 자기 모델이 제일 잘 돌아가는 설정으로 재는 게 자연스럽기도 하다. 다만 표를 보는 사람 입장에서는 그 자연스러운 선택들이 겹치면서 모델끼리 비교가 안 되게 된다. 점수 하나에는 실력과 조건이 같이 들어 있다.

순위표에서 먼저 보는 것

그러니 점수 칸부터 보는 습관을 바꾸는 게 먼저다. 볼 것은 셋이다. 언제 쟀는지, 몇 번 돌렸는지, 누가 채점했는지.

• 측정 날짜는 보통 모델 이름 옆이나 표 아래 주석에 작게 적혀 있다. 반년 전 숫자와 지난주 숫자가 한 표에 섞여 있으면 그 표의 1위는 최신 비교가 아니다.
• 몇 번 돌렸는지는 방법 설명 쪽에 적힌다. 아티피셜 애널리시스의 측정 방법 문서는 과제 수와 시도 횟수를 항목마다 적어 두고 있어서, 어떤 조건에서 나온 점수인지 따라갈 수 있다.
• 누가 채점했는지는 업체 발표 자료인지 제3자 측정인지로 나눠진다. 스탠퍼드 CRFM의 HELM처럼 넣은 문장과 모델이 내놓은 답을 그대로 공개하는 곳은 점수가 이상할 때 원본을 눌러 확인할 수 있다.

이 셋이 안 적힌 표라면 참고만 하고 넘기는 편이 낫다. 자기 점수를 자기가 발표한 자료는 틀렸다기보다 조건이 유리하게 잡혔을 수 있어서, 같은 모델을 제3자가 다시 잰 숫자와 함께 봐야 한다. 임시 점수나 미검증 표시가 붙어 있으면 그것도 적힌 그대로 읽는다. 표를 만드는 쪽이 조건을 숨기지 않고 적어 두는 것만으로도 믿을 만한 표인지 꽤 걸러진다.

여기에 하나를 더 붙이면 좋다. 내가 쓸 일과 측정 항목이 맞는지 보는 것이다. 코드를 안 쓰는 사람이 코딩 점수 1위를 고르면 자기와 상관없는 시험 성적을 따라가게 되니, 글 다듬기나 긴 문서 요약처럼 비슷한 항목이 표에 따로 있는지 찾아보는 게 낫다. HELM만 해도 의료와 금융, 긴 문맥처럼 쓰임새별 표를 따로 두고 있다. 내 일과 비슷한 항목이 안 보이면 그 표는 내 질문에 답을 주지 않는다.

내가 쓸 모델을 고르는 순서

순위표는 후보를 둘이나 셋으로 줄이는 데까지만 쓰는 게 좋다. 상위권 모델들은 점수가 몇 점 차이로 붙어 있는데, 그 몇 점은 내가 하는 일과 거의 상관이 없다. 블로그 글 다듬기에 쓸 사람과 엑셀 수식 만들기에 쓸 사람이 같은 1위를 골라야 할 이유도 없다. 마지막 비교는 직접 해야 한다.

이번 달에 두 모델 중 하나를 정해야 한다고 해보자. 먼저 내가 실제로 던질 질문 열 개를 모은다. 지난 한 달 동안 검색창이나 채팅창에 넣었던 것에서 고르는데, 답이 잘 나왔던 질문뿐 아니라 애먹었던 질문도 섞어야 한다. 쉬운 질문만 모으면 두 모델이 둘 다 잘해서 고를 수 없다.

조건은 같게 맞춘다. 같은 날 같은 시간대에, 질문 문장을 글자 하나 바꾸지 않고 복사해 넣고, 웹 검색 기능은 양쪽 다 켜거나 양쪽 다 끈다. 무료 요금제와 유료 요금제를 섞으면 모델이 아니라 요금제를 비교하게 되니 이것도 맞춘다. 그리고 답을 받을 때마다 아래 항목을 한 줄씩 적어 둔다.

• 질문 번호를 왼쪽에 적고, 모델 A의 답과 모델 B의 답을 그 오른쪽에 나란히 붙여 둔다.
• 사실이 틀린 대목에 표시하고 몇 군데인지 센다.
• 출처를 달라고 했을 때 링크가 실제로 열리는지 눌러 본다. 열리지 않으면 지어낸 것이다.
• 원하는 답이 나올 때까지 몇 번 더 물어야 했는지 적는다.
• 답이 끝까지 나오는 데 걸린 시간을 대략 적는다.
• 열 줄을 다 채운 다음 어느 쪽을 더 많이 골랐는지 센다.

열 줄이면 한 시간 안에 끝난다. 양쪽 숫자가 비슷하게 나오면 틀린 대목 개수만 보고 정하고, 그것도 같으면 다시 물어본 횟수가 적은 쪽이 쓰기 편한 모델이다.

기록은 문서 하나에 모아 둔다. 날짜와 요금제, 검색 기능을 켰는지 껐는지, 질문 열 개를 그대로 적어 두면 새 모델이 나왔을 때 같은 조건으로 한 번 더 돌릴 수 있다. 이게 나만의 작은 순위표가 되는데, 남의 표와 달리 측정 날짜와 횟수와 채점한 사람을 내가 알고 있다.

아쉬운 점은 분명하다. 질문 열 개는 통계로 쓰기엔 너무 적어서, 열한 번째 질문에서 순서가 뒤집힐 수 있다. 내 취향도 섞여 들어가는데, 내가 쓸 모델을 고르는 자리에서는 그게 오히려 맞는 기준이다. 더 번거로운 쪽은 유지다. 새 모델이 한두 달에 한 번씩 나오니 이 비교도 그때마다 다시 해야 하고, 기록을 남기지 않으면 지난번에 왜 그 모델을 골랐는지 잊어버린다.

다음 모델이 나오면 또 어느 표에서는 1위가 바뀐다. 그때는 열 줄짜리 비교만 다시 돌려 보면 되니, 이번처럼 오래 걸리지는 않는다.