[중앙일보] “역대급 성능” 믿었는데…아스트라도 휘말린 ‘AI 성적표의 배신’ (장윤서·김민정 / 2026.09.21.)

https://www.joongang.co.kr/article/25463502

“역대급 성능” 믿었는데…아스트라도 휘말린 ‘AI 성적표의 배신’ | 중앙일보

인공지능(AI) 성능의 척도로 여겨지는 벤치마크. 그런데 요즘 AI 업계에선 “신뢰를 잃었다”(오픈AI 공동창업자 안드레 카파시)는 문제제기가 나온다. ‘족집게 과외’를 통해 실력을 부풀릴 수 있어, 믿을 수 없다는 것. 지난 3일 공개된 오픈AI의 차세대 모델 ‘GPT-6 아스트라’마저도 이 논란에서 무사하지 못했다. ... 블로그 게시물을 수차례 수정하는 과정에서 아스트라의 ... 벤치마크 점수가 높아졌는데, 경쟁사 앤트로픽 모델의 점수는 낮아졌다. ... 전문가들은 ... ‘벤치맥싱(Benchmaxxing)’ 가능성을 제기했다.

벤치맥싱은 국내에서도 뜨거운 감자다. ... 독자 AI 파운데이션 모델 선발전 ... 에서 AAII 점수가 높았던 모티프테크놀로지스 모델이 탈락해서다. 벤치마크 점수를 높여주는 해외 기업(애프터쿼리)과 협업한 사실이 공개되면서 논란이 커졌다. 애프터쿼리는 ... 특정 벤치마크 점수를 5배 이상 높인 사례를 소개하고 있다. ... 수능 적중 문제집을 파는 학원처럼, 특정 벤치마크 점수를 높일 수 있는 문제집(데이터셋)을 팔고 ... 데이터셋 가격이 수백억 원을 호가한다고 전했다.

한 관계자는 “모티프 모델은 한국어 사용에 문제가 많았다. 말을 엉뚱하게 이해하거나 문제를 조금만 변형하면 못 맞히는 경우가 있었다”며 “... (특정 벤치마크에) 피팅(최적화)됐을 가능성이 있다”고 의문을 제기했다. 또 다른 관계자는 “어려운 문제는 잘 답하지만, 일상적인 질문에는 영어나 한문이 섞여 나오고 비문도 있었다”고 전했다.