삼성이 현실 업무 생산성에 초점을 맞춘 AI 벤치마크 ‘TRUEBench(Trustworthy Real-world Usage Evaluation Benchmark)’를 공식 발표했다. 삼성리서치가 개발한 TRUEBench는 대규모 언어 모델(LLM)이 실제 직장 환경에서 얼마나 생산적으로 작동하는지를 평가하기 위해 설계됐으며, GPT-5가 첫 리더보드에서 선두를 기록했다.
TRUEBench는 기존 벤치마크가 가진 한계를 정면으로 겨냥했다. 기존 평가 방식은 단순한 질의응답 구조와 영어 중심의 테스트에 치우쳐 실제 업무 환경을 충분히 반영하지 못한다는 지적이 있었다.
삼성은 이를 개선하기 위해 10개 평가 카테고리와 46개 세부 항목, 12개 언어(한국어 포함), 그리고 2,485개 테스트 세트를 마련했다. 이 테스트는 짧게는 8자에서 길게는 2만 자 이상에 이르는 요청을 포함해, 단순 질의부터 대규모 문서 요약에 이르는 다양한 난이도를 아우른다.
평가 과정도 차별화됐다. TRUEBench는 단순히 정답 여부를 따지지 않고, 사용자가 명시하지 않은 암묵적 요구 조건까지 충족하는지를 고려한다. 평가 기준은 사람과 AI의 협업으로 다듬어진다.
먼저 사람이 기준을 세우고, AI가 이를 검토해 오류와 모순을 찾아내면 다시 사람이 보완하는 과정을 반복한다. 이렇게 교차 검증된 기준을 토대로 AI 자동 평가가 이루어지며, 모든 조건을 충족해야 통과할 수 있어 세밀하고 일관된 점수가 산출된다.
삼성리서치는 이번 발표에서 “실제 업무 환경에서의 AI 활용 경험을 바탕으로 한 TRUEBench가 생산성 평가의 표준을 제시하고, 삼성의 기술적 리더십을 강화할 것”이라고 강조했다. 특히 GPT-5가 초기 리더보드에서 가장 높은 점수를 기록해, 향후 경쟁 모델과의 비교에서도 중요한 기준점이 될 것으로 전망된다.
TRUEBench의 데이터 샘플과 리더보드, 평균 응답 길이 정보는 오픈소스 플랫폼 허깅페이스(Hugging Face)에서 공개되며, 최대 5개의 모델을 동시에 비교할 수 있다. 이로써 기업과 개발자는 성능과 효율성을 한눈에 파악하며 모델 선택에 참고할 수 있을 것으로 보인다.
삼성은 TRUEBench가 단순한 성능 수치 이상의 현실적 지표를 제공해, 업무 환경에 최적화된 AI 모델을 선별하고 발전시키는 데 중요한 역할을 할 것으로 기대하고 있다.
구경하러가기.
https://huggingface.co/spaces/SamsungResearch/TRUEBench
0 / 0
