記者 查睿
近日，上海人工智能實驗室聯合魔搭社區(qū)推出中國大語言模型評測競技場Compass Arena，首度集齊國內主流大模型全陣容，阿里通義千問、百度文心一言、騰訊混元、字節(jié)跳動豆包、書生·浦語等20款國產大模型出戰(zhàn)，角逐中國大模型“最強王者”。
當下，“百模大戰(zhàn)”廝殺正酣，各類榜單也層出不窮，其中國際開放研究組織LMSYS Org（Large Model Systems Organization）推出的大模型競技場Chatbot Arena，已成為海外最具公信力的大模型競技場之一，遺憾的是該競技場中文化程度相對不足。為此，Compass Arena的推出將有效填補這一領域的空白。
相比考題固定的傳統測評，中國大語言模型評測競技場Compass Arena采用盲測、開放的測評模式，可以更全面地檢驗模型實力。Compass Arena設置了隨機、匿名對戰(zhàn)，大模型選手們成為“蒙面唱將”，模型信息隱去后，由系統隨機匹配進行PK，用戶可以天馬行空自由出題，并作為評委主觀評判和投票。如果大模型不小心“自報家門”，則對話被過濾，不計入成績。通過成千上萬輪PK挑戰(zhàn)和用戶投票，系統將對大模型進行自動排名。
Compass Arena由上海人工智能實驗室OpenCompass司南評測體系與魔搭社區(qū)聯合建設，前者負責組織評測，后者負責開源模型引入及社區(qū)打造。與Chatbot Arena相比，Compass Arena更聚焦中文大模型，主流國產大模型全覆蓋，同時評測用戶大多使用中文，可以充分評估國產大模型的性能。
目前，Compass Arena已匯聚超20款商業(yè)及社區(qū)模型，包括Qwen-Max、ERNIE-4.0-8K、Spark3.5 Max、Abab6.5、GLM4等國內頭部廠商的旗艦款大模型，并引入了Llama3、Mixtral等海外標桿模型進行參照。更多模型及廠商還在不斷加入中。
