龍蝦太火,所有人都想一試。但真到了上手環節就會迎來第一道“攔路虎”——
急急急,究竟哪個模型最適合OpenClaw啊??
知道你急,龍蝦之父親自趕來支招了:可以關注這個因吹斯汀的榜單。

榜單名爲PinchBench,專爲龍蝦而生,從成功率、速度、價格等維度評估全球大模型對OpenClaw的適配程度。(劃重點,還是實時更新那種)
這個榜單其實今年2月底就出現了,但現在卻更火了——
這裏面不止有龍蝦之父推薦的功勞,更重要的原因是咱中國模型的表現確實出色。(老外一看,嗯??)
前排國產模型含量好高啊
熟悉龍蝦的朋友都知道,這選模型可是一件大事。
畢竟龍蝦這玩意兒一喫token耗錢,二又不能太慢影響用戶體驗。
換言之,人人都在價格和速度之間艱難走鋼絲。
而PinchBench要做的,就是直接告訴你答案——它按照成功率、速度、價格這三個基本維度對全球模型進行排名,所以哪個模型更擅長什麼基本都一目瞭然。
截至本文發稿前,榜單具體情況如下——
整體而言,中國模型在成功率和速度方面都有不俗表現,價格方面則稍遜。
比成功率,除了第一名谷歌Gemini 3 Flash,第二、第三名都出自國內。
第一名(Gemini 3 Flash):成功率95.1%
第二名(MiniMax M2.1):成功率93.6%
第三名(Kimi K2.5):成功率93.4%
而且注意沒,MiniMax用的還不是它家最新模型MiniMax M2.5。
(注:MiniMax M2.5於春節期間上線,官方主打“讓無限運行復雜Agent在經濟上可行”。)

比速度,國產模型MiniMax M2.5更是一舉超越Gemini、Llama等模型,登上榜首。

當時發佈時,MiniMax M2.5就在SWE-Bench Verified測試中,完成任務的速度較上一代M2.1提升了37%,端到端運行時間縮短至22.8分鐘,與Claude Opus 4.6持平。
而Claude Opus 4.6的最新排名是30(M2.1是第22)。

不過在價格方面,國產模型和OpenAI、谷歌模型相比則缺乏優勢。
排第一的GPT-5-nano(專爲輕量級、高性價比場景設計),輸入價格低至0.05美元/百萬tokens,輸出價格低至0.40美元/百萬tokens。
而國產模型中最便宜的MiniMax M2.1,輸入價格爲2.1元/百萬tokens(約0.3美元/百萬tokens),輸出價格爲8.4元/百萬tokens(約1.2美元/百萬tokens)。
平均下來,後者的價格幾乎是前者的3倍。

綜合來看,如果要在成功率和價格之間取得最佳平衡,下面這張圖可以作爲參考。
左上角的方框已經圈選出了還不錯的模型——一共8個,其中有4個還都是中國模型。

Anyway,在這份專爲龍蝦而生的Benchmark中,國產模型的含量確實很高,而且在某些單項上表現出色。
那麼問題來了,這榜單靠譜嗎?背後的篩選機制又是什麼?
來看PinchBench的介紹。
誰是PinchBench?
簡單來說,PinchBench並不是某家大廠推出的標準Benchmark,而是來自一支做Agent基礎設施的創業團隊。
團隊名爲Kilo AI,由GitLab前聯合創始人兼CEO Sid Sijbrandij投資並參與創立,曾推出爆火“氛圍編程”工具Kilo Code。
年初龍蝦爆火後,他們又順勢推出了基於OpenClaw構建的全託管智能體平臺KiloClaw。
而隨着KiloClaw一起發佈的,就有PinchBench這個智能體框架評測工具。

PinchBench主要被用來測試不同大模型在真實工作流中的執行能力,和傳統大模型Benchmark(比如知識問答、數學推理)不同,其定位更接近“Agent能力測試”——
不只看模型會不會回答問題,而是看模型能不能完成一整件事。
目前它大約包含23個真實任務的測試,包括但不限於:
查詢並整理資料
寫郵件或生成報告
調用API完成操作
……

在評分機制上,PinchBench採用的是自動化檢查+LLM評審的組合方式:
一部分任務有明確的自動檢查腳本,例如是否生成正確文件、是否完成指定操作等;另一部分任務則會由LLM Judge來判斷結果質量。
最終統計的核心指標就是我們上面提到的Success Rate(任務完成率)、Speed(完成速度)、Cost(推理成本)。
由於評測方式偏向真實任務流程,值得注意的是,在PinchBench的排行榜上,你會看到一個有意思的現象——
更大的模型並非總是制勝之道。
換言之,那些偏Agent優化或推理效率更高的模型,排名反而比傳統主流大模型更靠前。
這一點也是PinchBench最近在圈子裏被頻繁討論的原因之一。

BTW,PinchBench目前還是完全開源的,用戶也可以在平臺上自行運行或添加新任務。
如果以後不知道怎麼選模型,不妨自己動手一試。
PinchBench開源地址:
https://github.com/pinchbench/skill
參考鏈接:[1]
https://x.com/steipete/status/2030312187915309311[2]
https://pinchbench.com/about?utm_source=chatgpt.com
本文來自微信公衆號“量子位”,作者:關注前沿科技,36氪經授權發佈。




