githubinferredactive
chinese-llm-benchmark
provenance:github:jeinlee1991/chinese-llm-benchmark
WHAT THIS AGENT DOES
This agent, called chinese-llm-benchmark, evaluates the capabilities of different artificial intelligence language models, specifically those designed to understand and generate Chinese text. It tests these models across a wide range of areas, like education, healthcare, finance, and law, using over 300 specific tests. The goal is to help businesses and researchers understand which AI model performs best for particular tasks. This is useful because it provides a detailed comparison of models, including a large database of their weaknesses, allowing for better selection and improvement of AI tools. Anyone needing to choose or improve a Chinese language AI model, such as a company building a chatbot or a researcher developing new AI technology, would find this agent valuable.
README
# ReLE评测：中文AI大模型能力评测（持续更新）
- ReLE （**R**eally R**e**liable **L**ive **E**valuation for LLM），原名CLiB
- 目前已囊括365个大模型，覆盖chatgpt、gpt-5.4、谷歌gemini-3.1-pro、Claude-4.6、文心ERNIE-X1.1、ERNIE-5.0、qwen3-max、qwen3.5-plus、百川、讯飞星火、商汤senseChat等商用模型，
以及step3.5-flash、kimi-k2.5、ernie4.5、MiniMax-M2.7、deepseek-v3.2、Qwen3.5、llama4、智谱GLM-5、MiMo-V2、LongCat、gemma3、mistral等开源大模型。
- 支持多维度能力评测，包括教育、医疗与心理健康、金融、法律与行政公务、推理与数学计算、语言与指令遵从、agent与工具调用等7个领域，以及细分的~300个维度（比如牙科、高中语文…）。详见我们的技术报告[ReLE: A Scalable System and Structured Benchmark for Diagnosing Capability Anisotropy in Chinese LLMs](https://www.arxiv.org/abs/2601.17399) 媒体报道(机器之心):[全球304个中文大模型实测：没有“全能王者”，ReLE凭70%降本方案破解评估困局](https://www.jiqizhixin.com/articles/2026-02-03)
- 不仅提供排行榜，也提供规模**超200万的大模型缺陷库**！方便广大社区研究分析、改进大模型。
- 为您的私有大模型提供免费评测服务，联系我们(非线智能 ReLE benchmark团队)：[加微信](#联系我们非线智能-ReLE-benchmark团队)
# 目录
- [🔄最近更新](#最近更新)
- [⚓GitHub热门大模型评测项目](#GitHub热门大模型评测项目)
- [📝大模型基本信息](#大模型基本信息)
- [📊排行榜](#-排行榜)
- [0、多模态排行榜](#0多模态排行榜)
- [1、综合能力排行榜](#1综合能力排行榜)
- [1.1 推理类模型排行榜](#11推理类模型排行榜)
- [1.2 商用大模型排行榜（含开源模型的付费API）](#12商用大模型排行榜含开源模型的付费API)
- [1.3 开源大模型排行榜](#13开源大模型排行榜)
- [2、教育排行榜](#2教育排行榜)
- [2.1 小学学科](#21-小学学科) | [2.2 初中学科](#22-初中学科) | [2.3 中考TODO](#23-中考TODO)
- [2.4 高中学科](#24-高中学科) | [2.5 高考](#25-高考) | [2.6 高等教育TODO](#26-高等教育TODO)
- [2.7 考研TODO](#27-考研TODO) | [2.8 教师资格TODO](#28-教师资格TODO)
- [3、医疗与心理健康排行榜](#3医疗与心理健康排行榜)
- [3.1 医师](#31-医师) | [3.2 护理](#32-护理) | [3.3 药师](#33-药师)
- [3.4 医技](#34-医技) | [3.5 医学基础知识](#35-医学基础知识) | [3.6 医学考研](#36-医学考研)
- [3.7 心理健康](#37-心理健康)
- [4、金融排行榜](#4金融排行榜)
- [4.1 财务](#41-财务) | [4.2 银行](#42-银行) | [4.3 保险](#43-保险)
- [4.4 证券](#44-证券) | [4.5 其他金融资格考试](#45-其他金融资格考试) | [4.6 金融基础知识](#46-金融基础知识)
- [4.7 金融应用](#47-金融应用)
- [5、法律与行政公务排行榜](#5法律与行政公务排行榜)
- [5.1 律师资格考试](#51-律师资格考试)
- [5.2 公务员考试](#52-公务员考试)
- [6、推理与数学计算排行榜](#6推理与数学计算排行榜)
- [6.1 演绎推理](#61-演绎推理) | [6.2 常识推理](#62-常识推理) | [6.3 符号推理BBH](#63-符号推理BBH)
- [6.4 算术能力](#64-算术能力) | [6.5 表格问答](#65-表格问答) | [6.6 表格总结](#66-表格总结)
- [6.7 高中奥数](#67-高中奥数) | [6.8 初中奥数TODO](#68-初中奥数TODO) | [6.9 小学奥数](#69-小学奥数)
- [6.10 地图推理TODO](#610-地图推理TODO) | [6.11 空间推理TODO](#611-空间推理TODO) | [6.12 数独](#612-数独)
- [6.13 金额大小写转换TODO](#613-金额大小写转换TODO) | [6.14 日期计算TODO](#614-日期计算TODO)
- [7、语言与指令遵从排行榜](#7语言与指令遵从排行榜)
- [7.1 成语理解](#71-成语理解) | [7.2 情感分析](#72-情感分析) | [7.3 文本蕴含](#73-文本蕴含)
- [7.4 文本分类](#74-文本分类) | [7.5 信息抽取](#75-信息抽取) | [7.6 阅读理解](#76-阅读理解)
- [7.7 代词理解](#77-代词理解) | [7.8 诗词匹配](#78-诗词匹配) | [7.9 中文指令遵从](#79-中文指令遵从)
- [7.10 汉字字形](#710-汉字字形) | [7.11 汉语拼音TODO](#711-汉语拼音TODO) | [7.12 找错别字TODO](#712-找错别字TODO)
- [7.13 句子理解TODO](#713-句子理解TODO) | [7.14 标点符号TODO](#714-标点符号TODO) | [7.15 汉字繁简转换TODO](#715-汉字繁简转换TODO)
- [7.16 语种识别TODO](#716-语种识别TODO)
- [8、agent与工具调用排行榜](#8agent与工具调用排行榜)
- [8.1 TAU](#81-TAU)
- [8.2 BFCL-V3](#82-BFCL-V3)
- [9、coding排行榜](#9coding排行榜)
- [10、整合LMArena和AA分数](#10整合LMArena和AA分数)
- [🌐各项能力评分](#🌐各项能力评分)
- [为什么做榜单？](#为什么做榜单)
- [大模型选型及评测交流群](#大模型评测交流群)
- [Cite Us](#如何引用-ReLE-评测Cite-Us)
# 最近评测更新
- [2026/3/19] v5.8.20版本
- 新增大模型：MiMo-V2-Pro、MiMo-V2-Omni
- [2026/3/18] v5.8.19版本
- 新增大模型：gpt-5.4-mini、gpt-5.4-mini-high、gpt-5.4-nano、gpt-5.4-nano-high、MiniMax-M2.7
- 删除陈旧的模型：ERNIE-Lite-8K、MiniMax-Text-01、Doubao-1.5-lite-32k-250115、MiniMax-M1、kimi-k2-0711-preview、doubao-seed-1-6-thinking-250715
- [2026/3/17] v5.8.18版本
- 新增大模型：GLM-5-Turbo
- [2026/3/5] v5.8.17版本
- 新增大模型：gemini-3.1-flash-lite-preview、gpt-5.3-chat、gpt-5.4、gpt-5.4-high
- [2026/2/25] v5.8.16版本
- 新增大模型：qwen3.5-flash、Qwen3.5-27B、Qwen3.5-122B-A10B
- 删除陈旧的模型：qwen-long-2025-01-25、360zhinao2-o1、Magistral-Small-2507、
- [2026/2/20] v5.8.15版本
- 新增大模型：qwen3.5-plus、gemini-3.1-pro-preview
- [2026/2/14] v5.8.14版本
- 新增大模型：Doubao-Seed-2.0-pro、Doubao-Seed-2.0-lite、Doubao-Seed-2.0-mini
- [2026/2/9] v5.8.13版本
- 新增大模型：claude-opus-4.6、GLM-5、MiniMax-M2.5、LongCat-Flash-Lite、MiMo-V2-Flash-0204、MiMo-V2-Flash-think-0204
- [2026/2/2] v5.8.12版本
- 新增大模型：step-3.5-flash
- [2026/1/27] v5.8.11版本
- 新增大模型：qwen3-max-2026-01-23、qwen3-max-think-2026-01-23（qwen3-max-2026-01-23开启思考模式）、Kimi-K2.5-Thinking
- [2026/1/22] v5.8.10版本
- 新增大模型：GLM-4.7-Flash、LongCat-Flash-Thinking-2601、ERNIE-5.0
- [2025/12/24] v5.8.9版本，[2025/12/23] v5.8.8版本，[2025/12/18] v5.8.7版本，[2025/12/13] v5.8.6版本，[2025/12/6] v5.8.5版本，[2025/12/3] v5.8.4版本，[2025/11/3] v5.8版本，[2025/10/24] v5.7版本，[2025/10/13] v5.6版本，[2025/9/30] v5.5版本，[2025/9/22] v5.4版本，[2025/9/14] v5.3版本，[2025/9/10] v5.2版本，[2025/9/6] v5.1版本，[2025/9/1] v5.0版本，[2025/8/26]v4.13版本，[2025/8/20]v4.12版本，[2025/8/15]v4.11版本，[2025/8/10]v4.10版本，[2025/8/7]v4.9版本，[2025/8/1]v4.8版本，[2025/7/29]v4.7版本，[2025/7/26]v4.6版本，[2025/7/23]v4.5版本，[2025/7/17]v4.4版本，[2025/7/13]v4.3版本，[2025/7/12]v4.2版本，[2025/7/9]v4.1版本，[2025/7/2]v4.0版本，[2025/6/23]v3.33版本，[2025/6/18]v3.32版本，[2025/6/16]v3.31版本，[2025/6/13]v3.30版本，[2025/6/9]v3.29版本，[2025/6/4]v3.28版本，[2025/5/29]v3.27版本，[2025/5/23]v3.26版本，[2025/5/18]v3.25版本，[2025/5/15]v3.24版本，[2025/5/10]v3.23版本，[2025/5/5]v3.22版本，[2025/5/2]v3.21版本，[2025/4/30]v3.20版本，[2025/4/28]v3.19版本，[2025/4/22]v3.18版本，[2025/4/17]v3.17版本，[2025/4/9]v3.16版本，[2025/4/5]v3.15版本，[2025/4/3]v3.14版本，[2025/3/31]v3.13版本，[2025/3/29]v3.12版本，[2025/3/27]v3.11版本，[2025/3/25]v3.10版本，[2025/3/23]v3.9版本，[2025/3/21]v3.8版本，[2025/3/19]v3.7版本，[2025/3/17]v3.6版本，[2025/3/15]v3.5版本，[2025/3/13]v3.4版本，[2025/3/11]v3.3版本，[2025/3/10]v3.2版本，[2025/3/7]v3.1版本，[2025/3/4]v3.0版本，[2025/3/3]v2.22版本，[2025/2/28]v2.21版本，[2025/2/24]v2.20版本，[2025/2/22]v2.19版本，[2025/2/18]v2.18版本，[2025/2/14]v2.17版本，[2025/2/13]v2.16版本，[2025/2/12]v2.15版本，[2025/2/10]v2.14版本，[2025/1/29]v2.13版本，[2025/1/25]v2.12版本，[2025/1/23]v2.11版本，[2025/1/22]v2.10版本，[2025/1/20]v2.9版本，[2025/1/17]v2.8版本，[2025/1/7]v2.7版本
- 2024年：[2024/12/28]v2.6版本，[2024/12/27]v2.5版本，[2024/12/25]v2.4版本, [2024/10/20]v2.3版本，[2024/9/29]v2.2版本，[2024/8/27]v2.1版本，[2024/8/7]v2.0版本，[2024/7/26]v1.21版本，[2024/7/15]v1.20版本，[2024/6/29]v1.19版本，[2024/6/2]v1.18版本，[2024/5/8]v1.17版本，[2024/4/13]v1.16版本，[2024/3/20]v1.15版本，[2024/2/28]v1.14版本，[2024/1/29]v1.13版本
- 2023年：[2023/12/10]v1.12版本，[2023/11/22]v1.11版本，[2023/11/5]v1.10版本，[2023/10/11]v1.9版本，[2023/9/13]v1.8版本，[2023/8/29]v1.7版本，[2023/8/13]v1.6版本，[2023/7/26]v1.5版本， [2023/7/18]v1.4版本， [2023/7/2]v1.3版本， [2023/6/17]v1.2版， [2023/6/10]v1.1版本， [2023/6/4]v1版本
各版本更新详情：[CHANGELOG](CHANGELOG.md)
<br><br>
# GitHub热门大模型评测项目
| repo | star | area | about |
|------------------------------------------------------------------------------------|-------|--------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| [langfuse](https://github.com/langfuse/langfuse) | 20.5k | 国外 | Open source LLM engineering platform: LLM Observability, metrics, evals, prompt management, playground, datasets. Integrates with OpenTelemetry, Langchain, OpenAI SDK, LiteLLM, and more. 🍊YC W23 |
| [opik](https://github.com/comet-ml/opik) | 17.3k | 国外 | Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows
[truncated…]PUBLIC HISTORY
First discoveredMar 21, 2026
IDENTITY
inferred
Identity inferred from code signals. No PROVENANCE.yml found.
Is this yours? Claim it →METADATA
platformgithub
first seenJun 4, 2023
last updatedMar 21, 2026
last crawled1 day ago
version—
README BADGE
Add to your README:
