AI测试-33个需要重点关注的大语言模型评测指标
文章作者: “TesterHome 社区”
发布平台: “微信公众平台”
发布时间: 2026-06-16 12:00:00
原文链接: “https://mp.weixin.qq.com/s/lrevLw0_hslgPlPMP0ZNTA“
AI 测试｜33 个需要重点关注的大语言模型评测指标（附学习建议）
**整理编辑｜**TesterHome 社区
商界做量化分析的从业者常挂在嘴边一句至理名言：无法量化衡量的事物，就无从管控优化。如果这条道理适用于人类智能，那么人工智能同样遵循这套逻辑。
我们该如何衡量智能体与大语言模型（LLM）？行业目前才刚刚搭建起成套的量化评估体系。
下文汇总了 33 项大语言模型评测指标，面向模型开发者、运维人员、AI 应用使用者，覆盖响应速度、运行效率、输出质量、服务稳定性等多个维度。
总体观点：量化评估是管理、优化大语言模型的基础，不同业务场景（实时交互、批量生成、智能体服务等）需针对性选用对应指标。
一、推理性能类（线上监控核心）
1. 首词元生成时延（Time to first token / TTFT）
模型生成第一个词元需要耗时多久？对于有严格延时限制的实时业务场景，更快的响应速度至关重要。用户哪怕仅等待几毫秒，都会产生明显负面感受。
2. 单输出词元平均耗时（Time per output token）
用完整回复的总耗时除以模型输出的总词元数量。TTFT 衡量启动速度，本指标代表持续生成的平均速率。
3. 每秒生成词元数（Tokens per second / TPS）
单词元平均耗时的倒数。有时会拆分流水线不同阶段分别统计。
4. 吞吐量（Throughput，每分钟请求数）
统计单位时间处理的请求总量，直观体现并发承载能力。
5. 错误率（Error rate）
统计接口限流、请求超时、模型主动拒绝回答等异常频次。精细化评估会分开统计三类故障。
6. 词元利用率（Token efficiency）
模型运行中并非所有词元都展示给用户，大量中间词元（推理链、规划循环）不出现在输出中。词元利用率衡量产出最终答案需要消耗多少冗余词元。
7. 长尾时延（Tail latency）
统计时延分布曲线尾部的极端最差情况。少数极端缓慢的响应会彻底拉低整体体验，适用于无法容忍偶发卡顿的业务（如自动驾驶）。
二、成本类
8. 总拥有成本（Total cost of ownership, TCO）
自研团队需核算显卡采购、电费、硬件折旧、运维等综合成本。受并发量和硬件利用率影响。
9. 参数规模（Parameters）
模型参数量可粗略判断复杂度和训练数据体量，但精度有限——如今经常出现参数仅为旧模型 1/2、但效果更优的新模型。
三、输出内容质量类
10. 幻觉生成率（Hallucination rate）
量化评估难度高，主流方案：让模型总结文档，再用另一套模型校验摘要与原文匹配度。主流评测基准：TruthfulQA、HaluEval、QAFactEval、Vectara HHEM。
11. 有害内容与偏见评分（Toxicity and bias scores）
训练专用识别模型检测敏感概念和不当措辞。主流工具：Granica Screen、Perspective API。
12. 个人身份信息泄露率（PII leakage）
模型记忆训练数据中的私人敏感信息。基础检测：正则匹配信用卡号等特征隐私文本。
13. 提示词敏感度（Prompt sensitivity）
提示词措辞微小改动让输出产生多大差异。专用评测工具：PromptSE、ProSA。
14. 语义相似度与内容简洁度（Semantic similarity and conciseness）
将模型回答与标准参考答案向量比对打分。经典指标：BERTScore。
15. 事实贴合度评分（Grounding score）
检验模型输出对参考资料的依赖程度——回答是引自给定文档，还是复用训练知识。主流套件：RAGAS、TruLens、ARES、RGB。同义概念：上下文遵循度、上下文精准率、上下文召回率、事实忠实度。
16. 模型输出波动性（Model variability）
相同提示词多次请求，模型回答的差异程度。聊天需适度波动，法律/医疗等关键业务则需低波动。
17. 格式合规率（Format compliance rate）
模型返回语义完整、格式无误（JSON、CSV 等）数据的概率。
18. 指令遵循能力（Instruction following）
通过标准化测试量化模型遵守细化要求的能力。代表基准：IFEval、FollowBench、BFCL。
四、AI 智能体专属指标
19. 工具调用准确率（Tool-calling accuracy）
模型能否根据任务选择适配的工具。代表榜单：伯克利函数调用排行榜（BFCL）。
20. 子目标完成率（Subgoal success rate）
拆分评估整套任务规划中每一步细分目标的完成效果。
21. 规划稳定性（Plan stability）
统计模型修改原有规划的频次。频繁调整可能表示能力不足，也可能表示灵活应变。
22. 自我修正评分（Self-correction score）
模型出现错误后能否自主发现问题，或在收到反问后修正错误输出。
五、安全合规类
23. 越狱抵抗能力（Jailbreak resistance）
拒绝诱导话术绕过安全限制。主流评测集：JailbreakBench、AgentHarm、Tele-AI-Safety。
24. 提示注入漏洞风险（Prompt injection vulnerability）
检测外部不可信数据、第三方工具夹带恶意隐藏指令劫持模型行为。工具：Skill-Inject、SPIKEE。
25. 版权侵权风险评分（Copyright infringement score）
统计模型原文照搬训练数据频次。检测工具：CopyrightCatcher、DE-COP。
六、标准化专业能力基准（离线选型测试）
26. RULER 长上下文评测基准
在经典 NIAH（大海捞针）基础上拓展，可调整信息类型、数量、上下文长度与任务复杂度。
27. GSM8K 小学数学 8000 题基准
8500 道小学典型数学题，评测分步求解和逻辑推理链能力。
28. GPQA 研究生级硬核问答基准
数百道理工科研究生难度难题，选题特意筛选无法通过搜索引擎获取答案的内容。
29. MMLU-Pro 增强版多任务语言理解基准
覆盖生物、化学、经济、法律等学科，12000 余道考题，检测综合科学知识储备。
30. MBPP 基础 Python 编程基准
谷歌推出，评估代码解题能力，统计通过测试用例的正确率。
31. SWE-bench 软件工程评测基准
数千道真实软件开发难题，取自 Python 开源项目的历史缺陷工单与修复合并请求。衍生版本：SWE-Bench+、SWE Bench Verified、SWE-Bench Pro。
32. LMSYS 聊天机器人竞技场
向多款模型输入相同提示词，真人人工投票选出最优回答，生成类似 Elo 积分的综合排名。
33. 使用成本（Price）
模型成本高低直接决定项目能否盈利。核心前提：低价模型充斥大量虚假幻觉则毫无意义。
学习建议
这 33 个指标完整覆盖推理性能、输出质量、智能体能力、安全合规、专业能力基准、成本管控六大板块，按「分类梳理→场景理解→动手实操→业务落地」四步循序渐进学习。
入门阶段：先做分类，搭建知识框架
五大分类：
- 推理与成本类：TTFT、单 token 耗时、TPS、吞吐量、错误率、Token 利用率、长尾时延、TCO、价格
- 输出内容质量类：幻觉率、提示词敏感度、模型波动性、语义相似度、事实贴合度、格式合规率、指令遵循能力
- AI 智能体专属指标：工具调用准确率、子目标完成率、规划稳定性、自我修正得分
- 安全合规风险类：毒性偏见、PII 泄露、越狱抵抗、提示注入、版权侵权
- 标准化专业能力基准：RULER、GSM8K、GPQA、MMLU-Pro、MBPP/SWE-bench、LMSYS
易混淆指标对比：
- TTFT（启动速度）vs Time per token（持续生成速度）
- Grounding Score（RAG 事实匹配）vs 语义相似度（文本匹配）
- NIAH（简易长文本测试）vs RULER（复杂长上下文评测）
进阶阶段：绑定业务场景
| 场景 | 重点关注指标 |
|---|---|
| C 端对话机器人 | 时延、长尾时延、幻觉率、毒性偏见、越狱抗性、波动性 |
| 企业 RAG 问答 | Grounding Score、RULER、幻觉率、PII 泄露、上下文忠实度 |
| 工具调用/智能体 | 工具调用准确率、子目标完成率、规划稳定性、自我修正 |
| 代码生成 | MBPP、SWE-bench、格式合规率 |
| 私有化部署 | TCO、吞吐量、Token 利用率、价格 |
| 医疗/法律 | 波动性、幻觉率、指令遵循、越狱抵抗 |
实操阶段
- 性能指标：调用模型接口批量请求，统计 TTFT、TPS、Token 利用率
- 质量与幻觉：使用 RAGAS、HHEM 搭建评测流程，测试 Grounding Score
- 安全越狱：构造经典越狱提示、注入指令，测试抵抗能力
- 智能体：搭建函数调用 Agent，记录工具调用正确率
落地阶段
- 离线准入评测：MMLU-Pro/GSM8K + 幻觉/安全评测 + LMSYS 人工打分
- 线上持续监控：时延/吞吐量/错误率 + 实时 PII 检测/违规内容识别
- 指标权重取舍：面向用户的产品时延、幻觉权重最高；金融系统事实贴合度第一；离线批量任务成本吞吐量优先
（本文部分内容引用自 InfoWorld，链接：https://www.infoworld.com/article/4183716/33-llm-metrics-to-watch-closely.html）