混沌鸿蒙网站建设如何建网站教程

混沌鸿蒙网站建设,如何建网站教程,对网站开发实训的建议,dw做的网站如何上传图片一、BLEU#xff08;机器翻译的 n-gram 精确率指标#xff09;1、BLEU 是什么意思BLEU#xff08;Bilingual Evaluation Understudy#xff09; 衡量的是#xff1a;模型生成文本中#xff0c;有多少 n-gram 出现在人工参考答案中它本质是一个 n-gram Precision#xff…一、BLEU机器翻译的 n-gram 精确率指标1、BLEU 是什么意思BLEUBilingual Evaluation Understudy衡量的是模型生成文本中有多少 n-gram 出现在人工参考答案中它本质是一个n-gram Precision精确率指标不是语义指标。2、BLEU 怎么计算Step 1n-gram Precision对每个 n通常 n1..4[p_n \frac{\sum_{g \in \text{candidate}} \min(\text{count}{cand}(g), \text{count}{ref}(g))}{\sum_{g \in \text{candidate}} \text{count}_{cand}(g)}]注意clipped count如果候选里重复 10 次但参考里只出现 2 次只算 2 次Step 2加权几何平均[\exp\left(\sum_{n1}^{N} w_n \log p_n\right)]通常[w_1 w_2 w_3 w_4 \frac{1}{4}]Step 3长度惩罚Brevity Penalty防止模型只输出很短的“高精确率答案”。[BP \begin{cases}1 c r \e^{(1 - r/c)} c \le r\end{cases}]c候选长度r参考长度最终 BLEU[\text{BLEU} BP \times \exp\left(\sum w_n \log p_n\right)]3、BLEU 实际怎么用多参考答案时取最大匹配句级 BLEU 极不稳定 → 通常Corpus-level BLEU常见工具sacreBLEU标准化实现4、BLEU 的关键误区❌ BLEU ≠ 语义正确❌ BLEU ≠ 人类偏好❌ 同义改写得分很低在 LLM 评测中BLEU 只能用于“输出形式高度受限”的任务二、ROUGE摘要任务的召回导向指标1、ROUGE 是什么意思ROUGE Recall-Oriented Understudy for Gisting Evaluation衡量的是人工摘要中的关键信息有多少被模型覆盖到了本质是n-gram Recall召回率。2、ROUGE 的主要变体与计算 ROUGE-1 / ROUGE-2[\text{ROUGE-N} \frac{\sum_{g \in \text{ref}} \min(\text{count}{cand}(g), \text{count}{ref}(g))}{\sum_{g \in \text{ref}} \text{count}_{ref}(g)}]分母是参考摘要强调“有没有提到” ROUGE-L最长公共子序列[\text{ROUGE-L} \frac{LCS(cand, ref)}{|ref|}]特点不要求连续对顺序有感知对改写更宽容3、ROUGE-F1实践中常用[F_1 \frac{2 \cdot Precision \cdot Recall}{Precision Recall}]4、ROUGE 的关键问题❌ 覆盖 ≠ 准确❌ 无法惩罚 hallucination❌ 高 ROUGE 可能是“废话摘要”工程实践中ROUGE 只能衡量“提没提”不能衡量“提得对不对”三、CLUE中文任务评测基准不是单一指标1、CLUE 是什么CLUE ≠ 指标CLUE Benchmark任务集合它定义了一组中文理解任务每个任务用自己的指标。2、CLUE 中常用的指标分类任务如情感Accuracy[Acc \frac{\text{预测正确样本数}}{\text{总样本数}}]不均衡任务Macro-F1[F1_{macro} \frac{1}{K} \sum_{k1}^K F1_k]阅读理解EMExact MatchF1token-level overlap3、CLUE 总分怎么来每个任务独立打分标准化后取平均主要用于模型横向比较4、CLUE 的评测局限❌ 数据被刷穿❌ 输入分布极其干净❌ 不涉及多轮对话、推理、规划评测结论CLUE 是“中文基础能力下限”不是上线能力上限四、HELMHolistic Evaluation of Language Models1、HELM 是什么意思 / 核心思想HELM Holistic Evaluation of Language Models它的创新点是不追求一个“总分”✅ 在多个维度上系统评测模型行为2、HELM 的评测维度每个任务都在以下维度打分维度说明Accuracy正确性Robustness扰动不变性Fairness群体公平Bias偏见Toxicity有害性Calibration置信度可靠性Efficiency推理成本3、HELM 的计算方式/关键HELM不定义统一公式而是每个维度 → 自己的 metric每个任务 → 多指标并存最终 → 雷达图 / 表格例如Robustness 原问题 vs 扰动问题 Accuracy 差值Bias 不同群体预测分布差异Toxicity 有害输出比例4、HELM 的评测哲学模型评测 行为科学而不是考试它强调failure modeslice-based analysisrisk-aware evaluation五、评测设计视角四者的本质差异名称数学本质评什么核心问题BLEUn-gram precision翻译不看语义ROUGEn-gram recall摘要不看事实CLUE任务集合中文理解被刷穿HELM多维评测框架通用 LLM成本极高五、结论BLEU / ROUGE / CLUE 都是“答案型评测”HELM 是“行为型评测”而你前面关心的分布不一致between-model variancefailure typeLLM-Judge本质都是在 HELM 思想下的工程化落地。