教程网站搭建学习aspmvc网站开发 书

教程网站搭建,学习aspmvc网站开发 书,网站维护的注意事项,如何做互联网创业15.4 分布外检测：异常检测、新颖性检测与领域适应 机器学习模型在现实世界中的可靠部署，面临一个根本性挑战：训练数据所代表的“已知世界”与测试数据可能来自的“未知世界”之间存在差异。当模型遇到与训练分布不一致的样本时，其预测往往会变得不可靠甚至完全错误，这对自…15.4 分布外检测：异常检测、新颖性检测与领域适应机器学习模型在现实世界中的可靠部署，面临一个根本性挑战：训练数据所代表的“已知世界”与测试数据可能来自的“未知世界”之间存在差异。当模型遇到与训练分布不一致的样本时，其预测往往会变得不可靠甚至完全错误，这对自动驾驶、医疗诊断等高安全性领域构成了严重威胁。因此，识别并妥善处理这些分布外样本，成为构建稳健人工智能系统的核心任务。本节将系统阐述分布外检测的三大核心范畴：异常检测、新颖性检测与领域适应。它们共同构成了从“发现问题”到“适应问题”的完整技术链路。我们将首先辨析其内在关联与差异，然后深入剖析各类核心方法，并结合典型应用案例，最终梳理出该领域的知识要点与未来方向。15.4.1 核心概念辨析：异常、新颖性与分布外异常检测、新颖性检测与分布外检测等术语常被混用，但它们在问题设定和目标任务上存在微妙而关键的区别。一个统一的广义分布外检测框架有助于厘清这些概念。异常检测：旨在从数据集中识别出与大多数样本显著不同的“离群点”。这些异常点可能在训练数据中已经存在，其核心假设是异常模式稀少且与正常模式不同。根据形态，异常可分为全局离群值、上下文离群值和集体离群值。例如，在服务器监控中，一个异常的CPU使用率峰值就是全局离群值。新颖性检测：假设训练数据是“纯净”的，全部由正常样本构成。其目标是在模型部署后，识别出之前从未见过的、属于新类别或新模式的样本。例如，一个仅用猫狗图片训练的分类器，需要将第一次见到的兔子图片识别为“新颖”样本。分布外检测：这是一个更广义的概念，特指在深度神经网络等模型中，判断一个测试样本是否来自与训练数据不同的分布。其核心挑战在于模型常会对OOD样本做出“高置信度”的错误预测。AD和ND都可视为OOD检测在特定设定下的子任务。为更清晰地区分，下表概括了三者的主要特征：表：异常检测、新颖性检测与分布外检测对比维度异常检测新颖性检测分布外检测训练数据假设可能包含异常点仅为正常/已知样本来自特定分布（通常为正常样本）核心目标发现数据中的罕见模式或错误识别未见过的全新类别或状态判断样本是否偏离训练分布典型输出异常/正常二分类标签新颖/已知二分类标签OOD/ID二分类标签或分数问题侧重点数据清洗、故障发现开放世界识别、安全预警模型可靠性、预测校准15.4.2 核心方法体系：从生成模型到能量模型分布外检测方法多样，可从不同角度分类。本部分将介绍几种主流且具有代表性的技术路径。15.4.2.1 基于重构误差的方法该方法假设模型（如自编码器）能够良好地重构分布内数据，而难以有效重构分布外数据。通过比较原始输入与重构输出的差异（即重构误差）作为OOD分数。一个典型的自编码器旨在学习一个编码函数EEE和解码函数DDD，最小化重构损失Lrec=∥x−D(E(x))∥2\mathcal{L}_{rec} = \|x - D(E(x))\|^2Lrec​=∥x−D(E(x))∥2。对于测试样本xtestx_{test}xtest​