网站建设需要的准备行业网站开发管理软件

网站建设需要的准备,行业网站开发管理软件,网站开发合同及报价,wordpress添加小人导语机器学习模型在数据的拟合和预测方面展现出惊人的能力。人们不仅用这些模型做预测#xff0c;还希望提炼出关于机制的科学假说。然而#xff0c;良好的数据预测能力#xff0c;是否真的能保证我们对这些模型的解释是准确的尚未可知。这篇发表在自然 机器智能的文章提出…导语机器学习模型在数据的拟合和预测方面展现出惊人的能力。人们不仅用这些模型做预测还希望提炼出关于机制的科学假说。然而良好的数据预测能力是否真的能保证我们对这些模型的解释是准确的尚未可知。这篇发表在自然 · 机器智能的文章提出一个具有内生可解释性的灵活模型框架用来刻画神经动力学neural dynamics并在此框架下具体检验“预测好”与“解释对”之间的关系。关键词机器学习(Machine learning)灵活模型Flexible models神经动力学Neural dynamics潜在动力系统Latent dynamical system特征复杂度Feature complexity轨迹熵Trajectory entropy来源集智俱乐部作者周莉审校赵思怡论文题目Moving beyond generalization to accurate interpretation of flexible models论文地址https://www.nature.com/articles/s42256-020-00242-6神经网络作为一种灵活的建模工具正在催生大量关于神经计算机制的假设。这依赖于一个隐含的假设即如果一个模型能够对新的数据表现出良好的预测能力那么该模型的内部机制就一定与产生数据的生物系统的机制相匹配。然而该研究发现在神经科学中的典型任务中这一假设并不成立。即使是具有完全不同的动力学机制的循环神经网络RNN模型也能在某些任务上表现出同样的泛化能力。这一现象被称为罗生门效应Rashomon Effect即存在多种机制不同的模型都能同样好地解释数据。为了对这些模型进行区分本文提出了一种基于动力系统分析的新框架并主张要实现对神经回路的准确解释必须超越简单的泛化能力深入到模型的动力学几何结构中去。问题提出从“预测能力”到“机制解释”在传统统计建模中研究者通常从若干明确的候选假说出发通过假设检验或模型比较在相对小规模的模型族中选择最为合适者图1 a。然而随着深度学习等机器学习方法的兴起这一范式正在发生深刻变化。现代神经科学越来越倾向于使用参数众多、表达能力极强的灵活模型Flexible models例如循环神经网络Recurrent neural networks, RNN或潜在动力系统模型Latent dynamical system models直接从数据中学习大脑的计算结构。在这一过程中一个关键前提常常被默认接受而缺乏系统检验如果一个模型表现出令人满意的泛化能力Generalization就认为该模型内部所采用的计算机制与真实神经系统的机制是一致的。大量关于RNN 自发涌现出某种动力学结构并因而可类比大脑的论述均基于这一隐含前提图1 b。本研究试图在一个可控、可解释的框架内对这一前提进行检验。研究者关注的问题不是一个模型能否预测数据而是在多少种不同的机制之下预测同样可以做得很好以及在这种情况下研究者该如何从中选择具有解释价值的模型。图 1 | 从数据中推导理论。a. 可用简单的特设模型ad hoc models对数据进行拟合将与最优拟合模型对应的假设解读为一种生物学机制。b. 可用灵活模型对数据进行拟合该类模型在单一模型架构内涵盖多种假设通常包含大量参数如人工神经网络ANN。模型优化的目标是提升其预测新数据的能力即泛化能力。通过解读最优预测模型的结构推导假设。目前尚不清楚该方法能否得出能准确反映生物学现实的正确假设。具有内生可解释性的潜在动力学框架建模框架为了分析预测能力与机制解释的关系作者构建了一个兼具灵活性与内生可解释性的潜在动力学框架图2。该框架将神经群体放电行为视作由低维潜在状态轨迹x(t)驱动的随机过程。与直接拟合发放率不同模型假设存在一个连续演化的潜在状态通过发放率函数f(x)映射为瞬时发放率λ(t)f(x(t))进而经由非齐次泊松过程生成离散脉冲。这一潜在状态—发放率—脉冲的生成式结构使得推断过程本质上是从观测数据反推最可能的潜在动力学机制。框架的核心在于利用 Langevin 随机微分方程描述潜在状态的演化。其中势能函数Φ(x)决定确定性漂移高斯白噪声ξ(t)引入随机性。函数的几何特征直接对应动力学机制极小值对应吸引子谷深反映稳定性势垒高度决定状态跃迁的难易程度。相比于传统神经网络的黑箱参数Φ(x)的形状直接构成了关于系统稳态与转换机制的具体假说。图 2 | 一种灵活且具有内生可解释性的神经动力学建模框架。神经发放数据被建模为非齐次泊松过程其强度依赖于潜轨迹 x(t)二者通过发放率函数f(t)建立联系。潜在动力学由非线性随机微分方程公式 1控制该方程包含确定性势函数Φ(x)和高斯噪声。优化函数为了从数据中学习机制作者在势能函数的函数空间上运用梯度下降算法以最大化对数似然为目标来优化Φ(x)图3 a每次迭代得到的Φ(x)都对应一个可解释的动力学假设。随着训练推进势能形状从简单趋向复杂逐步逼近真实动力学结构图3b 第一行。然而随着迭代次数的增加模型会过拟合并产生伪结构图3b 第二行。图3梯度下降优化得到一系列具有不同解释的模型。a. 在梯度下降优化过程中负对数似然呈单调下降趋势。b. 梯度下降选定迭代轮次下的拟合势函数Φₙ(x)颜色与图 a 中的点对应以及生成数据所用的真实势函数灰色。从一个非特异性初始猜测第 1 轮迭代时的单阱势函数开始优化过程可准确还原真实模型第 50 轮迭代而在后续迭代中由于过拟合模型会出现在真实生成模型中并不存在的虚假特征更多小尺度的起伏这主要源于模型在有限样本和噪声条件下对偶然波动的过度拟合如果在每一次迭代中都重新生成一批新的模拟数据同样的学习过程将不会产生那些后期的细小伪结构势能函数可以稳定收敛到真实形状见原文补充图1。模型选择在常规机器学习图景中随着模型复杂度的提高训练误差通常单调下降而验证误差在某个复杂度处达到最小值后开始上升从而形成所谓偏差–方差权衡Bias–variance tradeoff对应的 U 形曲线。模型选择通常依据验证误差的最小点试图在欠拟合与过拟合之间取得平衡。本文中作者发现训练误差如预期般持续下降而验证误差在初期会明显下降。但在进入一定阶段后会进入一个长而平坦的泛化高原Generalization plateau对应的势能函数形状可以彼此差异显著但它们在验证集上的预测性能几乎难以区分。图 4 | 泛化高原。针对从同一真实模型生成的 10 组独立训练集和验证集样本梯度下降GD优化得到的模型其验证负对数似然值。验证负对数似然值呈现长平台期表明存在一系列泛化性能良好的模型。放大图右侧显示了泛化平台期形状的多样性。在验证负对数似然值最小值处选取泛化最优模型样本 1 和样本 2 分别对应红色和蓝色箭头这种现象说明在高参数、强表达能力的模型中可能同时存在数量众多、内部机制迥异的模型它们在行为上同样成功地解释了数据。换言之在预测层面这些模型几乎不可区分在机制层面它们却对应着不同数量的吸引子、不同的势能谷底位置以及不同的状态跃迁结构。作者以罗生门效应来概括这一现象面对相同的数据存在一个庞大的模型集合每一个都能给出“看似合理”的解释但这些解释彼此并不等价。是否可以通过强化正则化regularization或更精细的交叉验证策略来缓解这一问题作者从验证误差、多折交叉验证和加入惩罚项几个角度系统地考察了这一思路。总的来说只要模型选择标准依然主要基于预测或泛化指标那么在灵活模型中解释层面的不确定性就难以根除。 这提示我们需要从根本上调整模型选择的目标函数。因此作者提出了一个替代思路找到在不同数据子集中最具有稳定一致性的结构。通过引入了轨迹熵Trajectory entropy及其负值特征复杂度Feature complexity来量化势能对潜在轨迹的约束强度势能越深且越分明轨迹的随机游走越受限制轨迹熵下降、特征复杂度上升。该度量反映的是动力学结构的丰富性而非单纯的参数数量。总体而言通过将潜在状态、势能景观与生成机制形式化该框架使得模型的学习过程本质上等同于对神经动力学假说的提出与检验从而实现了内生可解释性。图 5 | 识别具有准确解释性的模型。a. 特征复杂度随迭代次数增加而上升且不同数据样本的增长速率存在差异。b. 特征复杂度边界 M*橙色点将真实特征与噪声区分开。c. 数据样本 1 和 2 在不同特征复杂度下的势函数颜色与图 a 数据对应。d. 不同特征复杂度水平下从数据样本 1 和 2 中发现的模型之间的 KL 散度。M*定义为 KL 散度超过固定阈值时的特征复杂度。框架验证On–Off 动力学的再解读为了展示这一框架在真实神经数据上的效用作者将其应用于以往在猴子视觉皮层 V4 区记录的神经放电数据。现有研究表明在恒定刺激条件下V4 区多单元活动并非保持平稳而是呈现出类似在“高放电率状态”On与“低放电率状态”Off之间自发切换的特征。这一现象可以被不同的建模框架拟合。例如一类模型将其视为围绕单一稳定态的连续波动另一类模型则假设存在两个稳定吸引子对应 On 与 Off 状态并在二者之间发生随机跃迁。二者在拟合单元平均放电率和某些统计量时都可取得不错结果因此难以基于传统指标加以区分。在本文中作者使用提出的潜在动力学框架对V4区的神经放电数据进行建模。结果表明在若干记录通道上基于泛化的策略往往在不同子集上选出明显不同的势能形状。而采用特征一致性方法时两半数据各自选出的最佳复杂度所对应的势能在多数情况下高度相似。图 6 | 从神经生理记录中发现可解释的神经动力学模型。a. 在注视任务中通过 16 通道电极同步记录灵长类视觉皮层 V4 区的多单元活动。b. 针对两个独立数据样本得到的模型对应的验证负对数似然值。c. 不同数据样本的泛化最优模型存在不一致性颜色与图 b 对应。d. 在各特征复杂度水平下模型之间的 KL 散度。e. 独立识别出两个数据样本的 M*0.01灰线对应的势函数具有良好一致性。阴影区为数据所发现的两个势函数之间的阴影区域支持 “亚稳态转换” 的假设。结语从“拟合数据”走向“理解机制”这项研究针对当前在神经科学与机器学习交叉研究中广泛存在的一种趋势给出了系统而谨慎的反思。文章通过一个兼具灵活性与内生可解释性的潜在动力学框架明确展示了以下几点首先在高容量灵活模型中即使在有限样本下也可以出现庞大的罗生门集合内部机制差异显著的模型在训练集和验证集上却表现出几乎无法区分的预测性能。泛化能力在此仅能定义一个宽泛的合格区域而不足以在该区域中定位唯一或少数几个具有机制代表性的模型。其次传统的正则化、交叉验证和提前停止等技术即使在形式上考虑了过拟合问题在解释层面仍显不足。只要模型选择标准主要依赖于预测误差这一标准就难以避免被验证集中的噪声和样本划分偶然性所左右从而导致所选模式在机制解释上不稳定。最后文章提出了一种以特征复杂度与跨样本一致性为核心的替代范式将科学解释的重点从单一模型的最佳预测性能转移到不同数据子集中结构特征的一致再现上。通过这一视角潜在动力结构的稳定部分与噪声诱导的伪结构得以分离模型选择本身也被纳入可解释性的约束之中。从更广义的角度来看这项研究强调了科学建模中预测与解释的区别。对于工程应用而言预测准确往往已足够但对于试图理解大脑计算原理的基础科学而言预测只是前提解释才是核心。在灵活模型日益普及的今天这一差别尤为重要。如何在利用机器学习强大拟合能力的同时引入足够严谨的机制约束和一致性标准将是未来可解释神经建模和可解释机器学习共同需要面对的问题。阅读最新前沿科技趋势报告请访问欧米伽研究所的“未来知识库”https://wx.zsxq.com/group/454854145828未来知识库是“欧米伽未来研究所”建立的在线知识库平台收藏的资料范围包括人工智能、脑科学、互联网、超级智能数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。