aso优化服务站wordpress判断自定义页面

aso优化服务站,wordpress判断自定义页面,天河网站建设报价,做网站傻瓜软件在人工智能迈向通用智能的征途中#xff0c;**[多模态学习]**无疑是关键的一步。而在 2022 年 4 月#xff0c;DeepMind 发布的 Flamingo 视觉语言模型#xff08;Visual Language Model, VLM#xff09;彻底改变了这一领域#xff0c;被公认为真正将“大模型”的强大能力…在人工智能迈向通用智能的征途中**[多模态学习]**无疑是关键的一步。而在 2022 年 4 月DeepMind 发布的Flamingo视觉语言模型Visual Language Model, VLM彻底改变了这一领域被公认为真正将“大模型”的强大能力和“少样本学习”Few-Shot Learning的灵活性引入多模态世界的开山鼻祖。核心突破让超大模型“[看图说话]”且只学一次Flamingo 的诞生旨在解决一个核心挑战如何在不进行传统大量微调的情况下让一个模型具备在开放世界中执行多种视觉-文本任务的能力它所达成的惊人目标是仅用极少的计算资源和样本通常是 0 到 32 个样本就赋予超大模型在遇到新任务时像人类一样快速学习和适应的能力。关键技术与应用Flamingo 能实现这一壮举在于其创新的**感知重采样器(Perceiver resampler)和门控交叉注意力Gated Cross-Attention**机制. 它们高效地将图像特征与预训练语言模型的文本序列对齐。这使得模型能够开放式视觉问答VQA理解图像内容并回答复杂的、开放性的问题。图像描述Image Captioning为图像生成准确、自然的描述文本。视觉对话Visual Dialogue在连续的对话中保持对图像的理解和上下文的记忆。简而言之Flamingo不仅仅是一个模型它是一种范式转移——它证明了大型 VLM 可以通过最小的指令在**零样本Zero-Shot或少样本Few-Shot**场景下快速泛化到新的视觉和语言任务为后续所有高效的多模态研究如 GPT-4V、LlaVA 等奠定了坚实的基础开辟了通用视觉智能的新纪元。一、核心设计理念Flamingo 并没有像 [BLIP]那样从头训练一个完整的多模态模型而是采用了“冻结 轻量连接”的极简策略直接复用两个已经预训练好的巨型单模态模型视觉编码器Normalizing Flow-enhanced Vision TransformerNFNet-F6约 400M 参数完全冻结语言模型70B 参数的 DeepMind 自研大语言模型类似 Chinchilla完全冻结 公开版本最大是 80B 参数的 Flamingo-80B只训练极少的跨模态连接层Perceiver Resampler就是一个“视觉信息的压缩器/摘要器”它把任意数量的图片或从视频中均匀采样的帧压缩成固定数量fixed number的视觉token。它解决了“如何让一个已经预训练好的大语言模型LLM高效地理解任意长度的视觉数据尤其是视频”这个核心难题。Gated Cross-Attention Dense 层在语言模型的每一层插入带门控的跨注意力机制让文本能“看到”视觉 token。 → 整个模型新增的可训练参数只有几百万0.01%因此即使是 80B 模型也能在几天内完成全部训练和 few-shot 微调计算成本极低。二、Perceiver Resampler输入任意长的视觉特征序列来自图片或视频帧内部一小组可学习的 latent queries类似 Perceiver 的 latent array操作对视觉特征执行 cross-attention输出固定数量的 latent例如 64 个作为“视觉摘要” 无论你有 1 张图、10 张图、100 帧视频输出长度永远固定。注: 这里的time embedding是学习出来的理解方便打个比喻一个有 M 个记者M 个 query的新闻摘要小组。无论你要总结一篇文章1 张图还是一部 8 小时的纪录片长视频你都只派这 M 个记者去阅读所有材料。他们反复来回跑多层 cross-attention互相讨论self-attention最后每个人写好一篇高度浓缩的摘要最终的 M 个 token。这 M 篇摘要交给大语言模型看LLM 就知道整个视频讲了什么。三、GATED XATTN-DENSE layerFlamingo 的核心思想之一在不破坏大语言模型LM预训练能力的前提下把视觉信息“注入”到 LM 解码器里。为实现这一点Flamingo 没有直接重训练整个 LM而采用冻结 pretrained LM → 在其层之间插入若干 GATED XATTN-DENSE block从零训练 → 只通过 gating 控制视觉信息注入的强弱...LM Layer (frozen) ↑GATED XATTN-DENSE (trainable) ↑LM Layer (frozen) ↑GATED XATTN-DENSE (trainable)为什么需要GATED XATTN-DENSE layerLM 是一个强大的预训练模型例如 Chinchilla。如果直接把 cross-attention 层加进去会破坏已学到的语言能力catastrophic forgetting。随机初始化的新层会导致训练初期不稳定。需要保证初始化时整个系统行为 原始纯文本 LM 行为。于是 Flamingo 引入 gate 来控制视觉信息的注入。GATED XATTN-DENSE layer内部结构每个插入的新层包含两个子模块顺序是GATED-XATTN带门控的跨注意力对当前文本 hidden states 做 cross-attentionkey/value 来自 Perceiver Resampler 输出的视觉 token。输出后再乘以一个门控系数gate tanh(α)α 是可学习的标量初始化为 0。最终加到残差流上y ← y gate × CrossAttention(q language input, kv visual_tokens)GATED-FFN带门控的全连接层或者叫 GATED-DENSE普通的两层 FFNGeLU 激活结构和原 LM 一致但也是全新参数。同样乘以另一个门控 tanh(β)β 也是初始化为 0 的可学习标量。y ← y tanh(β) × FFN(y)这两个子模块合起来就叫一个 GATED XATTN-DENSE layer。Tanh gating 的目的关键设计 每个新增 block 的输出 乘一个可学习的标量 gateoutput residual tanh(α) · new_layer(x)其中- αalpha是 一个可学习的标量- 初始化 α 0 → tanh(0) 0这意味着初始化时output residual 0 × something residual整个模型行为与原 LM 完全一致不会注入任何视觉信息。→ 保证训练稳定。训练过程中α 被学习为 0 tanh(α) ∈ (0,1) 逐渐打开 → 新的 x-attn dense 层渐渐发挥作用 → 模型开始“吃进”视觉特征学习 多模态生成四、训练方式数据约 2 亿张图片-文本对包括 27M 高质量图文对 182M 网页数据 部分视频数据训练目标纯自回归生成给定交错的图像文本预测下一个文本 token完全冻结视觉和语言骨干网络只训练 Perceiver Resampler 和跨注意力层1. 训练目标总体Flamingo 将视觉-文本建模为条件下的逐 token 语言建模next-token prediction问题训练最小化各数据集的加权负对数似然之和多目标加权其中 是第 m 个训练数据集 是该数据集的权重需要调优影响最终性能。2. 三类数据混合训练Flamingo不是纯图像描述模型而是能处理图文交错、多轮、多图片、视频的 VLM。为了让模型获得这种“跨模态对话能力”必须让模型在训练中看过各种交互模式而不是只学“图片 → 文本”。因此, 混合三类数据(1) M3W它是网页级图文交错数据Flamingo的灵魂43M网页根据 DOM 结构直接得到 文本 —— 图片 —— 文本 的自然交错形成序列文字 文字 …每个样本截取 256 文本 token 最多5张图重要性Flamingo的 few-shot 能力主要来自这种 interleaved 的自然图文顺序因为语言模型必须学会多张图在不同文字片段中出现在某一段文本里引用前面出现的图像多轮对话结构网页本身就像长对话也就是说M3W提供“图文对话结构”而不是“图像描述”。(2) ALIGN LTIP它们是高质量 图文对 pairs静态图片这些数据为模型提供“图像—描述”配对提升图片理解质量提升长文本生成能力LTIP文本长这些数据比较简单不存在图文交错因此通过caption统一格式。(3) VTP它是视频 文本 pairs目的让 Flamingo 获得 时间建模能力能对连续帧描述能做视频 QA视频帧在输入中同样用 标记开头仅区别在 视觉encoder产生的是带时间维度的特征。3. 为什么是“累积梯度”而不是 round-robinround-robin每次只训练一个数据集 累积梯度同一 batch 内涵盖多种数据让梯度混合累积梯度好处让模型在同一个优化步中同时感受到不同模态、不同结构从而稳定优化、减少偏差使模型不会对某个数据集“遗忘”或“过拟合”因为 gradient 的构成一直是混合的这在多模态训练中非常关键。datasets { text_only: w1, img_text_interleaved: w2, img_caption: w3, video_text: w4 } while training: # sample dataset by weight d random_choice(datasets, p[w1, w2, w3, w4]) batch d.sample_batch() # compute autoregressive LM loss on text tokens loss LM_cross_entropy(batch.tokens) loss.backward() optimizer.step()四、Flamingo 的历史意义开创性的架构与实用性Flamingo 率先证明了将冻结的大型语言模型LLM作为“大脑”核心并通过高效的视觉适配器例如门控交叉注意力层和感知重采样器与之连接的技术路线是高度有效的。这是一种参数高效的多模态对齐策略极大提升了多模态模型LMM的实用性和性能。催化开源生态发展作为 Google DeepMind 的研究成果详见其论文 Training dynamic gated vision-language models with frozen language modelsFlamingo 的创新架构激发了广泛的学术界关注和一系列开源项目的涌现例如 OpenFlamingo 和 LLaVA 等这些复现工作进一步普及和推动了该技术路线的发展。多模态 LMM 爆发的关键催化剂Flamingo 的成功实践是 LMM 领域爆发的关键催化剂之一, 并成为现代多模态大模型设计的重要启发来源。五、总结Flamingo 是第一个真正把“大语言模型的上下文学习in-context learning能力”成功迁移到视觉领域的模型它用极少的计算成本证明了“超大规模冻结语言模型 轻量视觉连接器”可以在少样本开放多模态任务上碾压传统方法从而开启了整个“视觉大模型”时代。源代码地址: https://github.com/mlfoundations/open_flamingo如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】