网站开发 0755小制作手工简单又漂亮

网站开发 0755,小制作手工简单又漂亮,网站app制作教程,html代码入门基础不小心吹个牛 一两个月前#xff0c;我对大模型还比较迷信。觉得这模型真厉害#xff0c;平时遇到啥问题#xff0c;问它都可以回答个八九不离十。 遂心向往之~ 后来也看到有UP主分享#xff1a;“现在不流行训练自己的小模型了#xff01;真实项目中往往都是使用开源大模…不小心吹个牛一两个月前我对大模型还比较迷信。觉得这模型真厉害平时遇到啥问题问它都可以回答个八九不离十。遂心向往之~后来也看到有UP主分享“现在不流行训练自己的小模型了真实项目中往往都是使用开源大模型行业数据。”同事问我“元芳你怎么看”我回答他“耳听为虚眼见为实。我要微调个自己的小模型看看。”然后就拖到了现在。。。本文会分享以下内容模型训练工具介绍LLaMA-Factory在Transformer 架构下模型训练算法本次使用微调 LoRA从0 开始0花费地训练一套小模型出来讨论什么场景下 更适合微调模型效果展示咱们老规矩还是先上效果图——这个模型的用途是用户输入任意新闻标题后它可以进行类型标注。例如下面这两个新闻❝用户提问“新闻分类真相了外媒特朗普想在伊朗“更迭政权””AI 回答“国际”用户提问“新闻分类许昕发文感谢队友从陪练张继科到世界冠军称霸世界的国乒”AI 回答“体育”这里的训练数据需要提前准备格式上是这样的——可以看出“人类输入的内容” “AI回答的内容” 这样一问一答作为一条训练数据。本次训练集由300条这样的问答对组成。我们的预期则是❝用户输入问题A -- “训练后的模型” -- 回答最合适的新闻类型如科技、体育、政治。。。训练后的模型输出越接近训练集的结果就认为这个模型越符合预期。反之效果就一般。后续模型测试中会看到训练不成功的效果长什么样。下面介绍下 训练AI模型使用到的工具LLaMA-Factory。它是模型训练工具的一种适合初学者无需编写代码快速上手操作。也是一个开源项目官方介绍如下模型训练基础如果了解并熟悉Transformer架构和 LoRA算法 或者 希望先上手微调训练可以跳过本部分查看后续操作步骤。有三点关键内容需要提前了解下基座模型微调方法以及训练参数。不然后面的操作过程中会有点懵。。。1. 基座模型先说 “基座”顾名思义就是我们的训练是基于一个“底座”的。不是完完全全从0 开始训练一个新模型。因为训练这个模型的目的只是希望加强它在某一领域的知识和能力不是取代现有大模型的通用能力。所以这个基座模型一般会选择开源模型中效果和开销比较平衡的。比如这里使用的DeepSeek-R1-Distill-Qwen-7B实测效果比 小规模的DeepSeek-R1-Distill-Qwen-1.5B好不少。❝Q关于这个名字怎么既有 DeepSeek又有 Qwen这么长一串到底啥意思A 这里涉及到开源大模型的命名规范 机构名/产品系列技术和知识来源规模。以“DeepSeek-R1-Distill-Qwen-7B” 为例。分为三个部分DeepSeek-R1DeepSeek 下的推理模型慢思考善于处理复杂逻辑内容Distill-Qwen通过蒸馏(distillation) 通义干问 Qwen2.5 的通用知识7B模型参数量70 亿它结合了 DeepSeek-R1的推理能力 qwen 的通用知识资源消耗也不大。这里我们只关心相关“行业数据”新闻的输出效果。而其他方面的能力在训练后可能会变弱例如计算能力写作能力等。2. 微调方法LoRA这块涉及到 Transformer 架构下的数学矩阵计算1模型参数被转化为了数字向量2向量的值是一个范围巨大的矩阵。为了方便理解这里以 100*100 的矩阵全秩矩阵表示原先的 模型参数量。3问题来了如果按照传统的训练微调全参数微调方式就要训练全秩矩阵中每一个(10000)的值工程量大 控制起来也复杂。有人就想出个优化的办法通过两个小矩阵相乘 [ 100 * 2 ] * [ 2 *100 ] 可以填充全秩矩阵100 * 100的每个单元。所以LoRALow-Rank Adaptation of Large Language Models方法就是精简训练上图 A B两个小矩阵。与LoRA 类似的训练小参方法还有 QLoRA、Adapter、P-Tuning。简单了解一下——3. 训练参数先看一眼基本的训练参数常用来调整的参数加粗表示下。训练阶段stage常用SFTSupervised Fine-Tuning有监督微调不常用 DPODirect Preference Optimization和 PPOProximal Policy Optimization学习率Learning Rate决定了模型每次更新时权重改变的幅度。过大可能会错过最优解过小会学得很慢或陷入局部最优解训练轮数Epochs太少模型会欠拟合没学好太大会过拟合学过头了最大梯度范数Max Gradient Norm当梯度的值超过这个范围时会被截断防止梯度爆炸现象最大样本数Max Samples每轮训练中最多使用的样本数计算类型Computation Type在训练时使用的数据类型常见的有 float32 和float16。在性能和精度之间找平衡截断长度Truncation Length处理长文本时如果太长超过这个阈值的部分会被截断掉避免内存溢出批处理大小Batch Size由于内存限制每轮训练我们要将训练集数据分批次送进去这个批次大小就是 Batch Size梯度累积Gradient Accumulation默认情况下模型会在每个 batch 处理完后进行一次更新一个参数但你可以通过设置这个梯度累计让他直到处理完多个小批次的数据后才进行一次更新验证集比例Validation Set Proportion数据集分为训练集和验证集两个部分训练集用来学习训练验证集用来验证学习效果如何学习率调节器Learning Rate Scheduler在训练的过程中帮你自动调整优化学习率页面上点击启动训练或复制命令到终端启动训练好了铺垫了这么多。终于可以动手操作了。模型微调实操下面就是从0 开始一步一步 微调我们需要的模型。相关测试数据和训练后的模型我放在公众号 【AI 热气球】中感兴趣的话可以回复1117获取。0. 环境准备既然是训练自然少不了显卡的加速通常有三种方式使用大模型提供商的在线微调服务、租用云平台的机器、本地自集成部署。数据安全方面考虑 本地自集成部署 租用云平台的机器 大模型提供商的在线微调服务成本开销方面考虑 本地自集成部署 租用云平台的机器 大模型提供商的在线微调服务这么一看优先选择“租用云平台的机器”完成小模型的训练和微调。毕竟我们这里数据不多一次训练大约1小时左右。而且用到的平台“魔塔” 为新用户提供36小时 带24g显卡云主机的使用优惠还是很划算的。申请并创建个人魔塔账号(https://modelscope.cn/home)过程中需要登录阿里云帐号。在“我的 Notebook” (https://modelscope.cn/home) 中启动GPU主机—— 版本选择Ubuntu 22.04的就行。点击“查看 Notebook”进入控制台界面后点击 “插件”按钮搜索并安装中文语言包。检查显卡工作正常# 检查显卡驱动和状态——rootdsw-1471676-9bf84dfcb-nmxqn: nvidia-smi Fri Nov 14 16:06:26 2025 -----------------------------------------------------------------------------------------| NVIDIA-SMI 550.127.08 Driver Version: 550.127.08 CUDA Version: 12.4 ||---------------------------------------------------------------------------------------| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC || Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. || | | MIG M. |||| 0 NVIDIA A10 Off | 00000000:00:09.0 Off | Off || 0% 26C P8 9W / 150W | 4MiB / 24564MiB | 0% Default || | | N/A |--------------------------------------------------------------------------------------- -----------------------------------------------------------------------------------------| Processes: || GPU GI CI PID Type Process name GPU Memory || ID ID Usage |||| No running processes found |-----------------------------------------------------------------------------------------rootdsw-1471676-9bf84dfcb-nmxqn:/mnt/workspace#1. llama-factory 工具安装因为是在云平台上训练模型云主机关机后除了个人工作目录/mnt/workspace下的数据都会被清空、还原。所以后续相关操作安装包下载 测试数据上传 训练模型合并、下载都是在/mnt/workspace这个目录下 。另外也为了llama-factory 环境运行依赖的 python 包之间不会冲突。一般建议使用conda 创建虚拟环境。我们这里 使用更轻量、便捷的社区版 “Miniforge”创建虚拟环境 。# 进入工作空间cd /mnt/workspace# 下载最新的 Miniforge 安装包wget https://github.com/conda-forge/miniforge/releases/download/25.3.1-0/Miniforge3-25.3.1-0-Linux-x86_64.sh# 执行安装bash Miniforge3-25.3.1-0-Linux-x86_64.sh# 安装过程中提示选择安装路径默认为 /root/minigorge3。修改成以下路径/mnt/workspace/miniforge3# 启用 Miniforge 配置和mamba 工具eval$(/mnt/workspace/miniforge3/bin/conda shell.bash hook)eval$(mamba shell hook --shell bash)# 创建名为“llama-factory”的虚拟环境mamba create -n llama-factory python3.10 如果下载慢 就多试几次# 激活虚拟环境mamba activate llama-factorymamba_activate_newvenv虚拟环境准备好后正式进入 llama-factory 安装环节# 克隆项目git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git# 进入项目cd LLaMA-Factory# 安装项目相关依赖pip install -r requirements.txt 第一次安装时间较长大约30分钟# 执行安装pip install -e .[torch,metrics]上述步骤完成llama-factory 工具就安装好了。先查看下当期版本后启动web界面llamafactory-cli versionllamafactory-cli webuillama-factory_webui启动成功后VSCode 会提示 打开一个http页面。该页面映射刚启动的llama-factory web 服务http://127.0.0.1:7860。打开网页看到如下页面表示 llama-factory 已经启动成功了。2. 基座模型下载这一步中需要下载用到的基座模型DeepSeek-R1-Distill-Qwen-7B。具体操作如下# 同样需要把模型保存在工作目录 /mnt/workspace 下mkdir /mnt/workspace/Hugging-Face# 配置huggingface-hub 下载加速和路径export HF_ENDPOINThttps://hf-mirror.comexport HF_HOME/mnt/workspace/Hugging-Faceexport HF_HUB_DOWNLOAD_TIMEOUT30# huggingface_hub1.0 时执行下载# 测试的话可以试试这个小模型huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B# 推荐使用7B这个模型huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-7B❝如果模型下载速度太慢的话参考这篇文章如何快速下载huggingface模型——全方法总结https://zhuanlan.zhihu.com/p/663712983?s_r0下载完成后 在指定的目录/mnt/workspace/Hugging-Face中可以看到多出一个目录 叫“models–deepseek-ai–DeepSeek-R1-Distill-Qwen-7B”这个就是刚才下载完成的模型。然后复制模型路径稍候启动参数时需要指明模型具体位置。# 复制7b模型位置路径/mnt/workspace/Hugging-Face/hub/models--deepseek-ai--DeepSeek-R1-Distill-Qwen-7B/snapshots/916b56a44061fd5cd7d6a8fb632557ed4f724f60# 如果下载了1.5b的模型路径就是这样的 /mnt/workspace/Hugging-Face/hub/models--deepseek-ai--DeepSeek-R1-Distill-Qwen-1.5B/snapshots/ad9f0ae0864d7fbcd1cd905e3c6c5b069cc8b5623. 基座模型运行测试先测试当前下载的模型加载、执行是否正常在已经打开的llama-factory 页面中语言切换至“zh”指定“模型名称”和“模型路径”。然后点击“Chat” – “加载模型”提示加载成功后。输入用户 input查看模型响应LLaMA_Factory_running如上图表示模型正常响应可以继续操作。4. 上传训练数据训练数据格式有展示过这里有两个数据文件配置文件需要上传到 云主机上。其中train.json为训练用数据eval.json为评估数据。dataset_info.json 为相关配置文件。# dataset_info.json 配置文件内容{ train: { file_name: train.json, formatting: sharegpt }, eval: { file_name: eval.json, formatting: sharegpt }}# 上传这三个文件到以下目录/mnt/workspace/LLaMA-Factory/data/example_newsdata5. 微调模型模型准备好了训练数据也有了。“微调方法” 默认就是 lora。这里就可以开始调整微调参数了——点击“Train” 界面“训练阶段”中默认是SFT有监督微调不用修改。“数据路径”和 “数据集”选择上一步中的训练数据集“train”。修改微调相关参数如“学习率” - 5e-4, “训练轮数” - 10“梯度累积” - 4, “LoRA 学习率比例” - 16, “LoRA 作用模块” - “all”。点击“开始”按钮llama-factory 会加载模型和训练数据 进行训练。进行过程中会有一副关于训练损失和训练步数的关系图。不同训练参数和模型其训练时长不等。这里 20轮训练下来 差不多25分钟左右。训练期间 云主机 GPU 发力工作最终训练好的模型输出在上面的“输出目录”中。后续可以基于此次训练结果进行评估和测试。6. 人工测试回到 “Chat”界面加载刚训练得到的模型检查点“train_2025-11-14-17-23-08”。手动测试下新模型的效果——测试两三次感觉起来好像还行。模型微调的过程就告一段落了。但到底新模型效果如何还是需要数据说话——新模型评估我们之前不是准备了 评估数据集 “eval.json” 么此时派上用场。点击“Evaluate Predict” 界面“数据路径”和 “数据集”选择之前上传的数据集“eval”。其他评估参数保持默认点击“开始”按钮。完成后注意其中 “predict_rouge-1”的分数。这个分值越高表明新模型生成质量越好。上图中该值为53.85——说明新模型生成的文本与评估数据eval.json在单词级别上有 53.85%的重合。新模型导出此时新训练出来的模型还在云主机上。我们怎么把它拖到本地呢1. 首先导出模型点击“Export” 界面“导出设备” -auto在“导出目录”中输入模型导出路径后点击“开始导出”。llama-factory_export_model看到“模型导出完成”代表成功导出了此次训练出来的新模型。在云主机 VSCode界面中也可以看到新模型有哪些文件组成——export_modelfiles但是这些模型文件不能直接在本地使用 Ollama 调用。我们需要用到第二个开源工具——llama.cpp。2. 使用llama.cpp 工具使用 llama.cpp 工具可以将上述模型文件转为一个 .gguf 格式的文件。而后者是可以在ollama 平台中加载、运行的。❝与传统基于 Python 的 AI 框架如 PyTorch/TensorFlow不同llama.cpp 选择回归底层语言C/C的实现策略。这种设计使其摆脱了 Python 解释器、CUDA 驱动等重型依赖通过静态编译生成单一可执行文件在资源受限环境中展现出独特优势。这里同样在云主机中完成转换工作——# 在Vscode中新建一个会话终端并进入工作目录cd /mnt/workspace# 克隆项目文件git clone --depth 1 https://github.com/ggerganov/llama.cpp.giteval$(/mnt/workspace/miniforge3/bin/conda shell.bash hook)# [Option] 创建名为llama.cpp的新虚拟环境mamba create -n llama.cpp python3.10eval$(mamba shell hook --shell bash)mamba activate llama.cpp# 安装项目所需依赖包pip install -r llama.cpp/requirements.txt# 最后执行格式转换python3 llama.cpp/convert_hf_to_gguf.py ./export_models/deepseek-r1-1.5b-merged --outfile ./dsr1_1.5b_newstype.gguf格式转换成功——INFO:gguf.gguf_writer:Writing the following files:INFO:gguf.gguf_writer:dsr1_1.5b_newstype.gguf: n_tensors 339, total_size 3.6GWriting: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3.55G/3.55G [00:5600:00, 63.3Mbyte/s]INFO:hf-to-gguf:Model successfully exported to dsr1_1.5b_newstype.ggufollama 上运行新模型下载dsr1_1.5b_newstype.gguf文件到本地目录如D:\download\export_models中。然后创建一个名为ModelFile的配置文件。注意该文件没有后缀名。文件中内容如下FROM ./dsr1_1.5b_newstype.gguf# set the temperature to 0.7 [higher is more creative, lower is more coherent]PARAMETER temperature 0.7PARAMETER top_p 0.8PARAMETER repeat_penalty 1.05TEMPLATE {{ if .System }}|im_start|system{{ .System }}|im_end|{{ end }}{{ if .Prompt }}|im_start|user{{ .Prompt }}|im_end|{{ end }}|im_start|assistant{{ .Response }}|im_end|# set the system messageSYSTEM You are a news category assistant.确认本机ollama 服务正在运行。执行以下命令完成 新模型的导入——ollama create deepseek-r1_1.5b_newstype --file D:\download\export_models\ModelFile导入成功ollama_run后续会很方便在 AI 应用中直接调用这个训练好的模型。如今为何不建议自己训练模型我想有两方面原因现有模型80%~90% 是基于transformer架构的生成式AI该架构下的AI响应结果严重依赖训练数据因为模型自己是不会推理的。而有用的小模型需要行业大量的数据。如果数据不够真实上线时会放心交给模型自己去猜所以在数据量不足的前提下花时间、金钱去训练自己的模型是在找死。但是反过来说如果自己的数据量充足这个训练就很有意义了——一定场景下可以实现低成本和快速响应通用大模型的能力在快速迭代他们获取数据的广度和成本不是 中小公司可以匹敌的。两者的维度不一样存在跨维打击的可能。每人希望看到今天花了100W得到的模型 视为珍宝明天就被通用模型超越变成黄花的局面。除非自己领域的数据市面上没有第二家。所以本质上要看行业数据的情况而定如果样本足够多样本足够稳定才可以考虑微调训练自己的模型。另外在关于微调和 RAG的对比上——对比维度模型微调RAG核心逻辑让模型学会新知识或技能改变其内部参数为模型提供外部知识利用其现有能力进行回答时间成本长数据准备、训练、迭代短主要工作是知识库构建资金成本高训练计算、评估、迭代成本低主要是构建和检索成本适用场景改变模型行为、学习隐性知识如风格、格式、复杂推理查询动态、具体的事实性知识要求信息溯源数据需求需要高质量、大规模的标注数据集力求覆盖所有场景按需提供需要什么知识就准备什么文档技术门槛高需机器学习/深度学习专业知识相对较低更多是工程和数据处理迭代与维护困难更新知识需重新训练或增量训练简单直接增删改知识库文档即可实时性差知识固化在模型中无法感知新信息好知识库更新后立即可用响应速度生成速度快推理阶段无需额外检索整体响应较慢需检索生成两个步骤可解释性/溯源差是黑盒无法确认答案来源好可以提供引用的原始文档片段幻觉问题可能基于错误学习产生幻觉能有效减少幻觉答案基于提供的事实想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”