做外贸比较好的网站有哪些婚庆公司简介

做外贸比较好的网站有哪些,婚庆公司简介,企业门户网站建设情况汇报,深圳工程建设交易中心https://blog.csdn.net/weixin_45655710?typeblog浙大疏锦行 DAY 34 GPU训练及类的call方法 知识点回归#xff1a; CPU性能的查看#xff1a;看架构代际、核心数、线程数GPU性能的查看#xff1a;看显存、看级别、看架构代际GPU训练的方法#xff1a;数据和模型移动到G…https://blog.csdn.net/weixin_45655710?typeblog浙大疏锦行DAY 34 GPU训练及类的call方法知识点回归CPU性能的查看看架构代际、核心数、线程数GPU性能的查看看显存、看级别、看架构代际GPU训练的方法数据和模型移动到GPU device上4.类的call方法为什么定义前向传播时可以直接写作self. fc1(x)ps在训练过程中可以在命令行输入nvida-smi查看显存占用情况作业这里我们定义剩余时长总时长-必须的计算时长3s可以多做几次实验来对比下记录次数和剩余时长的分布关系很容易以为这二者是成正比的下表为我在我的本地电脑上的测试结果总记录间隔轮 记录次数次 剩余时长秒100 200 10.43200 100 10.021000 20 10.122000 10 9.74可以发现记录次数和剩余时长之间并无明显的线性关系。思考下为什么我目前的理解是losses. appendloss. item是一个同步操作, gpu需要等待cpu完成才能开启下次运算。但是仍然无法解释为为什么剩余时长和记录次数之间没有线性关系。复习今天的内容在巩固下代码。思考下为什么会出现这个问题。今天的核心挑战在于理解CPU 与 GPU 的协作机制。你观察到的“非线性关系”实际上揭示了深度学习系统中最关键的性能瓶颈。一、 核心问题为什么“剩余时长”与“记录次数”不成正比你发现记录 200 次耗时 10.43s而记录 10 次也要 9.74s。虽然次数减少了 20 倍时间却只减少了不到 1s。这说明loss.item()的同步操作并不是导致耗时的唯一原因。以下是深度解析1. Python 循环的“底噪” (Loop Overhead)无论你是否记录 LossPython 的for epoch in range(20000)都要跑 2 万次。Python 作为解释型语言处理 2 万次循环本身就有显著的开销创建变量、判断条件、循环控制。结论即使你完全不记录 Loss这 2 万次循环的“空转”时间加上 GPU 核心启动开销已经构成了一个巨大的时间基数。2. 同步开销的“阈值效应” (Synchronization Overhead)loss.item()确实是一个同步操作它迫使 CPU 停下来等待 GPU 传回数据。当记录频繁每 100 轮一次时这种等待会打断 GPU 的流水线造成频繁停顿。但当记录稀疏每 1000 轮一次时虽然停顿减少了但由于数据量实在太小GPU 算得飞快CPU 在处理 Python 逻辑时的延迟Latency反而成了主导因素。类比你坐电梯下楼取快递。如果你每层都停记录频繁电梯很慢如果你直达一楼记录稀疏电梯快了。但无论电梯多快你从家里走到电梯口的时间Python 逻辑开销是固定的。3. GPU 任务提交的异步性PyTorch 的指令提交是异步的。CPU 负责“发命令”GPU 负责“干活”。在没有loss.item()时CPU 发完 100 条命令就去忙别的了GPU 在后面慢慢排队。只有当你执行loss.item()时CPU 才会说“等等那 100 条命令算完的结果给我。”非线性原因当记录次数降到一定程度后GPU 的处理速度已经远超 CPU 提交命令的速度此时限制速度的是 CPU “发命令”的频率而不是“同步”的次数。二、 作业任务 1重构 Heart Disease 预处理类利用今天学到的__call__方法我们可以让数据预处理模块变得像 PyTorch 的nn.Module一样简洁好用。# -*- coding: utf-8 -*-importpandasaspdfromsklearn.preprocessingimportStandardScalerfromsklearn.imputeimportSimpleImputerclassHeartPreprocessor:def__init__(self,strategy:strmedian,scale:boolTrue):初始化定义预处理策略self.imputerSimpleImputer(strategystrategy)self.scalerStandardScaler()self.scalescaledef__call__(self,X:pd.DataFrame,is_train:boolTrue)-pd.DataFrame: 使实例可以像函数一样被调用。 is_train: True 表示训练模式fit_transformFalse 表示测试模式transform print(f[Preprocessor] 正在处理数据 (模式:{训练ifis_trainelse测试})...)# 1. 缺失值填充ifis_train:X_filledself.imputer.fit_transform(X)else:X_filledself.imputer.transform(X)# 2. 标准化 (根据初始化参数决定)ifself.scale:ifis_train:X_processedself.scaler.fit_transform(X_filled)else:X_processedself.scaler.transform(X_filled)else:X_processedX_filledreturnX_processed# --- 期待的用法演示 ---# preprocessor HeartPreprocessor(scaleTrue)# X_train_p preprocessor(X_train, is_trainTrue) # 触发 __call__# X_test_p preprocessor(X_test, is_trainFalse) # 再次触发三、 作业任务 2寻找 GPU 的“起飞点” (思考题)数据量级推测对于鸢尾花这种简单的全连接网络通常数据量达到10 万到 100 万行以上或者Batch Size 增大到几千时GPU 的并行计算优势才会抵消掉数据传输的开销。图像识别场景在 ImageNet约 120 万张图片上训练。使用GPU(如 RTX 3090)通常需要几小时到几天。使用CPU由于无法并行处理庞大的卷积运算训练时长可能会变成几周甚至几个月。四、 作业任务 3整理__call__逻辑问为什么nn.Linear实例化后可以直接被调用答因为nn.Linear继承自nn.Module而nn.Module类内部定义了__call__方法。当我们像函数一样调用实例时Python 会自动执行__call__它会帮我们完成钩子函数触发、状态检查等一系列复杂工作并最终调用我们定义的forward方法。 总结感悟通过今天的实验你应该明白算力不是万能的通信和调度才是瓶颈。在未来的大模型训练中我们会学习“分布式训练”那时候如何减少 CPU、GPU 甚至多台服务器之间的通信将是决定成败的关键。作业完成得非常棒继续保持这种“多做实验、对比数据”的习惯加油