网站方案建设书王烨画家简历

网站方案建设书,王烨画家简历,做电焊加工的网站,自己的网站怎么在百度上面推广有人担心pandas处理数据的效率是不是不咋地。pandas是基于numpy数组来计算的#xff0c;其实本身有优势#xff0c;处理小批量数据集#xff08;百万行以下#xff0c;1GB以内#xff09;效率是完全可以接受的#xff0c;相比其他的数据处理库其实差异不大#xff0c;因…有人担心pandas处理数据的效率是不是不咋地。pandas是基于numpy数组来计算的其实本身有优势处理小批量数据集百万行以下1GB以内效率是完全可以接受的相比其他的数据处理库其实差异不大因为1GB以内的容量对电脑内存的占用并不大且单核处理起来也不吃力这时候Pandas的速度和便捷性综合优势能发挥到最大。但如果超出1GB的数据由于计算资源吃紧和内存过载的关系pandas就会显得心有余而力不足一些复杂的数据处理操作会很消耗时间比如groupby、apply等。如何优化Pandas的速度呢首先得知道pandas的哪些骚操作会让它变慢。首当其冲的就是逐行循环操作比如apply方法是对每一行执行函数操作这会促发触发 Python 解释器开销速度非常的慢。比如你对每一行执行多字段判断操作比如math 90, english 90 则返回“优秀”使用apply方法哪怕每一行只消耗0.0001秒那处理一千万行的数据也需要17分钟这是觉得没法忍受的。如果你真的需要对每一行做处理可以用numpy向量化来实现可以用np.select多分支条件来实现会比apply方法快上百倍以上因为numpy是批量处理的。import numpy as np # numpy向量化处理 condition (df[math] 90) (df[english] 90) df[result_np_where] np.where(condition, 优秀, 一般)另外导致pandas变慢的还有它的数据类型因为pandas默认使用高精度类型这就导致无效内存占用过高比如int64会比int8多8倍的内存。对于精度要求不高的数据你可以在加载数据的时候去调整下数据类型把高精度调整为合适的低精度比如年龄字段int8精度就够了没必要int32或者int64。# 指定数据类型 dtype_opt {id: int32, age: int8, price: float32} df pd.read_csv(data.csv, dtypedtype_opt)还有重复的字符串不需要都用object类型比如省份名称可以用category类型这样占用的内存会降低。df[province] df[province].astype(category)在读取数据文件的时候很多人默认全部读取到内存这对于几十M的小文件来说没什么但如果是几GB的大文件则会很快占满内存导致数据处理变慢。所以可以用pandas自带的分块加载chunksize的方式将大文件分为n个小文件分批去读取并处理这样可以把几GB的大文件拆解成N个几十M的小文件pandas处理起来就毫无压力。chunk_size 50000 # 每次读取5万行 results [] for chunk in pd.read_csv(huge_file.csv, chunksizechunk_size): chunk chunk[chunk[value] 0] # 过滤处理 results.append(chunk.groupby(category).sum()) final_result pd.concat(results).groupby(level0).sum() # 合并结果当然以上的优化方法也只使用pandas处理中小规模的数据对于大数据集尽管优化后速度提升也不会明显。大数据集有大数据集的处理手段有不少类pandas的替代加速库可以使用比如polars、dash、modin、cudf等它们采用并行计算、分布式或者硬件加速的方式来加快数据处理速度。而且它们大多是用pandas的接口函数、方法和pandas类似切换的学习成本很低比如Polars、Modin、cuDF。那什么场景下使用对应的数据处理库呢就像之前说的小数据集或者快速验证的数据可以用pandas单机处理中大数据集用Polars或Modin分布式处理超大数据集用Dask有GPU加速用cuDF复杂查询则用DuckDB。总的来说Pandas则绝大多数场景下速度已经够用了而且它的生态和功能是最完善的其他加速库尽管速度上有优势但体系能力还是差不少的。