天津网站开发建设公司浦东新区做网站公司

天津网站开发建设公司,浦东新区做网站公司,网站建设实践鉴定,wordpress 企业网站教程今天继续进行机器学习算法的学习#xff0c;在上一篇博客中我们介绍了knn算法和线性回归。逻辑回归其实是在线性回归的基础上演变出来的。逻辑回归的作用#xff1a;实现二分类。原理拆解#xff1a;本质#xff1a;为什么说逻辑回归还是线性模型#xff0c;因为逻辑回归本…今天继续进行机器学习算法的学习在上一篇博客中我们介绍了knn算法和线性回归。逻辑回归其实是在线性回归的基础上演变出来的。逻辑回归的作用实现二分类。原理拆解本质为什么说逻辑回归还是线性模型因为逻辑回归本质上就是通过找到一条线把数据分成两类。如图我们用一条线分隔红色和绿色的数据集。求解直线我们通过极大似然函数来求解直线方程。思路和我们上一篇博客线性回归是一样的我们通过“把所有数据集带入直线得到分类的概率的累乘取得最大值”这个关系来求解方程系数。具体操作容易知道红色数据集带入直线方程得到负数值绿色数据集带入方程得到正数值即我们可以通过数据集带入方程得到结果的正负实现分类。我们先介绍一个函数sigmoid,如上图所示这个函数把实数集投射到0到1之间并且有如图所示特征。那么我们把数据集带入直线方程的结果带入sigmoid函数就能实现当结果小于0.5为红色类当结果大于0.5为绿色类。我们可以找到这样一条直线这条直线的参数回归系数使得红色类带入方程结果趋向0绿色类结果趋向1。于是我们可以把直线方程带入sigmoid函数得到的函数h(x)看作每个数据取得相应分类的概率这里我们有一个处理根据sigmoid函数的特点红色数据集带入我们构造的函数h(x),结果会趋向0我们可以把1-h(x)看作为分类的概率。如图整合我们就得到了任意数据点属于相应分类的概率把所有数据点取得相应分类的概率累乘我们所需要求解的直线应该使得这个概率最大。即我们把求解似然函数的最大值转化为最终目标函数的最小值这样我们就可以使用梯度下降的方法来求函数最值梯度下降法假设我们在图中彩色区域看作一片大山我们如何到达山脚呢到达山脚的方法也就是求的整个函数的最小值。我们采取这样的方法下山我们现在位于山上某个位置观察坡度最陡峭的方向朝这个方向前进一个固定距离再次重新观察最陡峭的方向前进相同距离以此类推。把这样的步骤转化为数学求解函数最小值就是我们的梯度下降法从函数上某一点开始沿着方向导数的方向变化率最大前进一个步长循环往复从而得到最小值。有人可能想到我们随便从山上某一点出发也可能没走到山脚最终走到山中间的某个山沟子确实有这样的情况所以我们可以采取多个起始点来避免某个点出现这种情况。这就是我们逻辑回归算法的内在原理。我们根据自己制定的步长来训练算法模型。案例实现银行贷款申请判别系统这里是部分数据总表格包含三十万条数据最后class为判定结果0和1。我们先用python 画图直观看一下标签数据class:画图代码#画图 import matplotlib.pyplot as plt from pylab import mpl #matplotlib不能显示中文借助于pylab实现中文显示 mpl.rcParams[font.sans-serif][Microsoft YaHei]#显示中文 mpl.rcParams[axes.unicode_minus] False Labels_count pd.value_counts(date[Class])#统计data[class]中每类的个数L6print(labels_count) plt.title(正负例样本数) #设置标题#设置x轴标题 plt.xlabel(类别) plt.ylabel(频数)#设置y轴标题 Labels_count.plot(kindbar)#设置图像类型为bar plt.show() #显示数据极度样本不均衡运行案例代码设计思路导入相关库逻辑回归数据处理对文件数据处理读取标准化这里只有amount列需要标准化删除序号列分割成训练数据和测试数据模型训练模型评价。案例代码实现import pandas as pd from sklearn.preprocessing import StandardScaler, MinMaxScaler datepd.read_csv(creditcard.csv) print(date.head()) #打印前五行数据 scaler_z StandardScaler() #初始化类 date[Amount]scaler_z.fit_transform(date[[Amount]]) #实现标准化注意.fit_transform方法需要二维数据因此使用双括号 date.drop(columnsTime,inplaceTrue)#删除列后面参数表示直接在原表格中删除 from sklearn.model_selection import train_test_split X date.drop(Class, axis1) # 特征集二维DataFrame y date[Class] # 标签集一维Series X_train, X_test, y_train, y_test train_test_split( X, # 特征集 y, # 标签集 test_size0.3, # 测试集占比如0.2表示20%测试集80%训练集 random_state42 # 随机种子固定值可让每次切分结果一致 ) from sklearn.linear_model import LogisticRegression # 初始化逻辑回归模型关键参数说明见下文 lr LogisticRegression( random_state42, # 随机种子保证结果可复现 max_iter1000, # 最大迭代次数解决收敛警告 C1.0 # 正则化强度C越小正则化越强防止过拟合 ) # 训练模型传入标准化后的训练集 lr.fit(X_train, y_train) y_prelr.predict(X_test) print(lr.score(X_test,y_test)) from sklearn import metrics print(metrics.classification_report(y_test, y_pre))运行结果评价模块可以看到我们的score函数得到了0.99这样的概率看似模型训练的很好那么银行是不是可以使用我们的模型了呢答案是否定的。我们的score得到的评价结果完全基于准确率预测值和真实值相同占全部数据的比例。但是我们银行最看重的是预测值的真实率即我们预测结果为1假设1代表是老赖如果我们判定误判了老赖可以贷款对银行将是巨大的损失可以看到运行结果的recall和1对应的结果预测值为真的概率只有0.62因此我们的模型对饮银行来说是完全不可行的这个概率称为召回率。同样我们还有精确率真实值判定为真的概率。召回率即tp/(tpfn)补充过拟合欠拟合如图模型训练的不够为欠拟合训练过头了为过拟合参数很复杂我们最好的模型应该是中间这张图因为这两个叉叉应该是异常数据。欠拟合训练不够理解为我们下山走的步长次数不够。过拟合训练次数过多即步长稍大我们走的次数又很多于是在山脚来回横跳。如何防止过拟合正则化惩罚因为我们求的参数是为了取得目标函数最小值可是如果多个参数为0函数值当然小但是参数为0代表相应的特征对模型没有影响这显然是不合理的我们在目标函数后面加上一个关于参数的正则化惩罚关于参数的一个函数最简单如参数的和避免这样的情况。