企业网站建设能开广告服务费吗,个人网页设计下载,电子商务网站建设市场,江西省城乡建设厅网站查询证件数据预处理是指将原始数据读取进来使得能用机器学习的方法进行处理。 首先介绍csv文件#xff1a; CSV 代表逗号分隔值#xff08;comma-separated values#xff09;#xff0c;CSV 文件就是使用逗号分隔数据的文本文件。 一个 CSV 文件包含一行或多行数据#xff0c;每一…数据预处理是指将原始数据读取进来使得能用机器学习的方法进行处理。 首先介绍csv文件 CSV 代表逗号分隔值comma-separated valuesCSV 文件就是使用逗号分隔数据的文本文件。 一个 CSV 文件包含一行或多行数据每一行数据代表一个记录。每个记录包含一个或多个数值使用逗号进行分隔。另外一个 CSV 文件中的所有数据行都包含相同数量的值。 我们通常使用 CSV 文件存储表格数据很多软件都支持这种文件格式例如 Microsoft Excel新建工作簿保存为.csv即可 和 Google Spreadsheet。 python可以使用内置的csv模块读取csv文件。 一、数据预处理 1.首先要找到jupyter notebook创建地文件存放地位置。
找到该路径。 可以看出jupyter与保存地本地文件夹一致。 2.在jupyter notebook里的DataSolving中编写代码 说明1os.makedirs()用于递归地创建目录exist_okTrue指定后如果该目录已存在也不报错 2os.path.join()用于组合一个或多个路径名,os.path.join(‘…’,‘data’,‘house_tiny.csv’)的返回值为…\data\house_tiny.cssv。 程序运行之后 本地打开文件 3.也可读取.csv文件使用pandas。 4.可以使用fillna()对.csv文件中的空值不是0而是缺失进行填充。 可以看到NumRoom那一列的空值被填上了均值data.mean()表示一列的空值处填充该列原本不为空的元素的均值而Alley那一列的空值没有被填充因为该列是字符串没有均值。 对于不是数值的可以将空值是为一个类别处理如下 5.将从.csv文件中读取的数据转为torch张量。 二、矩阵 1.创建矩阵和矩阵的转置。 2.矩阵与向量的乘积torch.mv([矩阵名][向量名]) 3.矩阵与矩阵的运算torch.mm([矩阵名][矩阵名]) 4.矩阵的范数 5.矩阵计算求导 基于高数的知识y3x^22x,y’6x2当x2时y’14。该过程用pytorch实现为 说明1创建一个张量x,并设置其requires_grad参数为True程序将会追踪所有对于该张量的操作当完成计算后通过调用.backward()自动计算所有的梯度梯度相当于导数即方向导数的最大值这个张量所有的梯度将会自动累积到grad属性。这里x.grad是y关于x的导数。 2创建了一个关于x的函数y,torch.pow(x,2)相当于x2即x的平方。 3y.backward()是利用反向传播机制。 三种不同的求导情况 1张量对标量求导 可以这样理解 2标量对张量求导 看下面的例子 设x[x1,x2,x3],则zx12x22x326,则 标量对向量求导本质上是函数对各个自变量求导这里只是把各个自变量看成一个向量。 3张量对张量求导 理解 现有如下问题已知 其中函数f(y1,y2,y3)的具体定义未知现在求 根据多元函数求导法则 上面3个等式可以写成矩阵相乘的形式 叫做雅可比式雅可比式可以根据已知条件求出哪怕不知道f(y1,y2,y3)的具体形式。 上面的张量是由pytorch的backward函数的gradient参数提供。 用pytorch实现 和代码运行结果一样。 补充
