网站建设优化的技巧西安北郊做网站公司

网站建设优化的技巧,西安北郊做网站公司,海尔集团网站是怎么做的,网站建设公司公司我我提供一个平台本周的课程以逻辑回归为例详细介绍了神经网络的运行#xff0c;传播等过程#xff0c;其中涉及大量机器学习的基础知识和部分数学原理#xff0c;如没有一定的相关基础#xff0c;理解会较为困难。因为#xff0c;笔记并不直接复述视频原理#xff0c;而是从基础开始传播等过程其中涉及大量机器学习的基础知识和部分数学原理如没有一定的相关基础理解会较为困难。因为笔记并不直接复述视频原理而是从基础开始尽可能地创造一个较为丝滑的理解过程。首先经过之前的第二部分内容学习我们了解了机器学习中的分类是什么以及逻辑回归算法而本篇延续逻辑进行传播部分的讲解。这一部分则涉及较多的数学基础同样会在笔记中进行补充本篇更偏向于补充数学基础。依旧以一个问题来引入现在我们知道了逻辑回归如何得到分类结果但想要预测结果更准确拟合效果更好我们便要寻找使结果最优的权重和偏置那如何得到这两个数呢我们以此开始本篇笔记的内容。1.导数要寻找使结果最优的权重和偏置便要以一种合适的规则来对二者不断地更新得到最优的结果什么样的更新方法最好最合适这便涉及到效率问题而当我们想提高效率时总是离不开数学的。 导数便是这一部分的基础。1.1 什么是导数老样子先摆一个导数的概念导数是一个基本的数学概念主要用于分析函数的变化率。简单来说导数表示一个函数在某一点的瞬时变化率或者说是该点切线的斜率。斜率的概念我们不陌生两点确定一条直线用两点纵横坐标的差作除法就得到这了这条直线的斜率。为了便于理解的同时不涉及太多的数学内容我们先不摆导数的公式用课程中的例子来进行说明Pasted image 20251008152958如图这是一个函数图像我们标记了当和的两点而这两点对应的函数值和, 连接两点和其对应的移动距离便构成图中的小三角形我们不难得到这样的结论当我们把从2向上移动了0.001时其对应的函数值增加了0.003即这条直线的斜率为3。而刚刚在概念里提到导数是一个点切线的斜率问题来了当我们只知道切点的时候如何才能的得到这个点切线的斜率这便涉及微积分中极限的概念我们现在再来看导数的公式简单解释一下就代表的一阶导数。代表是一个无限趋近于0非常非常小的增量比例里的0.001还要小的多无法度量。只有在这样的情况下我们连接和得到的才是点的切线如图所示例Pasted image 20251008160658知道了如何得到导数后现在我们回到刚刚的两个点上结合刚刚的概念我们便得到如下结论假设0.001可以当作时函数在这一点的一阶导数值为3。可以发现我们强调了导数值是针对一个具体的点所说的而斜率往往针对一条线这便是二者在概念上的其中一点不同。继续看这个函数我们会发现其实这个函数在任何一点上的导数值都是3因为它的任何一点的切线都是函数图像本身再说斜率在这个函数里无论取相隔多远的两个点其产生的函数值的变化都是都是3倍。对这个简单的函数我们无需多想便可以得出这代表在任何一点的导数值都等于3不同于刚刚只针对一个点的说法描述了原始函数在每一点的瞬时变化率我们便称之为导函数。1.2 如何得到导函数刚刚通过一个导函数恒定的例子来解释导数但实际上想得到导函数找到函数变化的规律不会这么简单我们来看一个更复杂的情况Pasted image 20251008165415不再重复赘述过程。经过计算我们可以发现函数在这一点的一阶导数值为4在这一点的一阶导数值为10。这说明导函数和函数一样也需要变量。先摆结论时这是查表得到的不多描述原理简单来说各种基本函数有其规律可以总结出其导函数而复杂函数也就是基本函数的组合同样可以通过运算得到其导函数。在这里我们只需要知道我们用导函数得到函数在各个点的瞬时变化率而我们只要查表得到导函数即可。1.3 如何得到多变量函数的导函数我们已经知道如何得到单变量的导函数了现在再扩展一下当变量从单个变为两个甚至多个的时候呢实际上多变量的函数才是更符合神经网络的因为我们大多情况下都不会只输入一种特征而往往是多种特征来作为输入。现在我们来看这样一个函数这个函数有两个变量而且这两个变量互不相关如何求这样同时有两个量变化的函数的导函数现在摆一个偏导数的概念偏导数是多变量函数最常见的求导方式适用于多变量函数中求某一特定变量对函数的影响。它计算的是在其他变量固定不变时函数相对于某一变量的变化率。计算偏导数的步骤与普通导数类似只是要记住在求某个变量的偏导数时其他变量视为常数。我们来进行一下分别对变量和的偏导数。看一下偏导数的表示方式及其对应的结果对的偏导数表示对的偏导数表示现在我们得到了对和的偏导数,这两个偏导数便代表了两个变量分别对函数的影响其变化率。这一节其实全部是在补充数学方面的基础在了解了导数方面的基础后这些知识到底怎么帮助我们训练权重和偏置呢我们展开下一部分。2.梯度下降法2.1 什么是梯度我们知道了怎么求多变量的导函数现在再看一下的图像Pasted image 20251009104430我们已经通过偏导数知道了在函数任意一点上该点在方向和的变化率简单举例解释在这个点上函数在方向和的变化率为和。于是我们便知道了在这一点上函数在方向变化的比在方向上的变化更快。通俗来说把图像看作山坡在这一点的位置上方向比方向更“陡”。可问题又来了不同于单变量函数只能一条线上移动当变量增加为两个图像也由线扩展为面同样以山坡为例我们不仅可以单独改变或者也就是“直着走”我们也可以同时改变和来“斜着走”。在这样的情境下函数图像就是真正的山坡而我们站在某一点的位置上只要不“穿模”走到图像外便可以向山坡的任何方向移动。由此我们引入梯度的概念梯度是由函数的偏导数组成的向量每个分量表示该函数在对应变量方向的变化速率。梯度的方向是函数值变化最快的方向而梯度的大小则表示在该方向上的变化率的大小。依旧以来说明这个概念,已知梯度向量是由函数的偏导数组成的向量,那么本题中的梯度向量就是:我们现在站在上,即:我们再通过叙述理解一下这两个式子:首先,我们将函数对两个变量的偏导数组合成立一个二维向量,这个向量的每个元素代表都代表一个变量在该方向的变化率。而当我们代入具体位置时便得到对应的梯度向量,这两个变化率组合成一个二维向量这个向量指向的便是变化最快的方向。我个人的理解来说针对两个变量的函数它在x,y的方向的偏导就像直角三角形的两条直角边得到的斜边最长其指向的方向就是变化最快的方向而换一个方向这个角就不一定是直角经过映射就会让直角边变短总而言之,梯度指向的是局部变化速率最大的位置。如下图所示的方向即是在时移动时让函数值变化最大的方向。也就是“最陡的方向”。Pasted image 20251009124007这里我们通过例子说明的梯度是什么实际上如果还想更深入的理解可以再了解一下方向导数如何理解梯度(方向导数的最大值 这为up主的视频可以很好的讲解。但是涉及到向量计算我们只在这里理解梯度的含义便于服务神经网络即可。2.2 什么是梯度下降法回到神经网络里来我们之前在第一周的课程里提过监督学习就是学生可以在考试-对答案-考试的重复中不断提高自己的成绩。而要不断提升模型效果我们就要让每一次对答案时我们的作答和答案的差别越来越小只有这样我们才能达到训练的效果。也就是说训练权重和偏置可以看做一个输出和标签的差别最小化问题。我们把计算所有输出和标签的总差别的函数叫做成本函数我们在了解完梯度下降法后再聊它们。而怎么最快的找到最佳的参数让成本函数的结果最小其实从梯度下降法的名字就可以看出来了。我们通过梯度得知了函数值变化最快的方向而又根据导数本身的定义我们又知道了梯度的方向其实是上升的方向。那么当我们想要让函数值最小时只要顺着梯度的反方向走即梯度下降的方向走不就能最快的达到最小值从山坡下到平地了吗现在给出梯度下降法的概念梯度下降法是一种优化算法常用于在多维空间中找到一个函数的最小值。简而言之它就是通过沿着梯