深度学习神经网络核心概念

编者最近都在忙着梳理一些深度学习的框架,所以更新慢了。编者从事嵌入式人工智能方向,人工智能方向一直认为自己才疏学浅,后学末进,所以一直学习但是没有整理,这次内部一个分享迫使不得不重视起来。卷了几个周末,累啊!陆续也会把自己整理出的东西分享一下。

1、深度学习的两类问题1.1 线性回归1.2 softmax分类
2、梯度下降算法2.1 什么是梯度2.2 梯度下降算法步骤
3、神经网络基础3.1 神经元3.2 前向传播3.3 反向传播3.4 神经网络
4、模型训练的一般步骤

1、深度学习的两类问题

深度学习的应用:计算机视觉、自然语言处理、推荐系统、语言处理等

机器视觉主要处理的问题:图像分类、目标检测、图像分割、目标追踪。

自然语言处理:人类语言变成计算机符号成为自然语言的认知和理解;将计算机的符号变成人类的自然语言称为自然语言生成。

深度学习是机器学习的分支,机器学习有两大主要任务:预测数值型数据,即回归问题;将实例数据进行类别划分,即分类问题。

目的 含义 模型
回归 建立映射关系 预测输入变量和输出变量之间的关系 表示从输入变量到输出变量之间映射关系的函数
分类 建立映射关系 判断输入所属的类别 输出一般是一个离散值

1.1 线性回归

模型定义:y=wx+b,线性回归就是找一个直线,让直线尽可能的拟合数据。

模型训练:

(1)准备训练数据

(2)模型训练中,衡量预测值和真实值之间的误差,选取非负数为误差称为损失函数。

(3)当损失函数简单时,误差最小化问题的解可以用公式表示,称为解析解;多数深度学习模型没有解析解,需要通过优化算法经过有限次迭代模型参数来最小化损失函数,叫数值解。

(4)通过(3)获得(w,b)可以用模型y=wx+b预测训练集以外测试数据。

1.2 softmax分类

模型定义:数组第i个元素的指数与所有元素指数和的比值


image-20231126165111137.png

softmax分类器常用于多分类,输出值的个数等于标签的类别数。以图像分类为例,像素作为输入 x_i,通过线性得分函数f(x_i,w,b)=w*x_i+b获得原始得分,假设有三个类别,得分为【1,2,3】,则使用softmax函数得到三类的概率,属于哪类的概率最大则可能性最大。

模型训练:

(1)损失函数评价预测值和真实值的相似程度,softmax分类的损失函数为


image-20231126165202621.png

(2)最小化损失函数求得最优的值。使用优化算法将损失函数最小化。

2、梯度下降算法

2.1 什么是梯度

通俗来说,我们可以把梯度下降想象成一个爬山的过程。现在我们站在一个山丘上,我们希望找到一个山谷,也就是我们希望找到一个最低点。我们的眼睛无法直接看到最低点在哪里,但是我们可以沿着山的“梯度”(也就是斜率)方向走,一直走下去,直到找到山谷。

在数学上,梯度是一个向量,包含了函数在某一点的斜率。梯度的方向是函数值增加最快的方向,它的模(大小)表示函数值上升的程度或速度,所以我们应该沿着这个方向反方向走,也就是朝向山谷的方向。

优化算法的目标:是在模型表征空间中找到模型评估指标最好的模型。当前深度学习的参数维度和数量很大,常用的优化算法是梯度下降算法。

2.2 梯度下降算法步骤

在梯度下降算法中,我们需要定义一个学习率,也就是我们每一步走的距离。太大的学习率可能会导致我们无法找到正确的方向,而太小的学习率可能会让我们走得太慢。

image-20231126165417509.png

以下是一个简单的梯度下降算法的步骤:

  1. 定义一个初始点。

  2. 计算在当前点的梯度。

  3. 沿着梯度的反方向走一步。具体来说,如果梯度是(0.1,-1.1),那么我们就在x轴上减0.1,在y轴上加1.1。

  4. 重复第2步和第3步,直到满足某个停止条件,比如达到最大迭代次数,或者梯度的大小小于某个阈值。

更复杂的形式比如随机梯度下降(SGD),批量梯度下降(BG),小批量梯度下降(MBGD),主要是为了在大数据集上更有效地工作,或者更好地应对高维数据。

3、神经网络基础

3.1 神经元

神经元也叫感知器,有输入权重、激活函数和输出构成。

输入:每个感知器可以接收多个输入(x_1 x_2....),每个输入对应一个权重W_i,还有一个偏置项b

激活函数:模拟生物神经抑制部分信号通过特定信号,所以引入非线性,比如使用阶跃函数、ReLU函数、Sigmoid函数、Tanh函数。

输出:感知器的输出由输入、输入权重和激活函数共同表达y=f(w*x+b)

3.2 前向传播

前向传播是指对神经网络沿着从输入层到输出层的顺序,依次计算并存储模型的中间变量和输出值的过程。

3.3 反向传播

反向传播依据链式法则,对神经网络沿着从输出层到输入层的顺序,依次计算并存储目标函数有关神经网络各层中间变量及参数的梯度。 前向传播是和最优化方法(如梯度下降算法)结合使用,计算损失函数与网络中所有权重的梯度,并将梯度反向传播来更新权重以最小化损失函数,从而实现训练人工神经网络的算法。

3.4 神经网络

神经网络是一种模仿生物神经网络的结构和功能的数学模型,有大量人工神经元来连接,具备计算推理和决策等功能。分为输入层、隐藏层和输出层。隐藏层较多的神经网络叫做深度神经网络,深度学习研究使用的是使用深度神经网络的机器学习方法。

神经网络的每个节点都有特定的激活函数,两个节点间有一个称为权重的加权值,影响网络的输出值的有:节点的数量、网络的连接方式、权重、和激活函数。

2020102015315351.png

神经网络的一般训练过程,首先对模型参数进行初始化,交替进行前向传播和反向传播,并根据反向传播计算的梯度使用梯度下降算法迭代模型参数。

通常训练比推理占用更多内存的原因:反向传播中需要复用前向传播中计算并存储的中间变量和避免重复计算,这种复用导致前向传播完成后也不能立即释放存储中间变量的内存;而推理阶段,只需完成前向传播得到网络的预测结果。

4、模型训练的一般步骤

准备数据集;

构建神经网络模型;

训练模型,包括输入数据、计算损失、梯度反向传播和更新参数;

评估模型性能

结尾森哥说:深度学习神经网络的核心其实东西并不多,拆分出来来看,结合一些注释和图解可以很好的理解其构成。这部分内容结合卷积就可以构成机器视觉领域应用广泛的卷积神经网络;结合记忆单元广泛应用于自然语言处理。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,098评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,213评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,960评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,519评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,512评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,533评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,914评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,574评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,804评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,563评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,644评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,350评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,933评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,908评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,146评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,847评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,361评论 2 342

推荐阅读更多精彩内容