MLP( 多层光谱) 是一个多层传感器 。也叫人造神经网络(ANNs)除了产出层之外,它还包括多个层次。

1.1 隐藏层

超过线性模型的界限,在网络中增加一个或一个以上层次,使其能够适应更频繁的功能关系类型。实现此目标的最简单方法是堆叠无数完整链接。 在最终输出创建之前, 每一层会向上层出口 。

一层隐藏的多层层, 带有一层隐藏的层 。具有5个隐藏单元，输入层中没有计算。因此,利用这个网络来产生输出只需计算隐藏层和输出层即可。 因此，这个多层传感器共有两层。 注意，这两个层次是完全相互联系的。被埋在地下层的每个神经元 都会受到输入的影响此外,隐藏层中的每个神经元都会影响输出层中的每个神经元。
为了充分利用多层结构的潜力,需要额外的关键成分:在模拟突变后,对每个隐藏单元应用非线性。激活功能,活动函数的输出指活动值对不起 但我不确定 一般来说 我们不能再用激活功能 把我们的多层 降级为线性模型了

1.2 激活函数

激活功能它们将输入信号转化为产出微观计算,以决定是否应该通过计算重量和增加偏差来吸收神经元。由于激活功能是深入学习的基础,这里简要概述一些最典型的激活功能。

RELU 函数一. 2. 1

最常用的激活功能是ReLU代表已校正的线性单位。因为它既简单,同时又在各种预测任务中有效工作。 ReLU提供了直截了当的非线性变换。 ReLU 函数被定义为元素 x 与 0 之间的最大值:

ReLU 函数通常只保留正元, 并且通过将相关活动值设定为零而丢弃所有负值。 要直观, 我们可以绘制函数曲线。 激活函数是线性部分, 如图所示 。

ReLU 函数当输入为负值时为零,当输入为正值时为零,当输入为正值时为0。应当指出,当输入值完全等于 0 时, ReLU 函数是不可信任的。以下是使用 ReLU 函数的说明。

RELU之所以被选中,是因为它非常有效:参数要么消失,要么通过。 这改善了优化,而RELU解决了影响原始神经网络的梯度损失问题。

sigmoid 函数为 1. 2. 2 。

R 中的 sigmoid 函数将给定域的输入转换成间隔( 0, 1) 的输出 。 因此, sigmoid 通常被使用 。挤压函数它将介于( inf, inf) 之间的任何输入压缩为介于( 0, 1) 之间的值 :

在神经网络的早期,模拟“刺激”或“无刺激”的生物神经元是科学家感兴趣的。 因此，麦卡勒洛克和皮特斯是人工神经元的创造者,是这一领域的先锋。它们集中关注阈值单位。当阈值单位低于一定水平时,返回值为0。输入阈值时,使用数字 1。
由于这是一个平滑的、小阈值单位近似值,在根据梯度学习时,类类函数是一种逻辑选择。

Sigmoid 函数以下列公式为指导:

Sigmoid 函数的指导图片显示在下面。 值得注意的是, 在输入 0 时, sigmoid 函数的最大值为0. 25; 任何方向离 0越远, 指导越接近 0 。

坦h 函数一. 二. 三

tanh (hybolic 相切) 函数, 如 sigmoid 函数, 可以将其输入压缩到间隔(1, 1) 。 tanh 函数有以下公式 :

这里绘制了 tanh 函数。 当输入接近 0 时, tanh 函数接近线性变异 。此函数的结构与 sigmoid 函数相似, 但坦纳函数与坐标系统中心对称 。。

tanh 函数的指南如下:

当输入接近零的数值时,坦纳函数的铅值接近一个最大值。如果指南接近0,则从任何方向的0点处输入,如sigmoid函数插图所示。

1.3 简洁实现

唯一的区别是,我们添加了两个完整连接层(我们只需添加一个层 ) 。 第一个层是隐藏层, 隐藏层有256个隐藏单位, 由 RELU 函数激活。 输出层是第二层 。

多层传感器的实现与同一分类的软负回归相同,在多层传感器的实现中加上了启动功能的隐藏层。