总结深度学习各种网络结构【更新中...】

CNN:总结:利用权值共享【卷积操作】将神经网络本来的全连接层替换为非全连接层,使输入可以为尺度可变的张量。可用结构:(Max, mean)Pooling:降维;全连接层:分类;GAN:总结:利用两个网络对抗生成模型,生成器与辨别器,生成器输入图像,生成所需图像,辨别器辨别所需图像与生成图像,使生成器的生成图像骗过辨别器。可用结构:CNN;(Recursive)Residual Network(残

CNN:

总结:利用权值共享【卷积操作】将神经网络本来的全连接层替换为非全连接层,使输入可以为尺度可变的张量。

可用结构:

(Max, mean)Pooling:降维;

全连接层:分类;

GAN:

总结:利用两个网络对抗生成模型,生成器与辨别器,生成器输入图像,生成所需图像,辨别器辨别所需图像与生成图像,使生成器的生成图像骗过辨别器。

可用结构:

CNN;(Recursive)Residual Network(残差(递归)网络);FCN(全卷积网络);convolutional LSTM;

Autoencoder【AE】自编码器:

与GAN一样,并不是单纯的网络结构,只是类似PCA一样的东西,在无监督学习中的框架,利用conv与deconv降维升维来进行学习,分别叫做encoder与decoder编码解码,一般基于卷积网络,encoder后相当于学习到了特征,而decoder后相当于还原了图像,既可以用输入图像进行训练,训练好一层加深一层。再可以利用有监督微调,从而达到分类或者图像转换的目的。

可用结构:

CNN;Residual Network

Variance Autoencoder【VAE】变分自编码器:

与AE不同的是,在encoder后与噪声作用,是一种生成模型。

CNN;Residual Network

残差网络Resnet:

利用上一级的输入与结果相加来使深层网络效果更好(一个残差块一般不小于两层)。

 

U-NET

也是encoder-decoder,利用前一encoder的信息与decoder信息结合,两者一一对应,共享信息。

RNN

在每层神经元间也有级联,也可以使用卷积层。

https://blog.csdn.net/weixin_41923961/article/details/81516622

LSTM

是RNN的特殊变体,由于RNN距离远的神经元会出现梯度消失,其之间联系得不到利用,对神经元间加入一些结构,可以有选择的级联,解决梯度消失。

3D-CNN

既输入是三维数组,原来比如是256✖️256✖️3,现在可以输入视频256✖️256✖️3✖️300,用于分析视频,对物体运动以及三维形态。

Batch normalization 层

网络中间层数据做一个归一化处,但如果是仅仅使用原本的归一化公式,对网络某一层A的输出数据做归一化,然后送入网络下一层B,这样是会影响到本层网络A所学习到的特征的,相当于这一层网络所学习到的特征分布被破坏了。解决:变换重构,引入了可学习参数γ、β,这就是算法关键之处:

每一个神经元xk都会有一对这样的参数γ、β。这样其实当:

是可以恢复出原始的某一层所学到的特征的。因此我们引入了这个可学习重构参数γ、β,让网络可以学习恢复出原始网络所要学习的特征分布。最后Batch Normalization网络层的前向传导过程公式就是:

 

上面的公式中m指的是mini-batch size。其可以极大加快网络训练速度,甚至可以舍弃L2正则和drop out.

Dense Net

https://blog.csdn.net/weixin_41923961/article/details/82829733

DBN 深度置信网络

https://blog.csdn.net/weixin_41923961/article/details/81586213

GCN图卷积网络

https://blog.csdn.net/weixin_41923961/article/details/88372849


作者:WeisongZhao
原文链接:https://blog.csdn.net/weixin_41923961/article/details/80645320

  • 发表于 2019-11-06 22:19
  • 阅读 ( 32 )
  • 分类:深度学习

0 条评论

请先 登录 后评论
不写代码的码农
WeisongZhao_csdn

0 篇文章

作家榜 »

  1. AI君 10 文章
  2. Tzung-Wen Liau 0 文章
  3. blairan 0 文章
  4. rookie 0 文章
  5. 陈凯 0 文章
  6. huanxue 0 文章
  7. admin 0 文章
  8. Lzs1998_csdn 0 文章