回答思路

CNN概念：

传统意义上的多层神经网络是只有输入层、隐藏层、输出层，其中隐藏层的层数按需决定。而卷积神经网络CNN，在传统的多层神经网络基础上，全连接层前面加入了部分连接的卷积层、激活层和池化层操作，使得实际应用场景中能够构建更加深层、功能更强大的网络。

CNN优点：

CNN主要用于识别位移、缩放及其它扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以能够避免显示的特征抽取，隐式地从训练数据中进行学习。另外，CNN局部权重共享的结构可以使得网络并行学习，较好的处理高维数据，更接近于实际的生物神经网络，

CNN缺点：

（1）当网络层数太深时，采用反向传播调整内部参数会使得接近于输入层的变化较慢；（2）采用梯度下降进行迭代时很容易使得训练结果收敛于局部最优而非全局最优；

（3）池化层会丢失一定的有价值信息，忽略了局部与整体之间的关联性；

（4）特征提取的物理含义不是十分明确，导致可解释性一般。

RNN优点：

传统网络无法结合上下文去训练模型，导致对于序列特性数据场景的处理效果不佳，而RNN结构决定了其具有了短期记忆性，每一时刻隐藏层信息不仅由该时刻的输入层决定，还可以由上一时刻的隐藏层决定，做到挖掘数据张红的时序信息以及语义信息。

RNN缺点：

随着网络层数增加，RNN在长序列场景处理时会出现梯度消失或梯度爆炸的弊端（反向传播算法局限性导致）。

LSTM优点：

LSTM通过引入包含了遗忘门、输入门、输出门的cell状态的结构改善了RNN中存在的长期依赖问题，并且其表现通常比时间递归神经网络和隐马尔科夫模型更好，而LSTM本身也可以作为复杂的非线性单元构造更大型深度网络。

LSTM缺点：

梯度问题在LSTM中得到了一定程度的优化解决，但是并没有彻底搞定，在处理N量级的序列有一定效果，但是处理10N或者更长的序列依然会暴露，另外，每一个LSTM的单元节点都意味着有4个全连接层，如果时间序列跨度较大，并且网络较深，会出现计算量大和耗时偏多的问题。

Transformer优点：

（1）突破了RNN模型不能并行计算的限制；

（2）相比CNN，计算两个位置之间的关联所需要的操作次数不会随着距离的增长而增加；

（3）attention机制可以产生更具可解释性的模型，可以从模型中检查attention分布，各个attention head可以学会执行不同的任务。

Transformer缺点：

（1）局部信息的获取不如RNN和CNN强；

（2）位置信息编码存在问题，因为位置编码在语义空间中并不具备词向量的可线性变换，只是相当于人为设计的一种索引，所以并不能很好表征位置信息；

（3）由于transformer模型实际上是由残差模块和层归一化模块组合而成，并且层归一化模块位于两个残差模块之间，导致如果层数较多时连乘计算会使得顶层出现梯度消失问题。