用于实际问题的深度神经网络可能具有10层以上的隐藏层。它的拓扑可能很简单，也可能很复杂。网络中的层越多，它可以识别的特征就越多。不幸的是，网络中的层越多，计算所需的时间就越长，并且训练起来就越困难。

卷积神经网络（CNN）通常用于机器视觉。卷积神经网络通常使用卷积，池化，ReLU，完全连接和丢失层来模拟视觉皮层。卷积层基本上采用许多小的重叠区域的积分。池化层执行非线性下采样的形式。ReLU层应用非饱和激活函数f（x）= max（0，x）。在完全连接的层中，神经元与上一层中的所有激活都具有连接。损失层使用Softmax或交叉熵损失函数进行分类，或使用欧几里得损失函数进行回归，计算网络训练如何惩罚预测标签与真实标签之间的偏差。

递归神经网络（RNN）通常用于自然语言处理（NLP）和其他序列处理，还有长短期记忆（LSTM）网络和基于注意力的神经网络。在前馈神经网络中，信息从输入经过隐藏层流到输出。这将网络限制为一次只能处理一个状态。

在递归神经网络中，信息通过一个循环循环，这使网络可以记住最近的先前输出。这样可以分析序列和时间序列。RNN有两个常见的问题：爆炸梯度（通过固定梯度很容易固定）和消失梯度（不太容易固定）。

在LSTM中，在两种情况下，网络都可以通过更改权重来忘记（控制）先前的信息并记住这些信息。这有效地为LSTM提供了长期和短期记忆，并解决了梯度消失的问题。LSTM可以处理数百个过去输入的序列。

注意模块是将权重应用于输入向量的通用门。分层的神经注意编码器使用多层注意模块来处理成千上万的过去输入。

不是神经网络的随机决策森林（RDF）对于一系列分类和回归问题很有用。RDF由多层构成，但不是神经元，而是由决策树构建，并输出各个树预测的统计平均值（分类模式或回归均值）。RDF的随机方面是对单个树使用引导聚合（也称为装袋），并为树获取特征的随机子集。

XGBoost（极限梯度增强）也不是一个深度神经网络，它是一种可扩展的，端到端的树增强系统，已针对许多机器学习挑战产生了最先进的结果。经常提到装袋和提振。区别在于，梯度树增强不是生成随机树的集合，而是从单个决策树或回归树开始，对其进行优化，然后从第一棵树的残差构建下一棵树。

一些最好的Python的深度学习框架是TensorFlow，Keras，PyTorch和MXNet。Deeplearning4j是最好的Java深度学习框架之一。ONNX和TensorRT是深度学习模型的运行时。

原文链接：https://www.infoworld.com/article/3512245/deep-learning-vs-machine-learning-understand-the-differences.html