1.SGD：随机梯度下降

2.RMSprop:训练RNN是不错的选择

3.Adagrad:具有特定参数学习率的优化器。根据参数在训练期间的更新频率进行自适应调整。参数接受的更新越多，更新越小

4.Adadelta:Adagrad的更稳定的扩展版本。根据渐变更新的自动窗口调整学习速率

5.Adam:本质上是RMSProp与动量momentum的结合

6.Nadam:采用Nesterov momentum版本的Adam优化器