从AlexNet到BERT：深度学习中那些最重要idea的最简单回顾

点击下方卡片，关注“新机器视觉”公众号重磅干货，第一时间送达来自 | 大数据文摘编译 | 奥🌰vi丫、肉包、Andy本文作者Denny Britz按时间总结的深度学习比较重要的idea集锦，推荐新人看，几乎给自12年以来最重要的idea 都列了出来，这些 idea 可以说得上是养活了无数人，大家都基于这些发了无数的论文，它们依次是：AlexNet 和 Dropout：AlexNet 直接打开了深度学习时代，奠定了之后 CV 里面 CNN 模型基本结构，Dropout 也不用说，都成了基本配置。深度强化学习的Atari：深度强化学习的开山之作，DQN 之后也是打开了一条新路，大家开始在各种游戏上进行尝试。Seq2Seq+Atten：这个在 NLP 领域的影响没得说，有段时间，甚至都在说任何 NLP 任务都能 Seq2Seq+Atten 来解决，而且这篇其实还为之后纯 Attention 的 Transformer 打下了基础。Adam Optimizer：不多说，训 ………………………………