深度学习阅读清单

图书

• 深度学习，Yoshua Bengio，Ian Goodfellow，Aaron Courville，MIT Press，准备中。

评论文章

•  代表性学习：评论与新视角，Yoshua Bengio，Aaron Courville，Pascal Vincent，Arxiv，2012。
• 专题或评论文章  学习人工智能的深层架构  （基础和机器学习趋势，2009）。
• 深度机器学习 - 人工智能研究的新前沿 -  Itamar Arel，Derek C. Rose和Thomas P. Karnowski 的  调查报告。
• 格雷夫斯，答（2012年）。 用递归神经网络进行监督序列标记（第385卷）。斯普林格。
• Schmidhuber，J.（2014）。神经网络的深度学习：概述。75页，850+参考文献，http： //arxiv.org/abs/1404.7828，PDF＆LATEX  源代码和http://www.idsia.ch/~juergen/ deep-learning-overview.html下的完整公共BIBTEX文件  。
• LeCun，Yann，Yoshua Bengio和Geoffrey Hinton。“深入的学习。” 自然 521，没有。7553（2015）：436-444。

强化学习

• Mnih，Volodymyr，Koray Kavukcuoglu，David Silver，Alex Graves，Ioannis Antonoglou，Daan Wierstra和Martin Riedmiller。“通过深入强化学习玩Atari。”  arXiv预印本arXiv：1312.5602  （2013）。
• Volodymyr Mnih，Nicolas Heess，Alex Graves，Koray Kavukcuoglu。“ 视觉注意的复发模型 ”ArXiv电子版，2014。

计算机视觉

• ImageNet深度卷积神经网络分类，Alex Krizhevsky，Ilya Sutskever，Geoffrey E Hinton，NIPS 2012。
• 深入卷积，Christian Szegedy，刘伟，杨扬佳，Pierre Sermanet，Scott Reed，Dragomir Anguelov，Dumitru Erhan，Vincent Vanhoucke，Andrew Rabinovich，2014年9月19日。
• 学习场景标签的分层特征，Clement Farabet，Camille Couprie，Laurent Najman和Yann LeCun，IEEE模式分析和机器智能汇刊，2013。
•  学习用于视觉识别的卷积特征 Hierachies，Koray Kavukcuoglu，Pierre Sermanet，Y-Lan Boureau，Karol Gregor，Micha?lMathieu和Yann LeCun，神经信息处理系统进展（NIPS 2010），23,2010。
• 格雷夫斯，亚历克斯等人。 “A novel connectionist system for unconstrained handwriting recognition。”  Pattern Analysis and Machine Intelligence，IEEE Transactions on  31.5（2009）：855-868。
• Cire?an，DC，Meier，U.，Gambardella，LM，＆Schmidhuber，J.（2010）。 用于手写数字识别的深，大，简单的神经网络。 神经计算，  22（12），3207-3220。
• Ciresan，Dan，Ueli Meier和JürgenSchmidhuber。 “用于图像分类的多列深度神经网络”，  计算机视觉和模式识别（CVPR），2012年IEEE会议。IEEE，2012。
• Ciresan，D.，Meier，U.，Masci，J.，＆Schmidhuber，J。（2011年7月）。 交通标志分类神经网络委员会。 在  神经网络（IJCNN），2011年国际联合会议上（pp。1918-1921  ）。IEEE。

NLP和言语

• “开放文本语义分析的词汇和意义表征的联合学习”，Antoine Bordes，Xavier Glorot，Jason Weston和Yoshua Bengio（2012），第15届国际人工智能和统计学会议（AISTATS）
• 动态汇集和展开递归自动编码器以进行释义检测。Socher，R.，Huang，EH，Pennington，J.，Ng，AY和Manning，CD（2011a）。在NIPS‘2011中。
• 用于预测情绪分布的半监督递归自动编码器。Socher，R.，Pennington，J.，Huang，EH，Ng，AY和Manning，CD（2011b）。在EMNLP‘2011。
• MikolovTomá?：  基于神经网络的统计语言模型。博士论文，布尔诺科技大学，2012。
• Graves，Alex和JürgenSchmidhuber。“ 使用双向LSTM和其他神经网络架构的帧式音素分类。“  神经网络  18.5（2005）：602-610。
• Mikolov，Tomas，Ilya Sutskever，Kai Chen，Greg S. Corrado和Jeff Dean。 “分布式表达的单词和短语及其组合性 ”，在  神经信息处理系统的进展，第3111-3119页。2013。
• K. Cho，B. van Merrienboer，C. Gulcehre，D. Bahdanau，F. Bougares，H. Schwenk，Y. Bengio。 使用RNN编码器 - 解码器来学习用于统计机器翻译的短语表示。EMNLP 2014。
• Sutskever，Ilya，Oriol Vinyals和Quoc VV Le。“ 序列学习与神经网络。”  神经信息处理系统的进展。2014年

消除因素和深度变化

• Goodfellow，Ian等人。“测量深度网络中的不变性”  。神经信息处理系统进展  22（2009）：646-654。
• Bengio，Yoshua等人。“通过深度表现更好地混合。”  arXiv预印本arXiv：1207.4404  （2012）。
• Xavier Glorot，  Antoine Bordes  和  Yoshua Bengio，“  大规模情绪分类的域适应：深度学习方法”，载于：第二十八届国际机器学习会议论文集（ICML‘11），第97-110页，2011年。

转移学习和域名适应

• Raina，Rajat等人。“自学教学：从无标签数据转移学习”  ，第24届机器学习国际会议论文集。ACM，2007。
• Xavier Glorot，  Antoine Bordes  和  Yoshua Bengio，“  大规模情绪分类的域适应：深度学习方法”，载于：第二十八届国际机器学习会议论文集（ICML‘11），第97-110页，2011年。
• R. Collobert，J.Weston，L.Bottou，M.Karlen，K.Kavukcuoglu和P.Kuksa。 自然语言处理（几乎）从头开始。 Journal of Machine Learning Research，12：2493-2537，2011。
• Mesnil，Grégoire等人。“无监督和转移学习挑战：深度学习方法”。  无监督和转移学习研讨会，与ICML一起。2011。
• Ciresan，DC，Meier，U。和Schmidhuber，J。（2012年6月）。 用深度神经网络为拉丁文和中文字符转换学习。在  神经网络（IJCNN），在2012年国际联合大会  （第1-6页）。IEEE。
• Goodfellow，Ian，Aaron Courville和Yoshua Bengio。“ 大规模特征学习的尖峰和板坯稀疏编码。“  ICML 2012。

实用技巧和指南

• “通过防止特征探测器的共同适应改善神经网络。”  Hinton，Geoffrey E.等，arXiv预印本arXiv：1207.0580（2012）。
• 关于深度架构梯度训练的实用建议，Yoshua Bengio，U. Montreal，arXiv报告：1206.5533，计算机科学讲义7700，神经网络：交易技巧第二版，编辑：GrégoireMontavon，GenevièveB. Orr ，Klaus-RobertMüller，2012年。
•  由Geoffrey Hinton撰写的一本关于培训Restricted Boltzmann Machines的实用  指南。

稀疏编码

• 通过学习自然图像的稀疏编码，Bruno Olhausen，Nature 1996 发表简单细胞感受野性质。
• Kavukcuoglu，Koray，Marc‘Aurelio Ranzato和Yann LeCun。“ 稀疏编码算法与应用程序对物体识别的快速推导。“  arXiv预印本arXiv：1010.3467  （2010）。
• Goodfellow，Ian，Aaron Courville和Yoshua Bengio。“ 大规模特征学习的尖峰和板坯稀疏编码。“  ICML 2012。
• 高效的稀疏编码算法。Honglak Lee，Alexis Battle，Raina Rajat和Andrew Y. Ng。在  NIPS 19，2007.  PDF
• “ 基于过度完备的稀疏编码：VI？采用的策略。“。奥尔斯豪森，布鲁诺A.和戴维J.菲尔德。 Vision research  37.23（1997）：3311-3326。

基础理论与动机

• Hinton，Geoffrey E.“确定性Boltzmann学习在加权空间中执行最速下降”，  神经计算  1.1（1989）：143-150。
• Bengio，Yoshua和Samy Bengio。“用多层神经网络建模高维离散数据。”  Advances in Neural Information Processing Systems  12（2000）：400-406。
• Bengio，Yoshua等人。“深层网络的贪婪分层训练。”  神经信息处理系统的进展  19（2007）：153。
• Bengio，Yoshua，Martin Monperrus和Hugo Larochelle。“流形结构的非局部估计。”  Neural Computation  18.10（2006）：2509-2528。
• Hinton，Geoffrey E.和Ruslan R. Salakhutdinov。“用神经网络降低数据的维度”，  科学  313.5786（2006）：504-507。
• Marc‘Aurelio Ranzato，Y.，Lan Boureau和Yann LeCun。“Sparse feature learning for deep belief networks。”  Advances in neural information processing systems  20（2007）：1185-1192。
• Bengio，Yoshua和Yann LeCun。“扩大对AI的学习算法”，  大型内核机器  34（2007）。
• Le Roux，Nicolas和Yoshua Bengio。“限制 玻尔兹曼机器和深层信念网络的表征能力”，  Neural Computation 20.6（2008）：1631-1649。
• Sutskever，Ilya和Geoffrey Hinton。“时间 - 内核递归神经网络”，  神经网络  23.2（2010）：239-243。
• Le Roux，Nicolas和Yoshua Bengio。“深层信念网络是紧凑型通用逼近器。”  神经计算  22.8（2010）：2192-2207。
• Bengio，Yoshua和Olivier Delalleau。“关于深层架构的表现力。”  算法学习理论。斯普林格柏林/海德堡，2011年。
• Montufar，Guido F.和Jason Morton。“产品混合物何时含有混合物产品？”  arXiv预印本arXiv：1206.0387  （2012）。
• 蒙图法，圭多，拉斯万帕斯卡努，京仁祖和Yoshua Bengio。“ 关于深度神经网络的线性区域的数量。”arXiv预印本arXiv：1402.1869（2014）。

受监督的Feedfoward神经网络

• Manifold Tangent Classifier，Salah Rifai，Yann Dauphin，Pascal Vincent，Yoshua Bengio和Xavier Muller在：NIPS‘2011。
• “ Sum-Product Networks的判别式学习。“，Gens，Robert和Pedro Domingos，NIPS 2012最佳学生论文。
• Goodfellow，I.，Warde-Farley，D.，Mirza，M.，Courville，A.和Bengio，Y。（2013）。 Maxout网络。技术报告，蒙特利尔大学。
• Hinton，Geoffrey E.等人。“ 通过防止特征探测器的共同适应改善神经网络。”  arXiv预印本arXiv：1207.0580  （2012）。
• 王斯达和克里斯托弗曼宁。“快速辍学培训”  。第30届国际机器学习会议论文集（ICML-13），第118-126页。2013。
• Glorot，Xavier，Antoine Bordes和Yoshua Bengio。“ Deep sparse rectifier networks。”在  第14届国际人工智能与统计学会议论文集中。JMLR W＆CP Volume，vol。15，pp.315-323。2011。
• ImageNet深度卷积神经网络分类，Alex Krizhevsky，Ilya Sutskever，Geoffrey E Hinton，NIPS 2012。

大规模深度学习

• 使用大规模无监督学习构建高级功能  Quoc V. Le，Marc‘Aurelio Ranzato，Rajat Monga，Matthieu Devin，Kai Chen，Greg S. Corrado，Jeffrey Dean和Andrew Y. Ng，ICML 2012。
• Bengio，Yoshua等人。“ 神经概率语言模型。“  机器学习创新  （2006）：137-186。具体来说，本文的第3节讨论了异步SGD。
• Dean，Jeffrey等人。 “大规模分布式深度网络”  ，神经信息处理系统的进展。2012。

经常性网络

• 训练周期性神经网络，Ilya Sutskever，博士论文，2012。
• Bengio，Yoshua，Patrice Simard和Paolo Frasconi。 “利用梯度下降学习长期依赖是困难的。”  Neural Networks，IEEE Transactions on  5.2（1994）：157-166。
• MikolovTomá?：  基于神经网络的统计语言模型。博士论文，布尔诺科技大学，2012。
• Hochreiter，Sepp和JürgenSchmidhuber。 “长期的短期记忆。”  Neural computation  9.8（1997）：1735-1780。
• Hochreiter，S.，Bengio，Y.，Frasconi，P.，＆Schmidhuber，J。（2001）。 循环网络中的渐变流：学习长期依赖性的困难。
• Schmidhuber，J.（1992）。 使用历史压缩原理学习复杂的扩展序列。 神经计算，  4（2），234-242。
• Graves，A.，Fernández，S.，Gomez，F.，＆Schmidhuber，J。（2006年6月）。 Connectionist时间分类：用递归神经网络标记未分段的序列数据。在  第23届机器学习国际会议论文集  （第369-376页）中。ACM。

超参数

• “机器学习算法的实用贝叶斯优化”，Jasper Snoek，Hugo Larochelle，Ryan Adams，NIPS 2012。
• 随机搜索超参数优化，James Bergstra和Yoshua Bengio（2012），机器学习研究期刊，13（281-305）。
• 用于超参数优化的算法，James Bergstra，RémyBardenet，Yoshua Bengio和BalázsKégl在：NIPS‘2011,2011。

优化

• 使用Hessian-Free优化训练深度和复发性神经网络，James Martens和Ilya Sutskever，神经网络：2012年贸易技巧。
• Schaul，Tom，Sixin Zhang和Yann LeCun。 “没有更多的Pesky学习率。”  arXiv预印本arXiv：1206.1106  （2012）。
• Le Roux，Nicolas，Pierre-Antoine Manzagol和Yoshua Bengio。“ Topmoumoute在线自然梯度算法”。  神经信息处理系统（NIPS）。2007年。
• Bordes，Antoine，LéonBottou和Patrick Gallinari。“ SGD-QN：谨慎的准牛顿随机梯度下降 ”  ，机器学习研究杂志  10（2009）：1737-1754。
• Glorot，Xavier和Yoshua Bengio。 “了解训练深度前馈神经网络的难度。”  国际人工智能与统计学会议论文集（AISTATS‘10）。人工智能与统计学会。2010。
• Glorot，Xavier，Antoine Bordes和Yoshua Bengio。“ 深稀疏整流器网络。“  第14届国际人工智能与统计学会议论文集。JMLR W＆CP卷。卷。15. 2011年。
• “通过Hessian优化深入学习。”  Martens，James。第27届国际机器学习会议论文集（ICML）。卷。951. 2010年。
• Hochreiter，Sepp和JürgenSchmidhuber。 “Flat minima。”  Neural Computation，  9.1（1997）：1-42。
• Pascanu，Razvan和Yoshua Bengio。“ 重温深层网络的自然梯度。”  arXiv预印本arXiv：1301.3584  （2013）。
• Dauphin，Yann N.，Razvan Pascanu，Caglar Gulcehre，Kyunghyun Cho，Surya Ganguli和Yoshua Bengio。“ 识别和攻击高维非凸优化中的鞍点问题。“In  Advances in Neural Information Processing Systems ，pp.2933-2941。2014年

无监督特征学习

• Salakhutdinov，Ruslan和Geoffrey E. Hinton。 “深玻尔兹曼机器。”  人工智能和统计国际会议论文集。卷。5.第2号。麻省剑桥：麻省理工学院出版社，2009年。
•  关于深信仰网络的Scholarpedia页面。

• 深玻尔兹曼机器

  • 深玻耳兹曼机器的有效学习过程，Ruslan Salakhutdinov和Geoffrey Hinton，神经计算2012年8月，24，第8期：1967 - 2006。
  • Montavon，Grégoire和Klaus-RobertMüller。“ 深玻耳兹曼机器和中心技巧。“  神经网络：贸易技巧  （2012）：621-637。
  • Salakhutdinov，Ruslan和Hugo Larochelle。“ 深玻尔兹曼机器的高效学习。“  人工智能和统计国际会议。2010。
  • Salakhutdinov，Ruslan。 学习深度生成模型。迪斯。多伦多大学，2009年。
  • Goodfellow，Ian等人。“ 多预测深玻尔兹曼机器。”  神经信息处理系统的进展。2013。

• RBMS

  • Spike-and-Slab RBM的图像无监督模型，Aaron Courville，James Bergstra和Yoshua Bengio在：ICML‘2011
  • 欣顿，杰弗里。 “培训受限玻尔兹曼机器的实用指南。“  动量  9.1（2010）：926。

自动编码

• 正规化自动编码器估计当地统计数据，Guillaume Alain，Yoshua Bengio和Salah Rifai，蒙特利尔大学arXiv报告1211.4246,2012
• 一个生成过程的抽样压缩自动编码器，Salah Rifai，Yoshua Bengio，Yann Dauphin和Pascal Vincent在：ICML‘2012，爱丁堡，苏格兰，英国，2012年
• 合同自动编码器：特征提取期间的显式不变性，Salah Rifai，Pascal Vincent，Xavier Muller，Xavier Glorot和Yoshua Bengio，在：ICML‘2011
• 面部表情识别的变异因素，Salah Rifai，Yoshua Bengio，Aaron Courville，Pascal Vincent和Mehdi Mirza，在：ECCV‘2012。
• 文森特，帕斯卡尔等人。“ 堆叠去噪自动编码器：使用本地去噪标准在深度网络中学习有用的表示。“  机器学习研究杂志  11（2010）：3371-3408。
• 文森特，帕斯卡尔。“ 分数匹配和去噪自动编码器之间的联系。”  神经计算  23.7（2011）：1661-1674。
• 陈敏敏等 “ 用于域适应的边缘化去噪自动编码器。“  arXiv预印本arXiv：1206.4683  （2012）。

杂

• ICML 2009学习要点层次结构  网页  有一个  阅读列表。
• 斯坦福大学的  UFLDL推荐读物。
• 该  LISA 公开的维基  有一个  阅读清单  和  参考书目。
• Geoff Hinton  有  阅读 NIPS 2007教程。
• LISA出版物数据库包含  深层架构  类别。
•  在  Yoshua Bengio的  IFT6266研究生课程中简要介绍  AI，机器学习和  深度学习
• Memkite的深度学习阅读列表，http：//memkite.com/deep-learning-bibliography/。
• 深度学习资源页面，  http://www.jeremydjacksonphd.com/?cat=7