标签：有监督 课程 seq img 推荐阅读 中间 vol 技术分享 text
斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程： CS224d: Deep Learning for Natural Language Processing ，授课老师是青年才俊 Richard Socher ，他本人是德国人，大学期间涉足自然语言处理，在德国读研时又专攻计算机视觉，之后在斯坦福大学攻读博士学位，拜师NLP领域的巨牛 Chris Manning 和Deep Learning 领域的巨牛 Andrew Ng ，其博士论文是《 Recursive Deep Learning for Natural Language Processing and Computer Vision 》，也算是多年求学生涯的完美一击。毕业后以联合创始人及CTO的身份创办了 MetaMind ，作为AI领域的新星创业公司，MetaMind创办之初就拿了800万美元的风投，值得关注。
回到这们课程CS224d,其实可以翻译为“面向自然语言处理的深度学习（Deep Learning for Natural Language Processing）”，这门课程是面向斯坦福学生的校内课程，不过课程的 相关材料 都放到了网上，包括课程视频，课件，相关知识，预备知识，作业等等，相当齐备。课程大纲相当有章法和深度，从基础讲起，再讲到深度学习在NLP领域的具体应用，包括命名实体识别，机器翻译，句法分析器，情感分析等。Richard Socher此前在ACL 2012和NAACL 2013 做过一个Tutorial， Deep Learning for NLP (without Magic) ，感兴趣的同学可以先参考一下: Deep Learning for NLP (without Magic) – ACL 2012 Tutorial – 相关视频及课件 。另外，由于这门课程的视频放在Youtube上，@爱可可-爱生活 老师维护了一个网盘链接： http://pan.baidu.com/s/1pJyrXaF ，同步更新相关资料，可以关注。
第一讲：引言-自然语言处理与深度学习简介(Intro to NLP and Deep Learning)
推荐阅读材料：
1、线性代数相关知识点回顾：[ Linear Algebra Review ]
2、概率相关知识点回顾：[ Probability Review ]
3、凸优化相关知识点回顾: [ Convex Optimization Review ]
4、优化相关的另一篇介绍（来自于斯坦福CS231课程资料），随机梯度下降相关[ More Optimization (SGD) Review ]
5、语义向量空间模型的一篇综述[ From Frequency to Meaning: Vector Space Models of Semantics ]
6、课程第一部分的Notes，涉及第一讲和第二讲[ Lecture Notes 1 ]
7、Python及numpy简介[ python tutorial ]
8、第一讲Slides[ slides ]
9、第一讲视频[ video ]
以下是第一讲的相关笔记，主要参考自课程的slides，视频和其他相关资料。
什么是自然语言处理（NLP）
自然语言处理的应用
工业届里的NLP应用
NLP为什么这么难
什么是深度学习（DL）
机器学习 vs 深度学习
什么是深度学习（DL）续
深度学习的历史
探索深度学习的原因
(1)深度学习技术受益于越来越多的数据
(2) 更快的机器与更多核CPU/GPU对深度学习的普及起了很大的促进作用
(3)新的模型，算法和idea层出不穷
面向语音识别的深度学习
“深度学习”在大数据集上的第一个突破性进展发生在语音识别领域
Paper： Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition Dahl et al. (2010)
面向计算机视觉的深度学习
Deep Learning + NLP = Deep NLP
音位学层次的表示
形态学层次的表示
句法层次的表示
语义层次的表示
NLP应用： 情感分析
传统的方法：精选的情感词典+词袋模型（忽略词序）+人工设计的特征（很难覆盖所有的信息）
深度学习：和上述词素，句法和语义相似的深度学习模型–> RNN
Demo: http://nlp.stanford.edu/sentiment/
NLP应用：问答系统
NLP应用：机器翻译
可以发现所有NLP层次的表示都涉及到向量（Vectors), 下一讲将讲到如何来学习词向量以及这些向量表示了什么？
标签：有监督 课程 seq img 推荐阅读 中间 vol 技术分享 text
原文地址：http://www.cnblogs.com/34nl/p/6501064.html
