看了NG视频关于机器学习系统构建的建议,感觉很实用,记录下来作为听课笔记。
首先是机器学习系统构建的流程:
NG推荐方法:首先快速实现一个可能并不是很完美的算法系统,进行交叉验证,画出学习曲线去学习算法问题之处,是high bias or high variance 细节看这篇博文介绍:bias和variance在机器学习中应用
最重要一步:错误分析,手工检验算法错误学习的样本,找到算法在什么类型例子上犯错误!然后几种经历在处理这类错误上。
下面以垃圾邮件系统举例:
反垃圾邮件系统发现误分类最多的是Steal passwords所以集中经历去解决这部分问题!这样能比较高效率。
还有一个小窍门就是:学习算法我们需要有数值量化标准来评估算法!
课上NG提到Spam Email 中是否使用词干提取器,最好的办法就是实验两次分别使用和不适用,通过数值量化标准进行评估来选择是否采用词干提取器。
然后视频中特别提到需要在cross validation 集上进行错误分析验证,看下面题目:
原文地址:http://blog.csdn.net/huruzun/article/details/41971047