说到机器学习,很多人推荐的学习资料就是斯坦福Andrew Ng的cs229,有相关的视频和讲义。不过好的资料 != 好入门的资料,Andrew Ng在coursera有另外一个机器学习课程,更适合入门。这篇笔记是对这两个机器学习课程的笔记...
分类:
其他好文 时间:
2014-06-30 06:23:21
阅读次数:
262
flume-ng1.4安装配置记录一下flume-ng的安装配置三个基本概念source:数据源channel:数据传输通道sink:数据目的地,如存储在hdfs配置:flume.conf#defineagent1.sources=source1agent1.channels=channel1agent1.sinks=sink1#agent1.sources.source1.type=spooldiragent1.sour..
分类:
其他好文 时间:
2014-06-27 06:41:36
阅读次数:
221
var appElement = document.querySelector('[ng-controller=seatsCtrl]');var $scope = angular.element(appElement).scope();$scope.$apply(function () { $sco...
分类:
Web程序 时间:
2014-06-26 20:12:05
阅读次数:
551
网易公开课,第10,11课 notes,http://cs229.stanford.edu/notes/cs229-notes5.pdf Model Selection 首先需要解决的问题是,模型选择问题,如何来平衡bais和variance来自动选择模型?比如对于多项式分类,如何决定阶数k,对于l...
分类:
其他好文 时间:
2014-06-26 16:31:11
阅读次数:
181
今天推荐一款来自angularjs源码的单元测试辅助库browserTrigger,这是来自于ngScenario的一段代码。主要用户触发浏览器型行为更新ng中scope view model的值。这是angularjs源码中单元测试的使用browserTrigger的实例:it('should s...
分类:
Web程序 时间:
2014-06-25 12:28:40
阅读次数:
242
本篇分析加载配置文件后各个组件是如何运行的?
加载完配置文件订阅者Application类会收到订阅信息执行:
@Subscribe
public synchronized void handleConfigurationEvent(MaterializedConfiguration conf) {
stopAllComponents();
startAll...
分类:
编程语言 时间:
2014-06-24 17:24:59
阅读次数:
445
本节分析配置文件的解析,即PollingPropertiesFileConfigurationProvider.FileWatcherRunnable.run中的eventBus.post(getConfiguration())。分析getConfiguration()方法。此方法在AbstractConfigurationProvider类中实现了,并且这个类也初始化了三大组件的工厂类:this...
分类:
编程语言 时间:
2014-06-24 17:21:53
阅读次数:
547
从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类,这是flume的main函数所在。
main方法首先会先解析shell命令,如果指定的配置文件不存在就甩出异常。
根据命令中含有"no-reload-conf"参数,决定采用那种加载配置文件方式:一、没有此参数,会动态加载配置文件,默认每30秒...
分类:
编程语言 时间:
2014-06-24 17:13:22
阅读次数:
387
org.apache.flume.sink.AvroSink是用来通过网络来传输数据的,可以将event发送到RPC服务器(比如AvroSource),使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink extends AbstractSink implements Configurable这跟其他的sink一样都得extends Abstract...
分类:
编程语言 时间:
2014-06-24 16:01:30
阅读次数:
303
org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source,这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源,这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹,当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时,该文件会被重命名以标志已经完成。同时,该源需要一个清理进程来定期移除完成...
分类:
编程语言 时间:
2014-06-24 15:59:37
阅读次数:
287