最近在线上往hbase导数据,因为hbase写入能力比较强,没有太在意写的问题。让业务方进行历史数据的导入操作,中间发现一个问题,写入速度太快,并且业务数据集中到其中一个region,这个region无法split掉,处于不可用状态。这里描述一整个过程—— 事情的起因:业务方按照userid和...
分类:
其他好文 时间:
2014-08-04 21:10:47
阅读次数:
297
数据集下载地址:http://grouplens.org/datasets/movielens/ 之前用的是100K的,现在需要下载MovieLens 10M,使用里面的ratings.dat前提:因为文件不符合mahout要求的文件输入格式,需要进行转换,但是example里提供了一个解析这个文件...
分类:
其他好文 时间:
2014-08-04 14:14:47
阅读次数:
476
参考文献:Learning Multiple Layers of Features from Tiny Images:附录
设数据集 X 的维数为 d×n ,且已经中心化
则协方差矩阵为
1/(n-1)*X*X'
我们想让这n个d维向量中任意两维都不相关,则假定去相关矩阵为W
Y = W*X
为了使W达到去相关的目的,Y*Y‘必须是对角阵,可以进一步约束Y满足
Y * Y’ = (n...
分类:
其他好文 时间:
2014-08-04 11:06:27
阅读次数:
403
使用GroupLens数据集ua.base这是一个tab分割的文件,用户Id,物品Id,评分(偏好值),以及附加信息。可用吗?之前使用的是CSV格式,现在是tsv格式,可用,使用FileDataModel对mahout推荐2中的评估程序使用这个数据集测试:package mahout;import ...
分类:
其他好文 时间:
2014-08-04 10:55:16
阅读次数:
764
三十分钟掌握STLSTL概述STL的一个重要特点是数据结构和算法的分离。尽管这是个简单的概念,但这种分离确实使得STL变得非常通用。例如,由于STL的sort()函数是完全通用的,你可以用它来操作几乎任何数据集合,包括链表,容器和数组。要点STL算法作为模板函数提供。为了和其他组件相区别,在本书中S...
分类:
其他好文 时间:
2014-08-04 10:52:47
阅读次数:
338
DataSet被称作数据集,可以比作内存中的数据库,DataSet为ADO.NET核心,...
分类:
数据库 时间:
2014-08-03 18:02:36
阅读次数:
234
创建数据库Database创建数据集DataSet绑定数据库中的表然后在aspx页面创建数据源ObjectDataSource绑定强类型DataSet然后在创建LiisView控件绑定数据源ObjectDataSource,配置LiisView的布局与样式LiisView中的属性:显示行
分类:
其他好文 时间:
2014-08-03 12:44:35
阅读次数:
176
强类型DataSet使用:1项目-->新建项-->Data-->数据集-->*.xsd文件-->拖拽服务器资源管理器中数据库文件DataSet设计器窗口中。系统会自动帮我们生成Fill,和GetData()方法,就是数据库查询中的select * from 表名。2我们也可以自己定义SQL查询:Da...
分类:
其他好文 时间:
2014-08-02 20:52:24
阅读次数:
203
RESTClient控件返回数据集用到的控件RESTClientRESTResponseDataSetAdapterprocedure Tfrm_Main.btn_DataSet_FetchDataClick(Sender: TObject);begin ResetRESTComponentsTo....
分类:
其他好文 时间:
2014-08-02 20:38:13
阅读次数:
307
服务器端:建立一个Web App Debugger executable类型,不需要接口,添加一个SoapData Module,放上AdoCon,AdoDataSet,DataSetProvider1设置数据好连接,利用AdoDataSet打开一个数据集,然后编译运行,打开WebAppDebugg...
分类:
数据库 时间:
2014-08-02 18:05:33
阅读次数:
306