随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2014-07-10 12:32:08
阅读次数：
237
CRL是一个面向对象的轻便型ORM业务框架数据处理使用了对象/数据映射,数据操作采用Lamada表达式来表示,增加了可编程性和可靠性,出错机率低,同时也能用原生的SQL实现查询或操作数据连接以编程方式进行配置,支持多个数据库,参见Global.asax中实现,首次使用请更改LocalSqlHelpe...
分类：
其他好文 时间：
2014-07-10 10:20:53
阅读次数：
650
2014年初经过深思熟虑，确定方向数据挖掘，作为今后工作生涯的追随领域。 3月份开始看机器学习的课程，到了4月底，参加阿里巴巴的大数据竞赛，便把课程学习给落下了—— 一大遗憾。 比赛的成绩可想而知，由于知识储备不够，况且还是单干，只能说还行，从七千个队伍到前五百名内，再从三百名到一百多名，然后遇到....
分类：
其他好文 时间：
2014-07-10 00:35:54
阅读次数：
183
Miracast通讯架构中关于视频数据处理流程的部分。整个视频数据处理及传输的流程，大致上分为几个阶段，一开始将撷取到系统的画面及声音进行压缩，而压缩后的影音数据再转为基本封包串流(Packetized Elementary Stream, PES)封包格式，若应用HDCP，会将相关信息加进来，再以...
分类：
其他好文 时间：
2014-07-07 17:58:40
阅读次数：
203
7月2号晚20:30-22:30 东大博士Dasight分享主题《大数据与Hadoop漫谈》
7月5号晚20:30-22:30 原支付宝MySQL首席DBA分享主题《MySQL发展趋势,MySQL各个分支介绍》、《MySQL 5.6版本特性介绍及如何从MySQL 5.5向MySQL
5.6》
7月10号晚20:30-22:30 东大博士Dasight分享主题《Hadoop与Nosql技术的适用性分析》
7月12号晚20:30-22:30 原支付宝MySQL首席DBA分享主题《1000+MySQ...
分类：
数据库 时间：
2014-06-30 08:40:53
阅读次数：
315
使用sqoop-1.4.4.bin__hadoop-2.0.4-alpha将Oracle11g数据导入HBase0.96...
分类：
数据库 时间：
2014-06-30 08:21:16
阅读次数：
356
有的时候，总是在思考我们所学的技术能够指导我们的生活跟工作不能。在今晚听完包老师的课后，好像有所启发。第一堂课讲的是面向云计算，实时数据处理的数据中心。虽说内容记忆了许多，但是对未来的趋势个人觉得把握的很好。详细讲解了为什么服务器市场是那么的重要，同时也有..
分类：
其他好文 时间：
2014-06-29 21:30:32
阅读次数：
218
Sqoop1.99.3基础操作--导入Oracle的数据到HDFS...
分类：
数据库 时间：
2014-06-28 08:51:31
阅读次数：
229
Ubuntu14 server + Hadoop2.2.0环境下Sqoop1.99.3部署记录...
分类：
其他好文 时间：
2014-06-28 08:21:09
阅读次数：
186
公司的短信平台，数据量越来越大了，需要对数据进行一些优化，下面是拆分后的数据库量参考。新开发的软件模块，必须支持分表，拆表的功能一个数据表里，不适合保存1000万以上的记录新开发的业务模块，能分表的全分表，否则，将来我们无法用其他小型数据库，例如mysql 现在系统的短信已经进行了拆表接着打算把日....
分类：
Web程序 时间：
2014-06-27 23:09:12
阅读次数：
309
