如果你对项目管理、系统架构有兴趣，请加微信订阅号“softjg”，加入这个PM、架构师的大家庭
随着BIG
DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间...
分类：
其他好文 时间：
2014-05-12 17:06:14
阅读次数：
396
在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark
Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理呢？
分类：
其他好文 时间：
2014-05-06 00:58:21
阅读次数：
465
能够将热爱的技术应用于实际生活生产中，是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目现在正在线上运行，项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰，爬取数据（txt文本）-->数据清洗-->文本模型训练-->文本分类-...
分类：
其他好文 时间：
2014-05-04 00:22:05
阅读次数：
476
昨天看到微信SuperSofter写了一篇文章，有感而发，以便备注。
这是一种典型的C2B模式。阿里不只是在与腾讯拼移动，它的电商本土业务也在稳步推进。最近一个里程碑事件是，阿里包下了美的、九阳、苏泊尔等十个品牌的12条生产线，专为天猫特供小家电。阿里通过所掌握的数据以及分析成果，去指导这些生产线的研发、设计、生产、定价。
C2B与规模化之间的矛盾
C2B反向定制模式...
分类：
其他好文 时间：
2014-05-04 00:15:15
阅读次数：
289
第48期百度技术沙龙上的《大数据场景下主题检索应用》讲座介绍了很多训练大规模主题模型的技术细节。讲座回来后，我粗略整理了下讲座上涉及的主题模型和训练大规模模型相关的资料和文献。
1. 主题模型的发展历史
a. 布尔模型 Boolean model
b. 向量空间模型 VSM (Vector space model)
c. 潜在语义索引 LSI (Latent...
分类：
其他好文 时间：
2014-05-03 21:40:07
阅读次数：
371
近日浏览csdn博客，发先一本自编的分享自编《Python基础教程》无水印文字版，推荐读之，内容朴实无华无拖泥带水，板式清晰，是python入门和初学者必藏教程。
下载地址
http://download.csdn.net/detail/u014036026/7188403...
分类：
编程语言 时间：
2014-05-03 17:06:16
阅读次数：
407
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类：
其他好文 时间：
2014-05-02 19:56:21
阅读次数：
367
关系型数据库与非关系型数据库自1970年，埃德加·科德提出关系模型之后，关系数据库便开始出现，经过了40多年的演化，如今的关系型数据库具备了强大的存储、维护、查询数据的能力。但在关系数据库日益强大的时候，人们发现，在这个信息爆炸的“大数据”时代，关系型数据库遇到了性能方面的瓶颈，面对一个表中上亿条的...
分类：
数据库 时间：
2014-05-02 09:02:06
阅读次数：
365
眼下大数据口号满天飞，今天拿我微信圈朋友一段时间内分享内容作为数据，用R包的算法实现简单分析。由于微信没有接口获取数据，暂时只能手动记录数据，主要是做个小尝试，数据获取方式是其次。1）我们看看微信圈活跃的朋友。PS：知道为何我们的流量烧的这么快了吧？这些小伙伴八成是运营商潜伏过来的余则成，在背后分成...
分类：
其他好文 时间：
2014-05-01 19:11:52
阅读次数：
372
(转载请注明出处：http://blog.csdn.net/buptgshengod)
1.背景知识
在刚刚结束的天猫大数据s1比赛中，逻辑回归是大家都普遍使用且效果不错的一种算法。
（1）回归
先来说说什么是回归，比如说我们有两类数据，各有50十个点组成，当我门把这些点画出来，会有一条线区分这两组数据，我们拟合出这个曲线（因为很有可能是非...
分类：
编程语言 时间：
2014-04-30 22:15:39
阅读次数：
454
