如果你对项目管理、系统架构有兴趣，请加微信订阅号“softjg”，加入这个PM、架构师的大家庭
随着BIG
DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间...
分类：
其他好文 时间：
2014-05-12 17:06:14
阅读次数：
396
从父子骑驴的故事随想到大数据时代与个人隐私的矛盾。对于大数据时代和隐私的矛盾，厂商对于大数据无疑是收集用户信息（例如使用习惯、搜索过的信息等等），然后推广给用户更实际的东西和更精准的广告。百度搜索、腾讯QQ、搜狗输入法、奇虎360这些常用工具一直都在收集用户所谓的隐私信息人言可畏，该说哪个厂家在.....
分类：
其他好文 时间：
2014-05-04 10:34:18
阅读次数：
375
codechef的本题算法也不难，但是codechef喜欢大数据，动不动就过万过十万，输入输出处理不好就会超时。
就像本题最大数据可能达到15万个整数。普通输入输出铁定超时了。
这里使用fread和fwrite这两个函数，设置好buffer，速度还是相当快的，而且相对很多程序都比较简单的了。
主要注意：
每个buffer数据块和下一个buffer数据块之间的衔接，不能破坏了最终需要...
分类：
其他好文 时间：
2014-05-04 08:54:04
阅读次数：
268
能够将热爱的技术应用于实际生活生产中，是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目现在正在线上运行，项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰，爬取数据（txt文本）-->数据清洗-->文本模型训练-->文本分类-...
分类：
其他好文 时间：
2014-05-04 00:22:05
阅读次数：
476
昨天看到微信SuperSofter写了一篇文章，有感而发，以便备注。
这是一种典型的C2B模式。阿里不只是在与腾讯拼移动，它的电商本土业务也在稳步推进。最近一个里程碑事件是，阿里包下了美的、九阳、苏泊尔等十个品牌的12条生产线，专为天猫特供小家电。阿里通过所掌握的数据以及分析成果，去指导这些生产线的研发、设计、生产、定价。
C2B与规模化之间的矛盾
C2B反向定制模式...
分类：
其他好文 时间：
2014-05-04 00:15:15
阅读次数：
289
第48期百度技术沙龙上的《大数据场景下主题检索应用》讲座介绍了很多训练大规模主题模型的技术细节。讲座回来后，我粗略整理了下讲座上涉及的主题模型和训练大规模模型相关的资料和文献。
1. 主题模型的发展历史
a. 布尔模型 Boolean model
b. 向量空间模型 VSM (Vector space model)
c. 潜在语义索引 LSI (Latent...
分类：
其他好文 时间：
2014-05-03 21:40:07
阅读次数：
371
近日浏览csdn博客，发先一本自编的分享自编《Python基础教程》无水印文字版，推荐读之，内容朴实无华无拖泥带水，板式清晰，是python入门和初学者必藏教程。
下载地址
http://download.csdn.net/detail/u014036026/7188403...
分类：
编程语言 时间：
2014-05-03 17:06:16
阅读次数：
407
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类：
其他好文 时间：
2014-05-02 19:56:21
阅读次数：
367
关系型数据库与非关系型数据库自1970年，埃德加·科德提出关系模型之后，关系数据库便开始出现，经过了40多年的演化，如今的关系型数据库具备了强大的存储、维护、查询数据的能力。但在关系数据库日益强大的时候，人们发现，在这个信息爆炸的“大数据”时代，关系型数据库遇到了性能方面的瓶颈，面对一个表中上亿条的...
分类：
数据库 时间：
2014-05-02 09:02:06
阅读次数：
365
眼下大数据口号满天飞，今天拿我微信圈朋友一段时间内分享内容作为数据，用R包的算法实现简单分析。由于微信没有接口获取数据，暂时只能手动记录数据，主要是做个小尝试，数据获取方式是其次。1）我们看看微信圈活跃的朋友。PS：知道为何我们的流量烧的这么快了吧？这些小伙伴八成是运营商潜伏过来的余则成，在背后分成...
分类：
其他好文 时间：
2014-05-01 19:11:52
阅读次数：
372
