《大数据时代》开篇讲了Google通过人们在搜索引擎上搜索关键字留下的数据提前成功的预测了2009年美国的H1N1的爆发地与传播方向以及可能的潜在患者的事情。Google的预测比政府提前将近一个月,相比之下政府只能够在流感爆发一两个周之后才可以弄到相关的数据。同时Google的预测与政府数据的相关性 ...
分类:
其他好文 时间:
2016-03-23 22:02:46
阅读次数:
187
大数据时代的到来意味着数据量的爆炸,也意味着收集数据的难度将大幅增加。为了将海量的数据收集起来,埋点技术应运而生。然而随着大数据的发展和深入,用户的要求越来越高,埋点技术开始变得力不从心。 近期,一些公司开始以“无埋点技术”为卖点,开始到处宣传无埋点比埋点好,那么到底事实
分类:
其他好文 时间:
2016-03-15 19:07:15
阅读次数:
165
随着大数据时代的到来,合理构建可持续的存储架构已经成为企业数据中心IT主管们面临的头号难题之一。经常有人问我,如何为成长型公司的大型系统部署存储架构,尤其是当这些大型系统承载视频、音频、或社交类网站时,该如何构建存储架构?以下介绍一些我们常选择的方法及各自的优点。 构建存储架构时,要考虑许多问题,最
分类:
其他好文 时间:
2016-02-24 15:37:44
阅读次数:
127
相比于爬虫框架,知乎小爬虫,更加适合初学者,尤其是想要了解爬虫技术细节、实现自己编写爬虫需求的初学者。 1. 谈爬虫工程师的价值 大数据时代已到,数据越来越具有价值了,没有数据寸步难行,有了数据好好利用,可以在诸多领域干很多事,比如很火的互联网金融。从互联网上爬来自己想要的数据,是数据的一个重要来源
分类:
其他好文 时间:
2016-02-17 09:28:44
阅读次数:
242
在数据库时代,计算机在分布体系中的角色有明确划分,不是客户机就是服务器,通常是一台服
务器连着多台客户机,服务器承担存储和计算的工作,客户机负责显示服务器的处理结果。高性能的计算机,比如小型机会被做为服务器,低端的计算机,如个人计
算机成为客户机。这就是以前..
分类:
其他好文 时间:
2016-02-13 15:52:07
阅读次数:
152
【 声明:版权全部。欢迎转载。请勿用于商业用途。 联系信箱:armink.ztl@gmail.com】1、背景随着互联网高速发展及大数据时代的到来。NoSQL数据库以其强大的可伸缩性、高效性、实时性等特点,而获得十足的发展。键值(Key-Value)存储数据库就是NoSQL的一种,...
分类:
数据库 时间:
2016-01-24 10:22:19
阅读次数:
173
一、回想让我们回想一下,在上几章里都讲了什么?总结例如以下:《柯南君:看大数据时代下的IT架构(1)业界消息队列对照》《柯南君:看大数据时代下的IT架构(2)消息队列之RabbitMQ-基础概念具体介绍》《柯南君:看大数据时代下的IT架构(3)消息队列之RabbitMQ-安装、配置与监控》《柯南君:...
分类:
其他好文 时间:
2016-01-18 18:48:58
阅读次数:
255
LabVIEW+MySQL程序开发大数据时代,LabVIEW程序开发怎么能少了数据库这一强大的工具,然而大多数的LabVIEW工程师对于数据库的概念了解比较少,所以本课程重点介绍如何利用MySQL,让自己的程序上升一个档次。首先,如果想要设计一个复杂的大型程序,必不可少的即数据库的支持,纵观众多的数...
分类:
数据库 时间:
2016-01-10 09:20:24
阅读次数:
303
转自:http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.html我最近研究了hive的相关技术,有点心得,这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性: 1.hive是.....
分类:
其他好文 时间:
2016-01-08 06:59:55
阅读次数:
183
Kafka简介在当前的大数据时代,第一个挑战是海量数据的收集,另一个就是这些数据的分析。数据分析的类型通常有用户行为数据、应用性能跟踪数据、活动数据日志、事件消息等。消息发布机制用于连接各种应用并在它们之间路由消息,例如通过message broker。Kafka是快速地将海量信息实时路由到消费者的...
分类:
其他好文 时间:
2016-01-02 01:05:40
阅读次数:
265