使用场景 CMDB 资产采集采用中控机for 循环主机列表挨个针对主机进行远程资产采集并且提交数据到API，此方式为一个一个的数据采集并提交，在主机数量庞大的请况下此方式严重耗时。 再次引入线程池方式，例如建立10个线程，每次10个线程同时采集10个主机信息并且入库，先执行完任务的线程继续采集后面的 ...
分类：
编程语言 时间：
2019-01-12 22:58:24
阅读次数：
236
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第1章 数据大图 2 1.1 数据流程 2 1.1.1 数据产生 3 1.1.2 数据采集和传输 5 1.1.3 数据存储处理 6 1.1.4 数据应用 7 1.2 数据技术 8 1.2.1 数据采集传输主要技术 9 1.2.2 ...
分类：
其他好文 时间：
2019-01-10 19:31:47
阅读次数：
132
在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用HTML表单或其他网页文件），然后对数据进行解析，提取需要的信息。 本文假定 ...
分类：
其他好文 时间：
2019-01-09 23:28:57
阅读次数：
169
经过了数据采集与数据同步、数据分析和处理，我们应该考虑将处理好的数据做成报表或者大屏更好地展示给老板们看，以便老板们可以更加精准地做出战略决策，为业务的发展指明方向。
分类：
其他好文 时间：
2019-01-07 21:25:13
阅读次数：
272
描述 年久失修的赛道令国际汽联十分不满。汽联命令主办方立即对赛道进行调整，否则将取消其主办权。主办方当然必须马上开始行动。 赛道测评人员经过了三天三夜的数据采集，选出了若干可以使用的道路和各道路行驶所需的时间。这些道路包括若干直道和弯道，每个直道连接两个不同的弯道且为单向，两个弯道之间可能有多条直道 ...
分类：
其他好文 时间：
2019-01-05 15:17:03
阅读次数：
218
网络爬虫能够从网站某1个网页页面(通常是首页)开始，读取网页的信息，找到在网页中的其它链接地址，之后经由这些链接地址寻找下1个网页，这样一直循环下去，直到把这个网站所有的网页都爬取完为止。学好网络爬虫的原因学好网络爬虫，能够私人订制1个搜索引擎，而且能够对搜索引擎的数据采集工作原理举行更深层次地理解。学好网络爬虫能够获取更多的数据源。这些数据源能够按我们的目的举行采集，去掉很多无关数据。对于很多S
分类：
编程语言 时间：
2019-01-05 15:08:53
阅读次数：
249
数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上 消息系统：可以加入Kafka防止数据丢失 实时计算：实时计算使用Spark Streaming消费Kafka中收集的日志数据，实时计算结果大多保存在Redis中 机器学习：使用了Spark MLlib ...
分类：
其他好文 时间：
2019-01-04 14:49:53
阅读次数：
154
在公司用golang 写了个插入外链数据的服务，这服务是2016年写的，大概作用就是，python 爬取的数据，要同步到 wordpress中，golang就负责，将数据整理，图片下载弄到 wordpress中，当然也不止这些服务，本来这个服务之前运行的好好的，可是最近又上了新的数据采集道后，这个服 ...
分类：
数据库 时间：
2019-01-03 19:40:39
阅读次数：
177
1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术：基于hadoop之上的Hive 4) 数据导出：基于hadoop的sqoop数据导入导出工具 5) 数据可视化：定制开发web程序或使用kettle ...
分类：
其他好文 时间：
2019-01-02 23:28:02
阅读次数：
243
方案需求2017年10月10日，公消（2017）297号文件《关于全面推进“智慧消防”建设的指导意见》指出了消防信息建设的目标，要求综合运用物联网、云计算、大数据、移动互联网等新兴信息技术，加快推进“智慧消防”建设，全面促进信息化与消防业务工作的深度融合，为构建立体化、全覆盖的社会火灾防控体系，打造符合实战要求的现代消防警务机制提供有力支撑，全面提升社会火灾防控能力、部队灭火应急救援能力和队伍管理
分类：
其他好文 时间：
2019-01-02 19:22:00
阅读次数：
193
