一、flume特点 flume是目前大数据领域数据采集的一个利器，当然除了flume还有Fluentd和logstash，其他的目前来说并没有深入的了解，但是我觉得flume能够在大数据繁荣的今天屹立不倒，应该有以下几点： 1. Flume可以将应用产生的数据存储到任何集中存储器中，完美的介入HDF ...
分类：
Web程序 时间：
2018-11-12 17:36:19
阅读次数：
239
大数据时代下，数据采集推动着数据分析，数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例，过程中就会面临，IP被封，爬取受限、违法操作等多种问题，当你采集数据最起劲儿的时候，突然网页跳出403Forbidden的提示。所以在爬取数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题，太阳HTTP服务应运而生。让我们先来看一下你所遭遇的
分类：
其他好文 时间：
2018-11-11 17:58:08
阅读次数：
202
大数据时代下，数据采集推动着数据分析，数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例，过程中就会面临，IP被封，爬取受限、违法操作等多种问题，所以在爬去数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题。掌握爬虫技术也成为现在技术流的营销推广人员必须掌握的。爬虫入门，这些知识你必须了解。一、网络爬虫的基本工作流程如下：1.首先
分类：
其他好文 时间：
2018-11-10 21:22:27
阅读次数：
437
一、采集点的取舍 说到数据分析，首先当然是数据越全面越详细越好。因为这有助于分析得出比较正确的结果，从而做出合理的决策。 1.服务器数据 采集的服务器数据主要围绕着这么几个？ (1)服务器负载 (2)磁盘读写 (3)网卡流量 如何采集这些数据，可以通过zabbix监控获取。 关于zabbix学习，可 ...
分类：
Web程序 时间：
2018-11-10 17:56:32
阅读次数：
284
图片:https://images-cdn.shimo.im/eCwUpB4CC3kgkizx/PC.jpg大数据时代下，数据采集推动着数据分析，数据分析推动发展。但是在这个过程中会出现很多问题。拿最简单最基础的爬虫采集数据为例，过程中就会面临，IP被封，爬取受限、违法操作等多种问题，所以在爬去数据之前，一定要了解好预爬网站是否涉及违法操作，找到合适的代理IP访问网站等一系列问题。下面分享一些爬取
分类：
其他好文 时间：
2018-11-09 19:25:19
阅读次数：
177
【芝麻HTTP】大数据时代下，生活和数据息息相关，越来越多的行业和个人都需要大数据的帮助。这样的背景下，数据采集成为技术主流，但是大量的采集受到了各种限制，其中最为常见的就是IP受限，该如何解决也成为代理IP的一大问题。了解了关于IP受损，下面我们来聊聊HTTP。1、什么是HTTP协议？1）是基于请求与响应的应用层协议，底层协议TCP保证了数据可靠传输2）通过url进行客户端与服务器之间的数据交互
分类：
Web程序 时间：
2018-11-09 16:28:59
阅读次数：
158
MT2511芯片资料、数据表、原理图资料共享 日常给大家分享MTK芯片资料，论坛上有很多关于MTK芯片资料，是一个资料共享的平台，各种型号，包括规格书，原理图，设计表等开发资料，需要的可以到闯客网技术论坛下载，也可以加群获取：813238832 资料链接：https://bbs.usoftchina ...
分类：
其他好文 时间：
2018-11-07 19:56:42
阅读次数：
283
前言 Lepus的慢查询分析平台是独立于监控系统的模块，该功能需要使用percona toolkit工具来采集和记录慢查询日志，并且需要部署一个我们提供的shell脚本来进行数据采集。该脚本会自动开启您数据库的慢查询日志，并对慢查询日志进行按小时的切割，并收集慢查询日志的数据到监控机数据库。随后您通 ...
分类：
数据库 时间：
2018-11-07 14:13:43
阅读次数：
317
在电子商务风起云涌的当下，物流已经成为当下生活不可缺少的重要部分。那在人工智能趋势下，智能物流的核心技术与当下趋势，是怎样的？智能物流的主要技术分析1.自动识别技术(1)自动识别技术以计算机、光、机、电、通信等技术的发展为基础的一种高度自动化的数据采集技术，通过应用一定的识别装置，自动地获取被识别物体的相关信息，并提供给后台的处理系统来完成相关后续处理的一种技术。(2)它能够帮助人们快速而又准确地
分类：
其他好文 时间：
2018-11-06 19:38:10
阅读次数：
550
1、什么是Hadoop 1). HADOOP是apache旗下的一套开源软件平台 2). HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3). HADOOP的核心组件有 A). HDFS（分布式文件系统） B). YARN（运算资源调度系统） C). M ...
分类：
其他好文 时间：
2018-11-04 19:42:26
阅读次数：
145
