1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 2 Flume 组成架构 Flume 组成架构如图 1-1，图 1-2 所示： 2.1 Agent Agent 是一个 JVM 进程，它 ...
分类：
Web程序 时间：
2020-07-26 02:04:24
阅读次数：
109
方法1使用多IP：1.IP必须需要，比如ADSL。如果有条件，其实可以跟机房多申请外网IP。2.在有外网IP的机器上，部署代理服务器。3.你的程序，使用轮训替换代理服务器来访问想要采集的网站。好处：1.程序逻辑变化小，只需要代理功能。2.根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。3.就 ...
分类：
其他好文 时间：
2020-07-26 00:35:26
阅读次数：
571
在使用计讯物联边缘计算网关进行设备的云连接配置和操作，可以完成设备的远程数据传输与控制，为用户提供基于云端的物联网数据处理和告警服务，最大程度减少因设备损坏导致的资产损失。下面就一起来一起看看基于边缘计算网关的设备远程监控的优势特点有哪些吧。 1.边缘云端，互联互通 前端采集的数据通过5G/4G直接上云，基于仪表盘、计讯云平台、APP、短信等方式实现远程监测控制、预警通知、报告推送和设备连
分类：
其他好文 时间：
2020-07-24 23:48:55
阅读次数：
135
本讲内容 prometheus命令行格式 rate函数使用 increase函数使用 sum函数使用 （一）prometheus命令行格式 我们选一个新的key来做讲解 count_netstat_wait_connections #TCP wait_connect数 这个key值不少我们熟悉的no ...
分类：
其他好文 时间：
2020-07-23 22:20:31
阅读次数：
103
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。说到数据分析工具，被提及频率最高且使用最多的不过是这几种：Excel、SQL、Python、R、Smartbi、Tableau、SPSS、SAS等。ExcelExcel作为入门级的工具，是最基础
分类：
其他好文 时间：
2020-07-23 19:03:50
阅读次数：
142
全色图像（Panchromatic Image） 全色是指全部可见光波段0.38~0.76 um，全色图像为这一波段范围的混合图像，一般为单通道的灰度图像。 全色图像的采集是不需要分光的，地面反射的能量通过镜头后，直接投射到CCD探测器上从光信号转变成电信号，再被数字量化成灰度，就成为我们在电脑上看 ...
分类：
其他好文 时间：
2020-07-22 23:35:41
阅读次数：
93
参考了DotNetSpider示例，感觉DotNetSpider太重了，它是一个比较完整的爬虫框架。对比了以下各种无头浏览器，最终采用PuppeteerSharp+AngleSharp写一个爬虫示例。和上面的博文一样，都是用汽车之家的https://store.mall.autohome.com.c ...
分类：
其他好文 时间：
2020-07-22 15:41:09
阅读次数：
117
按阶段：(引用) 商务谈判阶段：合同、工作说明书（概要设计说明书） 项目准备阶段：里程碑计划、交付物计划、资源计划、费用计划、风险评估、项目进度计划、启动会材料 需求调研阶段：需求调研计划、需求调研问卷、需求调研记录、数据采集表、需求调研总结、系统实施方案（详细设计说明书）、需求变更流程 开发测试阶 ...
分类：
其他好文 时间：
2020-07-21 22:41:15
阅读次数：
92
通过PromQL可以实时对Prometheus中采集到的样本数据进行查询，聚合以及其它各种运算操作。而在某些PromQL较为复杂且计算量较大时，直接使用PromQL可能会导致Prometheus响应超时的情况。 这时需要一种能够类似于后台批处理的机制能够在后台完成这些复杂运算的计算，对于使用者而言只 ...
分类：
其他好文 时间：
2020-07-20 13:08:34
阅读次数：
54
EdgeAgent功能列表： 1· 协议平台功能,内置协议驱动，对接工业物联网协议并进行数据采集。 2·数据过滤/清洗功能，去重数据减少传输冗余。 3·规则引擎功能，根据指定规则进行数据计算并即时上传至北向云端。 4·数据&日志 持久化功能，实现离线在线平滑过渡。 5·设备状态变更通知功能，通过邮件 ...
分类：
其他好文 时间：
2020-07-19 15:51:04
阅读次数：
58
