众所周知，Python有很对第三方模块，只要熟练应用这些模块即可完成各种任务，在开始采集数据之前需要存在一个目标站点，然后使用Python脚本进行质量数据采集。探测web质量需要用到Python的pycurl模块，它可以获取HTTP请求的状态码，DNS解析时间、建立连接时间、传输结束总时间，下载数据包大小，HTTP头部大小、平均下载速度等参数。从这些参数中可以了解web的服务质量如何，然后进行优化
分类：
编程语言 时间：
2019-09-23 16:47:40
阅读次数：
118
作者|元乙阿里云日志服务数据采集客户端负责人，目前采集客户端logtail在集团百万规模部署，每天采集上万应用数PB数据，经历多次双11、双12考验。导读：随着K8s不断更新迭代，使用K8s日志系统建设的开发者，逐渐遇到了各种复杂的问题和挑战。本篇文章中，作者结合自己多年经验，分析K8s日志系统建设难点，期待为读者提供有益参考。在Logging这块做了几年，最近1年来越来越多的同学来咨询如何为Ku
分类：
其他好文 时间：
2019-09-18 19:29:25
阅读次数：
121
大数据作为2019年比较热门的技术，受到越来越多的关注，那么对于一个想进入大数据的朋友来说，最想知道的是：大数据学什么？今天科多大数据就和你们一起来分享一篇关于大数据学习内容体系介绍的文章。大数据技术体系太庞杂了，基础技术覆盖数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算（批处理、在线处理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据仓库、数据挖掘、机器学习、
分类：
其他好文 时间：
2019-09-16 16:18:53
阅读次数：
103
查看java环境变量，若java环境变量未设置，请填写java的绝对路径
分类：
系统相关 时间：
2019-09-02 15:35:50
阅读次数：
103
一、大数据的来源 1.人类活动 2.计算机 3.物理世界 二、大数据采集设备 1.科研数据 （1）大型强子对撞机 （2）射电望远镜 （3）电子显微镜 2.网络数据 我们可以利用数据中心采集网络中的数据。 三、大数据采集方法 1.科研数据 2.网络数据 爬虫（慎用） 3.系统日志 （1）Scribe是 ...
分类：
其他好文 时间：
2019-09-02 09:29:17
阅读次数：
85
一、什么是Ganglia 对于这个工具，大家可能比较陌生，但是它功能非常强大，如果我们想收集所有服务器、网络设备的数据，那么ganglia绝对是首选，在深入学习之前，还是先从基础概念了解起吧！ Ganglia是一款为HPC（高性能计算）集群而设计的可扩展的分布式监控系统，它可以监视和显示集群中的节点 ...
分类：
其他好文 时间：
2019-08-31 23:33:21
阅读次数：
117
OpenFalcon 小米的监控系统：OpenFalcon是一款企业级、高可用、可扩展的开源监控解决方案。 一、特点 ①强大灵活的数据采集 自动发现，支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持、opentsdb data model like（timestamp ...
分类：
其他好文 时间：
2019-08-18 21:26:46
阅读次数：
91
没有试30000sps 采样率低可能还不能用，需要改变SPI速率等 使用ADS1256DRDY引脚作中断触发进行数据采集 main.c中（死循环前只执行一次）： 外部中断： ADS1256配置 ...
分类：
其他好文 时间：
2019-08-17 20:11:58
阅读次数：
71
卡尔曼(Kalman)滤波：https://blog.csdn.net/CSDN_X_W/article/details/90289021 十种数据采集滤波的方法和编程实例：https://wenku.baidu.com/view/e40d402a856a561252d36feb.html ...
分类：
其他好文 时间：
2019-08-13 13:34:22
阅读次数：
75
以下是整理flume的各种采集方式代码直接用一、source类netcata1.sources=r1a1.sinks=k1a1.channels=c1a1.sources.r1.type=netcata1.sources.r1.bind=linux1a1.sources.r1.port=666a1.sinks.k1.type=loggera1.channels.c1.type=memorya1
分类：
Web程序 时间：
2019-08-11 00:57:43
阅读次数：
399
