架构 上图为http://www.cnblogs.com/delgyd/p/elk.html#3656833 中的图架构解读 : （整个架构从左到右，总共分为5层）（本文将第三层以下的进行了合并，无elasticsearch集群） 第一层、数据采集层最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发
分类：
其他好文 时间：
2018-03-14 22:07:04
阅读次数：
216
热点随笔： · 终于，我也要出一本C#的书了 - 我的写作历程与C#书单推荐（风口上的猪）· 我为什么突然想转管理？（南尘）· 官方老爹之痛：为什么苹果能收到推送，而安卓不行？（陈树义）· 【开源】C#.NET股票历史数据采集，【附18年历史数据和源代码】（数据之巅）· ASP.NET Core 2 ...
分类：
其他好文 时间：
2018-03-12 10:26:05
阅读次数：
165
监控 1，识别监控对象 2，理解监控对象 3，细分监控对象的指标 4，确定告警的基准线 预中级 1，工具化和监控分离 2，监控对象分离 2.1 硬件监控（方法：机房巡检，IPMI，SNMP） 2.2 系统监控（对象：CPU，内存，IO[磁盘，网络]） 2.3 服务监控（对象：各类服务[Nginx|T ...
分类：
其他好文 时间：
2018-03-11 21:08:12
阅读次数：
183
最近一直在研究Turnipbit这块板子，之前也做了几个小实验，研究了下针脚，发现光敏传感器和声音传感器针脚能对的上，就做了下这个声光控小实验，顺便测试下这块板子的性能。不得不说熟悉Microbit的人都能熟练操作，可视化拼插编程哪怕是孩子也能熟练操作。 需要器件 1.Turnipbit以及Turn ...
分类：
其他好文 时间：
2018-03-10 11:48:01
阅读次数：
158
1. 数据采集：Python爬取淘宝网商品数据 2. 对数据进行清洗和处理 3. 文本分析：jieba分词、wordcloud可视化 4. 数据柱形图可视化 barh 5. 数据直方图可视化 hist 6. 数据散点图可视化 scatter 7. 数据回归分析可视化 regplot ...
分类：
编程语言 时间：
2018-03-09 13:18:55
阅读次数：
290
1.概念cAdvisor：用于数据采集InfluxDB：用于数据存储Grafana：用于数据展示1.1cAdvisor它是Google用来监测单节点的资源信息的监控工具。Cadvisor提供了一目了然的单节点多容器的资源监控功能。Google的Kubernetes中也缺省地将其作为单节点的资源监控工具，各个节点缺省会被安装上Cadvisor。总结起来主要两点：展示Host和容器两个层次的监控数据。
分类：
数据库 时间：
2018-03-06 14:45:23
阅读次数：
618
Android手机的USB转串口开发Android手机的USB接口在各个领域都得到了广泛的应用和推广。笔者前几天接手一个项目，主要就是解决工业现场数据采集的问题，该项目是由深圳宏进科技委托笔者开发的。现场的总线是RS485和RS232总线，需要用电脑和手机方便的采集数据，保留并从现场发给深圳公司进行数据分析和问题的解决。硬件采用常用的USB转串口模块，既可以用电脑配合串口软件进行数据采集，又可以通
分类：
移动开发 时间：
2018-03-06 10:49:01
阅读次数：
212
欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ 一、Sqoop的简介： Sqoop是一个数据采集引擎/数据交换引擎，采集关系型数据库（RDBMS）中的数据，主要用于在RDBMS与HDFS/Hive ...
分类：
数据库 时间：
2018-03-04 19:11:10
阅读次数：
199
欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！ 一、Flume的介绍： Flume由Cloudera公司开发，是一种提供高可用、高可靠、分布式海量日志采集、聚合和传输的系统，Flume支持在日志系 ...
分类：
Web程序 时间：
2018-03-04 19:01:17
阅读次数：
197
Linux Shell 提供两个非常实用的命令来爬取网页，它们分别是 curl 和 wget 米扑代理，作为大数据分析研究的基础服务，对其做了深入的研究和总结。 curl 和 wget 使用代理 curl 支持 http、https、socks4、socks5 wget 支持 http、https ...
分类：
Web程序 时间：
2018-03-01 23:31:42
阅读次数：
346
