Beats，Logstash负责数据收集与处理。相当于ETL（Extract Transform Load）。Elasticsearch负责数据存储、查询、分析。Kibana负责数据探索与可视化分析。 1、Elasticsearch 6.x版本的安装，我这里使用Elasticsearch 6.7.0 ...
分类：
其他好文 时间：
2019-10-26 15:11:18
阅读次数：
86
一、人民币二分类 描述：输入人民币，通过模型判定类别并输出。 数据：四个子模块 数据收集 -> img,label 原始数据和标签 数据划分 -> train训练集 valid验证集 test测试集 数据读取 -> DataLoader ->(1)Sampler(生成index) (2)Datase ...
分类：
其他好文 时间：
2019-10-21 19:18:53
阅读次数：
127
一.机器收集数据 机器收集数据会从不同角度对数据进行抓取和采集，与之前手动收集数据不同，机器收集数据不再是用小样本、特定样本来采集和分析整体数据，而是采用大样本或整体数据进行分析，这打破了原来的数据分析模式，数据分析的精确度也大大提高。 二.机器收集数据的描述 1.网址采集【基于爬虫等技术，例如：S ...
分类：
其他好文 时间：
2019-10-20 17:46:15
阅读次数：
77
近年来越来越多的公司已经意识到数据及数据分析可带来的价值，并且已经跳上了大数据旅行车。实际上，现在所有的一切都在被监控和测量，创造了大量的数据流，通常比公司可以处理的速度更快。问题是，根据定义，大数据很大，因此数据收集中的小差异或错误可能导致重大问题，错误信息和不准确的推论。有一些技术可以优化您的大数据分析，并最大限度地减少可能渗入这些大型数据集的“噪音”。以下是五个技术技巧做参考：一、优化数据收
分类：
其他好文 时间：
2019-10-20 09:13:35
阅读次数：
81
Zabbix 2019/10/12 Chenxin 参考 https://www.zabbix.com/documentation/4.0/zh/manual https://baike.baidu.com/item/zabbix/6780368?fr=aladdin 简介 zabbix是一个基于W ...
分类：
其他好文 时间：
2019-10-14 10:19:09
阅读次数：
567
1.数据收集 BeautifulSoup、scrapy、selenium、requests 2.数据分析 pandas、numpy、pyDD、spacy 3.数据可视化 matplotlib、seaborn、bokeh 4.建模 scikit-learn、tensorflow、pytorch 5.模 ...
分类：
编程语言 时间：
2019-10-08 23:54:02
阅读次数：
133
网站数据统计分析工具是网站站长和运营人员经常使用的一种工具，比较常用的有谷歌分析、百度统计 和 腾讯分析等等。所有这些统计分析工具的第一步都是网站访问数据的收集。目前主流的数据收集方式基本都是基于javascript的。本文将简要分析这种数据收集的原理，并一步一步实际搭建一个实际的数据收集系统。 注 ...
分类：
Web程序 时间：
2019-10-07 19:41:04
阅读次数：
158
构建ML模型的步骤 现在我们已经看了解到了一些ML应用程序的例子，问题是，我们如何构建这样的ML应用程序和系统? 下图总结了我们使用ML开发应用程序的方法，我们将在下面更详细地讨论这个问题: 如上图所示，建立学习模型的步骤如下: 问题定义:任何项目的第一步不仅是理解我们想要解决的问题,也定义了我们如 ...
一.概述 数据是对我们所研究现象的属性和特征的具体描述，在分析数据前必须要做的工作就是收集数据。按照存储形式可以将数据划分为结构化数据、非结构化数据和半结构化数据。 1.结构化数据 能够用数据或统一的格式加以表示，简单来说就是数据库。 2.非结构化数据 无法用数据或统一的结构加以表示，如视频、音频、 ...
分类：
其他好文 时间：
2019-10-02 20:44:53
阅读次数：
97
一个典型的机器学习过程从数据收集开始，要经历多个步骤，才能得到需要的输出。这非常类似于流水线式工作，即通常会包含源数据ETL（抽取、转化、加载），数据预处理，指标提取，模型训练与交叉验证，新数据预测等步骤。 一、定义： DataFrame：使用Spark SQL中的DataFrame作为数据集，它可 ...
分类：
其他好文 时间：
2019-09-27 15:23:34
阅读次数：
103
