一、"大数据时代"，数据获取的方式： 1. 企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然的优势。 有数据意识的中小型企业，也开始积累的数据。 2. 数据管理咨询公司：通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、问卷调查、固定的样本检测， 和各行各业的公司进行合作 ...
分类：
其他好文 时间：
2018-09-10 17:55:31
阅读次数：
207
为以后用的方便，记录一下（主要是怕忘，又得折腾半天）直接贴代码，没太多注释，看不懂的看下源码。Pycharm+bAnsible2.0之后的API比2.0之前要复杂，但使用起来的自由度更好，可根据自己需求修改AnsibleAPI的使用方法；功能也更强大。我主要是使用这个API配合Djcelery实现监控系统的数据采集功能，好处是不再需要每中服务器再开发一个agent。这样使用的问题可能主要是程序的负
0x01 常见的反爬虫 这几天在爬一个网站，网站做了很多反爬虫工作，爬起来有些艰难，花了一些时间才绕过反爬虫。在这里把我写爬虫以来遇到的各种反爬虫策略和应对的方法总结一下。 从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。这里我们只讨论数据采集部分。 一般网站从三个方面反爬虫：用户请求的He ...
分类：
其他好文 时间：
2018-09-06 16:31:35
阅读次数：
169
转 Python爬虫突破封禁的6种常见方法 2016年08月17日 22:36:59 阅读数：37936 在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序 ...
分类：
编程语言 时间：
2018-09-05 13:57:15
阅读次数：
211
3.3 Web表单： web表单是web应用程序的基本功能。 它是HTML页面中负责数据采集的部件。表单有三个部分组成：表单标签、表单域、表单按钮。表单允许用户输入数据，负责HTML页面数据采集，通过表单将用户输入的数据提交给服务器。 在Flask中，为了处理web表单，我们一般使用Flask-WT ...
分类：
Web程序 时间：
2018-09-04 17:00:12
阅读次数：
224
大致方案为： 1、硬件采集数据 我们现在用到的传感器大都是有固定通讯协议的，例如串口通讯 （https://blog.csdn.net/qq_36629451/article/details/76038673） ，模拟量与数据量的直接读取（需要硬件设备留有相应的接口） 2、硬件与网络通讯 其中传输方 ...
分类：
其他好文 时间：
2018-08-31 14:04:04
阅读次数：
222
LabJack数据采集卡公司，总部位于美国科罗拉多州雷克伍德,是连接到计算机和互联网数据采集硬件和软件的领先制造商,帮助客户通过电脑或手机监控物理世界的变化.下面介绍如何用Labjack数据采集卡与Labview接驳的方法，并实现采集功能。其系列采集卡如下：Labjack应用——labjack安装首先，安装labjack驱动程序。虽然Windows已包含了LabJack所需的USB底层驱动程序，但
分类：
其他好文 时间：
2018-08-28 17:58:18
阅读次数：
354
工业物联网是一个范围很大的概念，本文从数据可视化的角度介绍了一个最小化的工业物联网平台，从 Modbus 数据采集到前端数据可视化呈现的基本实现思路。这里面主要涉及基于 Modbus 通讯规约的数据采集、后台实时数据处理、前端实时数据接收、前端实时数据可视化显示。物联网平台架构主要参考了图扑物联工业... ...
分类：
数据库 时间：
2018-08-28 15:31:11
阅读次数：
347
Labjack系列USB数据采集卡，为客户提供了免费的应用程序配置，测试和记录软件，下面就二次开发提供一些支持，支持的有C/C++、C语言、Delphi、Java、LabVIEW、Matlab、Python、VB.NET等，自由UD库-封装低层协议和驱动层以便于使用扩充板-增加±10VDAC，4-20mA输入，端子板，继电器板。软件对于Windows，使用高级UD库与U3-HV进行通信。这个高级库
分类：
其他好文 时间：
2018-08-23 15:48:15
阅读次数：
244
一. Selenium和PhantomJS介绍 Selenium是一个用于Web应用程序测试的工具，Selenium直接运行在浏览器中，就像真正的用户在操作一样。由于这个性质，Selenium也是一个强大的网络数据采集工具，其可以让浏览器自动加载页面，这样，使用了异步加载技术的网页，也可获取其需要的 ...
分类：
其他好文 时间：
2018-08-22 16:51:52
阅读次数：
253
