目录 01 爬虫的概念 02 爬虫的流程 03 HTTP协议 04 WEBSOCKET 爬虫的概念 爬虫的概念 爬虫更官方点的名字叫数据采集，英文一般称作spider，就是通过编程来全自动的从互联网上采集数据。 比如说搜索引擎就是一种爬虫。 爬虫需要做的就是模拟正常的网络请求，比如你在网站上点击一个 ...
分类：
其他好文 时间：
2019-03-17 13:40:28
阅读次数：
327
转自： 什么是硬件触发和软件触发 硬件触发：数据采集卡被动等待触发信号，接收到信号后才进行数据采集；触发信号可由某个仪器在一定状态下发出。如有的自动测量系统中的高速数据卡就接收position controller发出的触发信号。而有的则依靠矢量网络分析仪接收外部触发信号。之所以能接收触发信号，和仪 ...
分类：
其他好文 时间：
2019-03-14 18:33:11
阅读次数：
350
物联宇手持终端是应用在数据采集和信息查询，实现智能化管理，为工作中减少失误，并能够快速的提高工作效率，比如：仓库盘点，零售，交通等这些方面都在逐渐应用，将传统管理智能化是实现信息化管理。手持终端是多功能集合的数据采集器，具备条码扫描，自动识别，导航定位和信息通讯多个功能，满足各行业的应用需求。一般行业应用可按照工作需求定制，这样能够选择到更适合的手持终端。
分类：
其他好文 时间：
2019-03-13 16:39:26
阅读次数：
221
2019年越来越多的人认识到数据分析的重要性，而国家也为了促进大数据信息建设的发展，对各地建设大数据出台相关政策。大数据技术能够将海量数据中隐藏的信息和知识挖掘出来，为人类社会、经济活动等方面提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。 大数据分析的过程包括：大数据采集——预处理 ...
分类：
其他好文 时间：
2019-03-05 17:11:09
阅读次数：
165
Tushare是一个免费、开源的python财经数据接口包.主要实现对股票等金融数据从数据采集、清洗加工 到 数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据。 完成本项目后,可以进一步通过类似的方法实现股票数据的可视化操作. ...
分类：
编程语言 时间：
2019-03-04 23:43:31
阅读次数：
422
Imu_tk算法流程 由于VIO中，普遍使用的是精度较低的imu，所以其需要一个较为准确的内参数和noise的估计。Noise大家通常使用Allan方差进行估计可以得到较为可信的结果，这里不赘述了。内参数标定比较方便的一个工具就是imu_tk。所以本篇文章主要详细介绍一下imu_tk的算法流程以及使 ...
分类：
编程语言 时间：
2019-03-04 18:56:29
阅读次数：
331
概述 前面简单分析了内核中虚拟摄像头驱动 vivi 的框架与实现，本文参考 vivi 来写一个虚拟摄像头驱动，查询、设置视频格式相对简单，难点在于 vb2_buf 的处理过程。 数据采集流程分析 在我的程序中，大概的数据采集流程如上图所示，启动视频采集之后，创建了一个内核线程，内核线程每30ms 唤 ...
分类：
其他好文 时间：
2019-03-02 10:26:44
阅读次数：
121
基于Python结合InfluxDB及Grafana图表实时采集Linux多主机性能数据 by:授客 QQ：1033553122 实现功能 测试环境 环境搭建 使用前提 使用方法 运行程序 效果展示 实现功能 无需在被监控主机上安装代理，一键对Linux远程服务器不同主机执行性能监控、性能数据采集命 ...
分类：
数据库 时间：
2019-02-22 23:22:48
阅读次数：
244
2019/2/16星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具，使用方便，功能丰富，使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类：
其他好文 时间：
2019-02-17 09:17:32
阅读次数：
201
引言 为了验证采用dotnet core技术开发的物联网设备数据采集接入服务应用是否能在高性价比的linux嵌入式平台运行，针对dotnet core应用程序进行嵌入式linux环境的发布部署运行验证研究。 硬件环境 硬件系统经过对比筛选，选用了友善之臂出品的NanoPC-T3 Plus。该控制板为 ...
分类：
Web程序 时间：
2019-02-09 01:09:41
阅读次数：
228
