码迷,mamicode.com
首页 >  
搜索关键字:数据采集    ( 1158个结果
APP耗电量测试
现象 APP耗电,导致电池续航能力不佳,如下图,在小米MIX2和iPhone X机型上后台静默一小时各应用的耗电排行: 基本概念 相对于PC来说,移动设备的电池电量是非常有限的,保持持久的续航能力尤为重要。另外,Android的很多特性都比较耗电(如屏幕、GPS、sensor传感器、唤醒机制、CPU ...
分类:移动开发   时间:2019-04-09 19:06:38    阅读次数:218
prometheus数据采集exporter全家桶
exporter是prometheus监控中重要的组成部分,负责数据指标的采集。本文将详细介绍mysqld_exporter、redis_exporter、blackbox_exporter、cadvisor,通过这些插件来采集监控主机的相关指标数据,来打造完整的监控系统。
分类:其他好文   时间:2019-04-07 09:47:57    阅读次数:270
PHP 之simple_html_dom实现网页数据采集
数组打印结果为 参考文档:https://github.com/yangsphp/simple_html_dom-master ...
分类:Web程序   时间:2019-04-05 23:50:03    阅读次数:212
手持终端以物联网的模式
近年来,物联宇手持终端以物联网的模式,开启了信息化的管理模式,迸发了新的自我提升和业务新商机。手持终端是一款智能的电子设备,它的核心功能为用户速带来业务效率的提升,如快递行业,每天的工作量需求大,传统分拣需要人力和时间,利用手持终端扫描,能够快速读取信息进行分拣,将工作效率快速提高。对于一款手持终端来讲,数据采集是一项基础的应用。利用手持终端在业务流程的每一阶段,将产品的信息读取、记录、更新、并及
分类:其他好文   时间:2019-04-01 11:39:59    阅读次数:172
数据采集工具:八爪鱼
数据采集工具:八爪鱼 目录 一.八爪鱼介绍 二.安装八爪鱼 安装提示: 三.采集原理 四.快速入门 选择采集模式 简易模式下内置了国内一些主流网站的采集规则。如果要采集的网站和字段在简易模式的模板中,可直接调用。 注意:可自定义修改参数,以采集所需数据。 建议: 如果不能确定需要多少页数据,建议打开 ...
分类:其他好文   时间:2019-03-29 23:29:00    阅读次数:326
用crawl spider爬取起点网小说信息
起点作为主流的小说网站,在防止数据采集反面还是做了准备的,其对主要的数字采用了自定义的编码映射取值,想直接通过页面来实现数据的获取,是无法实现的。 单独获取数字还是可以实现的,通过requests发送请求,用正则去匹配字符元素,并再次匹配其映射关系的url,获取到的数据通过font包工具解析成字典格 ...
分类:其他好文   时间:2019-03-28 13:42:11    阅读次数:155
突破网站对selenium的屏蔽
使用selenium模拟浏览器进行数据抓取无疑是当下最通用的数据采集方案,它通吃各种数据加载方式,能够绕过客户JS加密,绕过爬虫检测,绕过签名机制。它的应用,使得许多网站的反采集策略形同虚设。由于selenium不会在HTTP请求数据中留下指纹,因此无法被网站直接识别和拦截。 这是不是就意味着sel ...
分类:Web程序   时间:2019-03-26 15:23:51    阅读次数:493
Vue前端数据采集 埋点 追踪用户系列行为
什么是埋点? 综合 vue埋点 埋点分析,是网站分析的一种常用的数据采集方法。数据埋点分为初级、中级、高级三种方式。数据埋点是一种良好的私有化部署数据采集方式。 埋点技术如何采集数据,有何优缺点?数据埋点分为初级、中级、高级三种方式,分别为: 初级:在产品、服务转化关键点植入统计代码,据其独立ID确 ...
分类:其他好文   时间:2019-03-21 21:34:56    阅读次数:272
数据仓库| 概述| 集群环境搭建
数据仓库DW数据来源:爬虫 日志采集系统 业务数据 财务系统 数据去向:报表系统、用户画像推荐系统、机器学习、风控系统 项目需求分析 ① 数据采集平台搭建② 实现用户行为数据仓库的分层搭建③ 实现业务数据仓库的分层搭建④ 针对数据仓库中的数据进行,留存、转化率、GMV(每天交易额)、复购率、活跃等报 ...
分类:其他好文   时间:2019-03-19 01:21:02    阅读次数:186
通过mysql数据库excel表格数据采集汇总
2017年本人被借调到教育局收集全县的扶贫数据,数据以EXCEL表格的方式分学校上报到乡镇教育管理中心汇总,然后教管中心上报到县资助中心汇总。这项工作看似简单,但却给我带来了无限的烦恼。上报上来的数据来源于百多所学校,而资助中心对数据有严格的要求,但往往上报上来的数据各种问题,不是身份证不对,就是格 ...
分类:数据库   时间:2019-03-17 18:27:48    阅读次数:279
1158条   上一页 1 ... 30 31 32 33 34 ... 116 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!