技术中台:通用的技术专门团队负责 避免重复造轮子,核心节约成本数据中台:基本的数据采集、数据仓库建立和数据分析能力的共享,其实是数据技术中台的范畴,是将做数据相关工作的技术团队整合,来支持各业务。如统一进件业务中台:各业务线的数据打通、数据共享和协同运用,则属于业务中台。如:资金路由,额度,风控,金 ...
分类:
其他好文 时间:
2020-05-07 16:58:45
阅读次数:
74
前言 随着互联网时代的到来,人们更加倾向于互联网购物。某宝又是电商行业的巨头,在某宝平台中有很多商家数据。 今天带大家使用python+selenium工具获取这些公开的 适合人群: Python零基础、对爬虫数据采集感兴趣的同学! 环境介绍: python 3.6pycharmseleniumti ...
分类:
编程语言 时间:
2020-05-06 20:02:05
阅读次数:
83
1. 初见网络爬虫 1.1 网络连接 输出某个网页的全部 HTML 代码。 urllib 是 Python 的标准库(就是说你不用额外安装就可以运行这个例子),包含了从网络请求数据,处理 cookie,甚至改变像请求头和用户代理这些元数据的函数。 from urllib.request import ...
分类:
编程语言 时间:
2020-05-05 18:04:02
阅读次数:
131
学会掌握:通过学习火车头采集器高级教程可以满足大部分站长对于网站采集的需求,本课程教授您火车头采集器在各种文字、视频、音频、彩票、图片网站的采集方法以及火车头采集器发布模块的制作思路和方法。 本课程会随着市面上.. 适合人群:具有一定网站知识基础的网站编辑、网络营销从业者,电话营销从业者、SEOER ...
分类:
其他好文 时间:
2020-05-04 00:46:53
阅读次数:
435
数据采集利用各种手段获取数据,数据样式不限制,但一般而言是形如excel或者csv这样的表格格式。数据采集:urllib,requests数据解析:Xpath,BS4,正则表达式数据持久化存储:pd.to_csv,pd.to_excel,MySQL,Redis数据预处理一般而言,数据分析和数据挖掘领域的处理的数据都是海量的数据,这样的数据难免会出现问题。数据预处理占到数据挖掘工作的60%,这是最重
分类:
编程语言 时间:
2020-05-03 00:58:59
阅读次数:
67
一、背景 Linux系统出现性能瓶颈时,往往因个别函数长时间占用CPU造成,解决问题的第一步就是定位到引起问题的函数,perf就是这样的工具,它是Linux内核源码提供的工具。 二、核心概念 1. 数据采集 perf通过采样的方式,记录CPU正在执行的函数名及函数的调用栈,通常采样频率是每秒99次, ...
分类:
系统相关 时间:
2020-05-02 17:23:05
阅读次数:
559
原因一:zabbix_agentd.conf文件中hostname配置错误,不与服务器host页面的hostname一致,导致active模式时,数据无法采集。解决办法:配置正确的hostname原因二:服务器和agentd配置正确,网络无防火墙,但是agentd所在的服务器本地时间与zabbix服务器端时间相差太大,导致数据无法采集解决办法:调整本地时间与服务器时间一致优化办法:配置NTP服务器
分类:
其他好文 时间:
2020-04-30 17:04:24
阅读次数:
130
从数据采集角度来说,都有哪些数据源呢? 这四类数据源包括了:开放数据源、爬虫抓取、传感器和日志采集 开放数据源一般是针对行业的数据库。国内,贵州做了不少大胆尝试,搭建了云平台,逐年开放了旅游、交通、商务等领域的数据量 爬虫抓取,一般是针对特定的网站或 App。如果我们想要抓取指定的网站数据,比如购物 ...
分类:
其他好文 时间:
2020-04-30 11:21:25
阅读次数:
152
一、数据采集 1、代码展示 import requestsimport refrom bs4 import BeautifulSoupimport pandas as pdimport timepaiming=[]juming=[]shijian=[]daoyan=[]pingfen=[]pingr ...
分类:
其他好文 时间:
2020-04-23 20:56:29
阅读次数:
66
>> [目录] 数据远程采集 Step by Step在安装系统时,曾用手动的方式来配置WIFI网络和密码,但是在部署数据采集装置时,需要现场配置,为了方便操作可以用串口来传入数据,然后由Ptyhon程序去修改WIFI配置。wpa_cli工具wpa_supplicant是一个连接和配置WIFI的工具... ...
分类:
编程语言 时间:
2020-04-23 13:46:24
阅读次数:
199