ODS：数据 来源 ： 一部分是来自关系型数据库，符合ER模型 。一部分来自日志 ，清洗成二维表 DWD： 把所有的数据清理整合 ，规范化 。脏数据清理 ，命名不规范的。最后拿到的是干净的 ，一致性的数据 。 把公共维度抽取出来，如区域 DWS： 维度建模，通用的汇总层 ，为了避免重复计算。 DM： ...
分类：
其他好文 时间：
2019-12-30 09:31:43
阅读次数：
212
1 import pandas as pd 2 import numpy as np 3 from sklearn.cluster import KMeans 4 import matplotlib.pyplot as plt 5 6 7 def stand_sca(data): 8 """ 9 标 ...
分类：
其他好文 时间：
2019-12-29 20:10:30
阅读次数：
201
由于源数据量较大（3.41G），本文只对 300万 条数据进行处理 处理时间戳 异常日期处理 生成本地CSV文件 ...
分类：
移动开发 时间：
2019-12-28 21:18:30
阅读次数：
116
设备端 开发者使用IoT边缘支持的设备协议或华为SDK将设备转换成标准产品模型，就近接入边缘节点，从而实现设备的管理、智能控制。 边缘节点 设备连接到边缘节点后，节点可以实现设备数据的采集、存储、分析、清洗和上报设备数据至云端，同时边缘侧提供规则引擎、应用集成等功能，方便场景编排和业务扩展。 云端 ...
分类：
其他好文 时间：
2019-12-27 11:46:08
阅读次数：
111
随着大数据时代的来临和Python编程语言的火爆，Python数据分析早已成为现在职场人的必备核心技能。那么利用Python数据分析可以做什么呢？简单来说，可以做到的内容有很多，比如检查数据表、数据表清洗、数据预处理、数据提取和数据筛选汇总等等。下面来为大家详细讲解一下这些用处 1、检查数据表 Py ...
分类：
编程语言 时间：
2019-12-23 16:43:27
阅读次数：
143
Excel是我们工作中经常使用的一种工具，对于数据分析来说，这也是处理数据最基础的工具。 本文对数据分析需要用到的函数做了分类，并且有详细的例子说明，文章已做了书签处理，点击可跳转至相应位置。 函数分类： 关联匹配类 清洗处理类 逻辑运算类 计算统计类 时间序列类 一、关联匹配类 经常性的，需要的数 ...
分类：
其他好文 时间：
2019-12-22 20:15:13
阅读次数：
547
电脑越来越卡，因为你还不会这么设置！一、每天或隔几天关机前要做的清洗:双击“我的电脑”→右键点C盘→点“属性”→点“磁盘清理”→点“确定”→再点“是”→再点“确定”。清理过程中，您可看得到未经您许可（您可点“查看文件”看，就知道了）进来的“临时文件”被清除了，盘的空间多了。对D，E，F盘也要用这法进行。二、随时要进行的清理:打开网页→点最上面一排里的“工具”→点“Internet选项”→再点中间的
分类：
其他好文 时间：
2019-12-18 09:17:18
阅读次数：
96
1.1项目完成的功能与特色 （1）功能：对2016—2018课程的平时、期中、期末三个不同的分数进行数据清洗和分析，最后以合适的柱状图、折线图、饼图等方式表示出来并在网页上渲染 （2）特色：图表能够清晰得呈现不同分数得高低，一目了然得看出最高分、最低分、平均分，观察图表的人能够迅速得获取自己所想要的 ...
分类：
其他好文 时间：
2019-12-17 22:03:56
阅读次数：
217
数据分析03 /基于pandas的数据清洗、级联、合并 [TOC] 1. 处理丢失的数据 两种丢失的数据： 1. 种类 None：None是对象类型，type(None)：NoneType np.nan(NaN)：是浮点型，type(np.nan)：float 2. 两种丢失数据的区别: objec ...
分类：
其他好文 时间：
2019-12-12 18:04:03
阅读次数：
125
1、案例内容简介 易车网新车信息的爬取 内容步骤： 爬取，解析(动态requests+ajax/selenium)，清洗，持久化（mysql），可视化（seaborn） 2、案例分析与设计 (1) 系统框架 整个框架分为六个模块：爬虫调度器、URL管理器、HTML下载器、HTML解析器、数据存储器、 ...
分类：
编程语言 时间：
2019-12-08 19:03:21
阅读次数：
148
