码迷,mamicode.com
首页 > 其他好文 > 详细

优达学城数据分析师纳米学位——P3项目知识点整理及代码分析

时间:2017-02-03 00:31:37      阅读:355      评论:0      收藏:0      [点我收藏+]

标签:文档   脏数据   国家   示例   构建   img   一致性   代码分析   display   

 P3 OpenStreetMap 项目思路整理

P3项目的核心在于数据的整理 data cleaning 数据清洗,数据来源于开源的OpenStreetMap平台,该平台上的很多数据都是开发者自行输入的,难免会造成数据的混乱和缺失,错误,也就是所说的dirty data 脏数据 human involved

data cleaning的关注点 validity completeness accuracy consistency uniformity 

validity 有效性 数据是否符合常理 人名不应该是数字

completeness 完整性 数据记录表格中的数据是否记录完整

accuracy 准确性  数据是否符合实际情况 一个国家的人口值,国土面积

consistency 一致性

uniformity 统一性  单位是否统一

项目评估准则 中的地图中遇到的问题:

举例 :使用蓝图的实例中  使用编写的audit()函数来统计道路名称的种类  代码使用了cElementTree 正则表达式(正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配)

技术分享

图1. 统计所用的audit()函数代码

 

技术分享

 

图2. 部分统计结果

 

XML (Extensible Markup Language)数据处理基础: 

1. XML 与 HTML 关系: XML用来存储和传输数据 HTML用来展示数据 (XML可以自定义标签,具备自我描述性)

             XML将数据从HTML文件中分离出来,简化数据的传输,共享,更新

 

技术分享

一个XML文件的示例 简单的一个便签文本

标签是处理的核心,读懂标签就能够对数据进行整理分类

 

 技术分享

树形结构文档 根元素,子元素,元素的属性

技术分享

shil

技术分享

 

构建http请求:待完成

 

优达学城数据分析师纳米学位——P3项目知识点整理及代码分析

标签:文档   脏数据   国家   示例   构建   img   一致性   代码分析   display   

原文地址:http://www.cnblogs.com/kong-xy/p/6361879.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!