标签:文档 脏数据 国家 示例 构建 img 一致性 代码分析 display
P3 OpenStreetMap 项目思路整理
P3项目的核心在于数据的整理 data cleaning 数据清洗,数据来源于开源的OpenStreetMap平台,该平台上的很多数据都是开发者自行输入的,难免会造成数据的混乱和缺失,错误,也就是所说的dirty data 脏数据 human involved
data cleaning的关注点 validity completeness accuracy consistency uniformity
validity 有效性 数据是否符合常理 人名不应该是数字
completeness 完整性 数据记录表格中的数据是否记录完整
accuracy 准确性 数据是否符合实际情况 一个国家的人口值,国土面积
consistency 一致性
uniformity 统一性 单位是否统一
项目评估准则 中的地图中遇到的问题:
举例 :使用蓝图的实例中 使用编写的audit()函数来统计道路名称的种类 代码使用了cElementTree 正则表达式(正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配)
图1. 统计所用的audit()函数代码
图2. 部分统计结果
XML (Extensible Markup Language)数据处理基础:
1. XML 与 HTML 关系: XML用来存储和传输数据 HTML用来展示数据 (XML可以自定义标签,具备自我描述性)
XML将数据从HTML文件中分离出来,简化数据的传输,共享,更新
一个XML文件的示例 简单的一个便签文本
标签是处理的核心,读懂标签就能够对数据进行整理分类
树形结构文档 根元素,子元素,元素的属性
shil
构建http请求:待完成
标签:文档 脏数据 国家 示例 构建 img 一致性 代码分析 display
原文地址:http://www.cnblogs.com/kong-xy/p/6361879.html