码迷,mamicode.com
首页 > 其他好文 > 详细

自制数据挖掘工具分析北京房价 (二) 数据清洗

时间:2014-09-01 22:32:33      阅读:347      评论:0      收藏:0      [点我收藏+]

标签:des   style   blog   http   color   io   使用   strong   ar   

 

         上一节我们通过爬虫工具爬取了近七万条二手房数据,那么这一节就对这些数据进行预处理,也就是所谓的ETL(Extract-Transform-Load)

 

    一.ETL工具的必要性

          数据分析的前提是数据清洗。不论如何高大上的算法,遇到错误数据,一个异常抛出来,绝对尸横遍野。而你不能指望核心算法为你处理错误或者短缺的数据。所以,数据清洗(ETL)就变得必不可少了。 如果数据分析是炒菜阶段,那么清洗就是洗菜,绝对是非常重要的一环。  

          而实际上,ETL工具可以很简单,也可以很复杂。简单到只需要把字符串转换为数字或者提供正则表达式。而复杂的ETL需要建立完整的错误日志机制,智能处理,自动汇总,还要做成工作流,脚本等复杂的形式。我决定做一个折中,提供最需要和差不多够用的功能。如果真有对ETL特别强烈而复杂的需求,那就只能借助专业的ETL工具了。

    二.ETL插件

在本系统中,ETL以插件的形式存在,可供系统进行调用。这些ETL工具包括了常见的场景:

  • 正则表达式提取
  • 数据类型转换,包括时间格式等
  • 随机数和范围数生成
  • 数据分割,排序和筛选
  • 噪声生成
  • 字符串转数字编号
  • 脚本数据
  • 高级的模块 如 分词,文本情感分析等

同时所有的模块都可以支持二次扩展。可为了新的场景增加新的模块。 模块分为两类:

  • 无监督工具:不需要之前的数据,直接生成新数据,如噪声产生器
  • 有监督工具:需根据之前的数据生成,如正则提取

这些ETL插件可以形成一个处理队列,以队列的形式依次处理数据,形成职责链。这样就能应对绝大多数的ETL需求。

    三. 使用介绍

下面,我们就以北京房价样例数据为例,进行ETL清洗。这些数据爬虫来自于网络,具体的爬取过程可参考前一节内容。

1. 数据导入和观察

首先在数据管理器上点击“导入”按钮,导入XML数据文件,如下图所示:

bubuko.com,布布扣

之后可以普通列表的形式,查看这些数据:

bubuko.com,布布扣

会发现这些数据非常有规律。我们可制定如下方案:

  1.   筛选出正常的数据,因为有些数据是残缺的,比如“面积”一栏是空的。
  2.   其价格是XXXXX元/平米,为了进行统计,需要通过正则进行提取
  3.   “属性3” 楼层数,可通过/ ,进行分割,取第二个项就好,最后一项是板楼或塔楼
  4.   在“属性3”中,可通过正则匹配提取年份
  5.   可在“坐标”一项中,通过分割,方便地提取编号,地理位置,所在小区和其他信息。
  6.    其他…

           2.编写数据筛选脚本

             首先进行数据筛选,将“数据筛选”插件拖入算法框中:

bubuko.com,布布扣

        同时进行配置,为了方便,我们仅提取前1000条数据作为分析目标。

  bubuko.com,布布扣

         最重要的是,编写筛选的自定义函数脚本。与C#的语法相同:

       bubuko.com,布布扣

        点击开始处理,即可筛选出满足条件的前1000条数据。

     3.进行ETL配置:

          与上一步类似,将“数据生成与预处理”模块拖到算法管理器中。

         将该模块的数据源,选为“全部”:

         bubuko.com,布布扣

         点击命令列,可对ETL所需的插件进行配置:

bubuko.com,布布扣

      集合编辑器中,列举了系统加载的所有ETL插件,我们首先将价格提取出来:

     bubuko.com,布布扣

     选择原始列名,填入新列名,如果不勾选“添加到新列”,则原始数据就会被覆盖。同时填写正则表达式 \d+ ,用于提取价格中的房价。同时,将目标类型选择为INT,转换完成后,数据的类型就会变为INT

     类似的,可提取建设年份。

bubuko.com,布布扣

      由于转换后,建设年份为STRING类型,可再添加一个字符串转时间的工具,方便转换为DateTime,直接将原有的数据覆盖就好。

     bubuko.com,布布扣

     接下来提取地理坐标: 观察这些坐标,同样可以使用正则匹配,此处从略。

     接下来是所在的片区,它位于“坐标”这一属性中。使用正则匹配并不方便,因此采用数列分割的方法,即通过字符对该属性进行分割,提取出固定位置的项。通过观察, 可通过符号,进行分割,正好位于第4项

   bubuko.com,布布扣

   类似的,可以提取小区名称,与所在行政区的唯一区别在于匹配编号,要填2

   最终完成的ETL流程如下图所示:

bubuko.com,布布扣

    这些ETL插件会顺次执行。如果一个插件的结果依赖于前一个插件,则一定要排在依赖插件的后边

    之后点击开始处理,ETL流程即可启动,所有的错误日志都会保存到一个专门的数据集中,用于再次分析和处理。这次处理没有错误,系统提示ETL流程成功结束,下面就是经过ETL后得到的新列

bubuko.com,布布扣

 

   为了保险起见,我们将这次加载的所有设置保存为一个任务,名字为”ETL清洗任务”,如果遇到同样的数据,可以进行相同的任务,而无需进行再次配置。

bubuko.com,布布扣

    可以在生成的系统配置文件中,看到此次任务所保存的XML文件:

<Doc Name="ETL数据清洗任务" Description="任务描述" Group=""> 
  <Nodes> 
    <Children X="-2.01" Y="0" Z="0" Group="0" Key="数据筛选_1" Weight="1"> 
      <Data Collection="全部" Name="数据筛选" NewDataSetName="" ScriptCode="return String.IsNullOrEmpty(item[‘价格‘]) ;  // 1表示筛选该数据,否则表示不筛选" CanRemove="True" Start="0" End="1000" Layer="0" /> 
    </Children> 
    <Children X="3" Y="0" Z="0" Group="1" Key="数据生成和预处理_2" Weight="1"> 
      <Data Collection="全部" Name="数据生成和预处理" Size="1001" Layer="0"> 
        <Children Type="正则过滤器" CollumName="价格" NewCollumName="新价格" IsAddNewCollum="True" TargetDataType="INT" ScriptCode="\d+" Index="0" /> 
        <Children Type="正则过滤器" CollumName="属性3" NewCollumName="年份" IsAddNewCollum="True" TargetDataType="STRING" ScriptCode="\d{4}" Index="0" /> 
        <Children Type="字符串转时间" CollumName="年份" NewCollumName="" IsAddNewCollum="False" TargetDataType="DATETIME" Format="yyyy" /> 
        <Children Type="数列分割" CollumName="坐标" NewCollumName="片区" IsAddNewCollum="True" TargetDataType="STRING" SplitChar="," Index="3" SplitPause="SplitPause" /> 
        <Children Type="数列分割" CollumName="坐标" NewCollumName="小区名" IsAddNewCollum="True" TargetDataType="STRING" SplitChar="," Index="2" SplitPause="SplitPause" /> 
        <Children Type="正则过滤器" CollumName="坐标" NewCollumName="lag" IsAddNewCollum="True" TargetDataType="DOUBLE" ScriptCode="\d{2}.\d+" Index="0" /> 
        <Children Type="正则过滤器" CollumName="坐标" NewCollumName="Lng" IsAddNewCollum="True" TargetDataType="DOUBLE" ScriptCode="\d{3}.\d+" Index="0" /> 
      </Data> 
    </Children> 
  </Nodes> 
  <Paths /> 
</Doc> 

     

 

        三.总结

          本节主要介绍了如何使用该工具进行ETL清洗,下一节我们将正式进入数据分析的流程。敬请期待。

自制数据挖掘工具分析北京房价 (二) 数据清洗

标签:des   style   blog   http   color   io   使用   strong   ar   

原文地址:http://www.cnblogs.com/buptzym/p/3946254.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!