马上要开始数据相关的工作了，但是有时候会自觉不自觉的对一些最近火热的概念有些不太清晰的地方，所以在此整理一下这些概念，希望在以后的工作学习过程中，能结合自己的感受，不断进行完善。 大数据：（概念、实现、）数据采集、数据挖掘、数据清洗 深度学习： 机器学习： 自然语言处理： ...
分类：
其他好文 时间：
2016-06-12 21:45:01
阅读次数：
181
文件操作： 1、关于open 模式： r 以读方式打开， f=open(r"C:\Users\shaopeng\Desktop\py_homework\DAY6\readme.txt","r") w 以写方式打开， 如果文件存在则会清洗掉原文件的内容，然后把写的东西写进新文件 f=open(r"C: ...
分类：
编程语言 时间：
2016-06-10 22:54:06
阅读次数：
390
首先是数据处理，来源于不同数据库，进行数据清洗 然后是springmvc 框架，以注解的方式返回接口，其中对于人口部分，每个街道有各自的表，新建了表存储表的信息，利用拼字符串的方式来合成表名，再者就是用hibernate生成表，form,里面涉及到一些数字的，最好 用对象来表示如int，用Integ ...
分类：
其他好文 时间：
2016-06-09 13:26:21
阅读次数：
141
当我们手动执行脚本没有问题时，我们认为万事OK了。其实不然放入crontab之后缺少各种东西。我的业务是使用hive中原始表当数据源，创建一个临时表，将数据原的数据清洗一遍放入临时表，再使用sqoop将临时表的数据导入到Mysql中。首先我的hive表是orc文件压缩格式，sqoop无法直接..
分类：
数据库 时间：
2016-06-09 01:06:11
阅读次数：
324
业务需求 ：“清洗苹果－》吃苹果” 面向对象是一种思维，不是使用了类就是使用了面向对象。 面向对象要处理的不是问题本身，问题本身可以通过面向对象设计的架构进行处理。譬如“清洗苹果－》吃苹果”这个功能。 面向过程需要针对业务事件，设计编写相应的处理功能，控制实现步骤，先实现“清洗苹果“，再处理”吃苹果 ...
分类：
其他好文 时间：
2016-06-06 13:45:38
阅读次数：
109
1.原始数据存在的几个问题：不一致；重复；含噪声；维度高。 2.数据预处理包含数据清洗、数据集成、数据变换和数据归约几种方法。 3.数据挖掘中使用的数据的原则 应该是从原始数据中选取合适的属性作为数据挖掘属性，这个选取过程应参考的原则是：尽可能赋予属性名和属性值明确的含义；统一多数据源的属性值编码； ...
分类：
其他好文 时间：
2016-06-04 17:58:39
阅读次数：
1231
ID
上级ID
分类名称
分类等级
是否最终分类 3001
10473
其它汽车保养/添加剂
3
1
3002
10470
车用水桶
2
1
3003
10471
车用清洗/除蜡/除胶剂
3
1
3004
10471
车用洗车机/设备
3
1
3005
10471
车刷/车掸/蜡拖
3...
分类：
其他好文 时间：
2016-06-02 14:42:53
阅读次数：
376
由于开发新的系统，需要将之前一个老的C/S应用的数据按照新的数据设计导入到新库中。此过程可能涉及到表结构不一致、大数据量（千万级，甚至上亿）等情况，包括异构数据的抽取、清洗等等工作。部分复杂的工作需要我们的DBA写代码用程序在JDBC或者Delphi中解决，而大部分稍简单的数据的迁移需要一个强大的E ...
分类：
其他好文 时间：
2016-05-31 15:38:16
阅读次数：
759
1.首先学习基本的知识，文本分析。学习基本的linux命令，使用脚本对文本进行细粒度的切分，并对模型进行调研 2.分析文本文件中的特征， 3.分析文本文件中上下文之间的关系。 4.编写脚本文件，对脚本预处理，数据清洗，并产生格式化的数据 5.建立模型 6.编写map,reduce过程文件，对数据进行 ...
分类：
其他好文 时间：
2016-05-31 00:57:12
阅读次数：
117
2016年5月30日消息，福建福清。 昨日下午2点40分左右，福清市国际华城小区内，一名男子的头部不慎卡入洗衣机。接到报警，福清市音西消防中队6名救援人员迅速赶到现场施救。 据初步了解，事发前，该男子准备清洗衣物，打开电源，发现洗衣机没有动静。在对各种洗衣机按钮配件检测无果时，猜测可能有异物卡在了甩 ...
分类：
其他好文 时间：
2016-05-30 19:45:13
阅读次数：
133
