春日的清晨破晓已多时，而我却全然未觉，仍然还在酣睡， 渐渐觉察到房团转不停的鸟叫，是它们叫醒了我， 出屋后看见被雨水清洗过的园中小路在花草茂盛之处托着不少落花——乃昨夜风雨所作。 想描写的是一种平平淡淡的闲适生活，原作孟浩然《春晓》 ...
分类：
其他好文 时间：
2017-07-07 23:33:21
阅读次数：
200
数据来源？ 购买（政府、阿里巴巴、数据交易所） 爬虫 数据采集（机器人、无人驾驶、人工智慧） 获得的是原始数据 什么是数据清洗？ 按照需求分析，过滤出有效的完整的数据，放入数据仓库 etc 数据清洗转换 有哪些应用？ 商品、 新闻推荐 信贷、个人信用 婚姻（珍爱网） 舆论检测平台 医疗（全民健康档案 ...
分类：
其他好文 时间：
2017-07-07 13:18:56
阅读次数：
149
一、简介 1.1 历史 搞数据仓库这么久，实践中发现首先搭建数据集市，还是清洗数据之后，直接进入数据立方体（形成维度表和实施表）形成核心数据仓库层，是个问题... 慢慢的发现这其实涉及到了数据仓库的历史，甚至有人称之为数据仓库界的宗教之争。 1.2 Inmon 2000年5月，W.H.Inmon在D ...
分类：
其他好文 时间：
2017-06-27 14:51:17
阅读次数：
158
代码高效的表达意图，是优秀代码的基本标准，所以在刚刚写代码的时候我们总是被教育方法的名字，变量字段的名字要尽可能表达出在程序中的含义。 在《重构和模式》中提到的creation，就是讲构造实例的方式封装变为可以表达含义的方法提供给客户端使用，从而保证了在阅读客户端代码时，可以清洗的明白代码在做什么， ...
分类：
其他好文 时间：
2017-06-27 00:07:06
阅读次数：
260
如题：浅谈商城活动设计 标题改成“浅谈商城活动的数据库设计”可能更加合理。 文章背景 为什么要吐槽，为什么要写这篇文章 本来我在弄大数据搜索，自己玩的不亦说乎，虽然感觉数据库设计不合理，但我可以数据清洗，弄到自己的搜索引擎里，自己随便玩，所以当时感觉在烂的数据库设计和我关系不大，只要我把数据清洗好， ...
分类：
其他好文 时间：
2017-06-26 21:12:07
阅读次数：
149
DDoS介绍 DDoS是英文Distributed Denial of Service的缩写，意即“分布式拒绝服务”，那么什么又是拒绝服务（Denial of Service）呢？可以这么理解，凡是能导致合法用户不能够访问正常网络服务的行为都算是拒绝服务攻击。也就是说拒绝服务攻击的目的非常明确，就是 ...
分类：
其他好文 时间：
2017-06-26 18:55:49
阅读次数：
265
误打误撞进入这个行业,也算是缘分把,不到一年的时光里,剖析一下自己,别写了半天代码,学了一堆东西,不知道干嘛.反省一下. 1.目标与知识库 就目前在我看来,是想成为一名优秀的数据工程师,掌握全栈数据分析技术. 技术链: 爬虫 -python 数据清洗 -linux,shell,python,awk, ...
分类：
其他好文 时间：
2017-06-17 16:05:12
阅读次数：
181
第一章 R简单介绍 本章概要 1安装Ｒ ２理解Ｒ语言 ３执行Ｒ程序 本章所介绍的内容概括例如以下。 一个典型的数据分析步骤如图1所看到的。 图1：典型数据分析步骤 简而言之，现今的数据分析要求我们从多种数据源中获取数据、数据合并、标注、清洗和分析。而且把分析的结果进行展示，形成报告或者系统。辅助决策 ...
分类：
其他好文 时间：
2017-06-17 10:04:15
阅读次数：
203
据说R语言的功能内嵌,可以直接使用,可以做出很复杂的图,同时,对数据的清洗整理比 excel 强了n倍. ...
分类：
其他好文 时间：
2017-06-15 10:23:16
阅读次数：
162
一、运行环境 1、python版本 2.7.13 博客代码均是这个版本2、系统环境：win7 64位系统 二、需求 对杂乱文本数据进行处理 部分数据截图如下，第一个字段是原字段，后面3个是清洗出的字段，从数据库中聚合字段观察，乍一看数据比较规律，类似（币种 金额 万元）这样，我想着用sql写条件判断 ...
分类：
编程语言 时间：
2017-06-10 20:22:10
阅读次数：
277
