今天在采集58-二手市场数据时，遇到一个问题：网页的样式不够规范导致采到的数据奇形怪状，具体的数据表如下： 这种数据不利于观察，也无法用于分析。我是用case-when来进行初步的清洗。（substr中的startindex和endindex需要自己数~） 这样得到的数据就比较规范了： 由此，可以总 ...
分类：
数据库 时间：
2017-03-23 18:27:55
阅读次数：
225
这大概是墨盒的缘故,判断方法很简单,随便找一个文档,点击打印,属性 在维护选项卡中把清洗和打印头对齐做一遍(一般字迹模糊可以通过清洗解决,线条歪曲可以通过打印头对齐解决),如果你打印的结果是纸张边缘似乎被刮黑了(像被脏的滚筒滚过一样),则一般可以通过底板清洁解决。 百度还有人说把墨盒拿出来用热水烫一... ...
分类：
其他好文 时间：
2017-03-23 15:51:07
阅读次数：
368
作为数据工程师，我日常用的主力语言是R，HiveQL，Java与Scala。R是非常适合做数据清洗的脚本语言，并且有非常好用的服务端IDE——RStudio Server；而用户日志主要储存在hive中，因此用HiveQL写job也是日常工作之一；当然R的执行效率确实不靠谱，因此还需要Java（El ...
分类：
其他好文 时间：
2017-03-22 20:55:35
阅读次数：
300
打印黑白表格的时候，只有一点黑色的痕迹 测试打印的时候，顶部黑色一个无法显示 深度清洗一次之后 深度清洗两次之后 ...
分类：
其他好文 时间：
2017-03-22 18:06:32
阅读次数：
658
关于数据分析和数据挖掘学习的一点迷思 可能有些数据挖掘工程师的工作就是研究算法研究数学，不需要他们去做数据清洗，做报表展示类的工作，这类就是大牛了，不需要再读下去了 关于数据这条路大家的一致认为业务和数学是很重要的，一切的分析思路和算法都要结合业务来做，算法（数学）是内功； 但是这两点对于普通人来说 ...
分类：
其他好文 时间：
2017-03-20 21:11:40
阅读次数：
197
版本说明：Elasticsearch5.0Logstash5.0（暂时未用）Filebeat5.0Kibana5.0ELK是一套采集日志并进行清洗分析的系统，由于目前的分析的需求较弱，所以仅仅采用filebeat做日志采集，没有使用logstash一、环境准备&&软件安装：1、首先，需要安装Java环境下载安装包：jre-8u..
分类：
其他好文 时间：
2017-03-20 19:59:15
阅读次数：
234
软件架构就是软件的基本结构。 合适的架构是软件成功的最重要的因素之一。一共分为五种。一、分层架构 分层架构是最常见的软件架构，也是事实上的标准架构。这种架构将软件分成若干个水平层，每一层都有清洗的角色和分工，不需要知道其他层的细节。层与层之间通过接口通信。一般没有明确的规定，软件一定要分成多少层，四 ...
分类：
其他好文 时间：
2017-03-13 12:34:28
阅读次数：
195
深度学习技术如火如荼，但是训练的图像集都是标注好、质量高的，那么笔者对如何进行图像清洗表示好奇。难道只有让工人肉眼看吗？一些传统的IQA都是基于图像本身质量去评价，那么我想知道，之外的图像信息质量该如...
分类：
其他好文 时间：
2017-03-10 18:27:09
阅读次数：
431
导语 扒房源数据进入线索模块，客户端（浏览器）接收数据，使用了异步消息推送设计。数据来源是搜索团队，他们通过爬虫，将数据抓取后，将数据粗略去重后扔到 Kafka 里，司南通过接入 Kafka，监听消息队列。数据抵达后，数据首先进行二次清洗，数据保存后，扔到 Redis 队列。各个服务器监听 Redi ...
分类：
其他好文 时间：
2017-02-28 15:23:51
阅读次数：
162
