银行大数据类项目测试的重要性在于业务数据可靠性、可用性等验证，因为数据本身是一把双刃剑，它能给企业带来业务价值的但是也是最大风险来源。不可靠的数据质量意味着糟糕的业务经营，将导致错误的数据统计分析、监管业务难、误导高层领导决策等问题
分类：
其他好文 时间：
2018-03-06 17:03:17
阅读次数：
165
简介 一转眼在去哪儿网玩乐事业部工作快4年了，经历了数据团队的组建和发展，回顾一下整体过程，经历了很多坎坷，普通而不简单。下面是大事记 2014年（系统搭建）：开发报表平台、接入HADOOP、搭建调度系统 2015年（数据集市）：搭建数据集市、开发数据同步工具 2016年（数据应用）：系统定价、多维 ...
分类：
其他好文 时间：
2018-02-01 19:26:39
阅读次数：
236
机器不学习 jqbxx.com-专注机器学习,深度学习,自然语言处理,大数据,个性化推荐,搜索算法,知识图谱 推荐一直是电商平台的重要流量入口。以往在电商平台上，推荐的场景更多的覆盖在交易的各个环节，比如详情页、购物车、订单及支付等。近年来推荐发展逐渐的多样化，场景上逐渐覆盖到各流量入口，推荐的实体 ...
分类：
编程语言 时间：
2018-02-01 19:21:45
阅读次数：
211
如何“谨慎”使用“数据驱动”的风控模型（一）-- 数据篇 人工智能时代来临，2017年“数据驱动”在整个信贷生态圈热度陡增，无论是金融机构、助贷机构、征信机构、大数据厂商等，无不在各大论坛、峰会、沙龙、融资中宣传各自“数据驱动”的理念。而银监会的121号文则给大大小小
分类：
其他好文 时间：
2018-01-02 15:24:06
阅读次数：
237
数据预处理 1数据质量 基本属性：正确性，完整性，一致性 2数据审计 运用一定的规律和评价方法，发现数据中存在的问题。如：缺失值，噪声值，不一致值，不完整值。 数据审计的三种类型：预定义审计，自定义审计，可视化审计 3数据清洗 3.1缺失数据清洗 三个活动:缺失识别，缺失分析，缺失处理 方法：较为简 ...
分类：
其他好文 时间：
2017-12-24 12:44:48
阅读次数：
145
一时兴起，想做个爬虫，经过各种深思熟虑，最后选择了某乎，毕竟现在某乎的数据质量还是挺高的。说干就干 打开某乎首页，随便搜索了一串关键字，相关的问题和答案就展现在眼前，我就思考怎么把这些搜索结果全部通过爬虫爬下来，方便收集（我也不知道收集来干嘛嘻嘻）。 发现搜索结果每页只会显示10条数据，某乎用的是点 ...
分类：
其他好文 时间：
2017-12-02 11:23:52
阅读次数：
215
目的:使用python对excel中的数据进行清洗,根据列进行数据清洗 习题1: 处理城市 infobox 数据，对数据进行审核，然后想出清理方法并清理数据。在第一道练习中，请审核数据集中某些特定字段中的数据类型。 值类型可以是： 1. NoneType，如果值是字符串“NULL”或空字符串“” 2 ...
分类：
其他好文 时间：
2017-11-28 11:54:25
阅读次数：
168
调优都是在场景限制之下。大部分选择并非一定。做测试来寻找瓶颈。（shuffle操作数量、RDD持久化操作数量以及gc） 开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 （涉及代码质量（api及数据结构），参数，数据质量，考虑内存与网络而选择的模式（广播、序列化），官网建议） RDD（ ...
分类：
其他好文 时间：
2017-10-06 10:28:52
阅读次数：
147
如今随着互联网产业的多元化发展，尤其是互联网金融，O2O，共享经济等新兴商业形式的兴起，企业对实名认证业务的数据形式和数据质量有了更高的需求。如今也衍生出银行卡实名认证业务，通过接口将银行卡号、手机号、身份证号码、姓名上传至阿里云，再与银行系统进行匹配，判断信息的一致性。 在使用接口服务的方面我推荐 ...
分类：
其他好文 时间：
2017-10-03 21:09:42
阅读次数：
1088
HTSeq:一个用于处理高通量数据（High-throughout sequencing)的python包。HTSeq包有很多功能类，熟悉python脚本的可以自行编写数据处理脚本。另外，HTSeq也提供了两个脚本文件能够直接处理数据:htseq-qa(检测数据质量)和htseq-count（rea ...
分类：
其他好文 时间：
2017-07-15 11:27:24
阅读次数：
384
