背景 公司有一个数据处理线，上面的数据经过不同环境处理，然后上线到正式库。其中一个环节需要将数据进行处理然后导入到另外一个库(Sql Server)。这个处理的程序是老大用python写的，处理完后进入另外一个库后某些字段出现了乱码。 比如这个字符串：1006?267X(2020)02?0548?1 ...
分类：
数据库 时间：
2020-06-24 09:19:32
阅读次数：
116
一、选题与意义 1.Hadoop平台应用 2.Kaggle分析数据项目 简要说明理由与意义。 答：选Hadoop平台应用的淘宝双11数据分析与预测；因为对Hadoop平台的应用比较感兴趣，对于淘宝双11数据的分析与预测也可以更了解人们的购物行为。 二、实践方案 答：个人电脑安装实验环境。 三、实践任 ...
分类：
其他好文 时间：
2020-06-23 21:17:11
阅读次数：
57
一、选题与意义 1.Hadoop平台应用 选题：Hadoop平台应用。 简要说明理由与意义。 可以让我们熟悉Linux系统、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用； 了解大数据处理的基本流程； 熟悉数据预处理方法； 熟悉在不同类型数据库 ...
分类：
其他好文 时间：
2020-06-23 19:18:44
阅读次数：
72
1、MapReduce是一个经典的分布式批处理计算引擎，被广泛应用于搜索引擎索引构建、大规模数据处理等场景中，具有易于编程、良好的扩展性与容错性以及高吞吐率等特点。它主要由两部分组成：编程模型和运行时环境。其中，编程模型为用户提供了非常易用的编程接口，用户只需像编写串行程序一样实现几个简单的函数即可 ...
分类：
其他好文 时间：
2020-06-23 17:10:23
阅读次数：
48
视图的功能：说白了就是接收前端请求，进行数据处理 （这里的处理包括：如果前端是GET请求，则构造查询集，将结果返回，这个过程为序列化；如果前端是POST请求，假如要对数据库进行改动，则需要拿到前端发来的数据，进行校验，将数据写入数据库，这个过程称为反序列化） 最原始的视图可以实现这样的逻辑处理，但是 ...
分类：
其他好文 时间：
2020-06-23 01:03:16
阅读次数：
53
1、 简介： mysql5版本增加了对视图的支持， 所以本文章仅适用mysql5以后的版本 视图是一张虚拟的表，其内容由查询定义，它们包含的不是数据而是根据需要检索数据的查询。视图提供了一种MySQL的SELECT语句层次的封装，可用来简化数据处理以及重新格式化基础数据或保护基础数据。 视图本身不包 ...
分类：
数据库 时间：
2020-06-22 20:55:36
阅读次数：
54
本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用真实的企业级实时数仓项目、离线数仓项目、PB级实时用户行为分析系统、千亿级实时广告系统等多个大型项目
分类：
其他好文 时间：
2020-06-22 19:15:45
阅读次数：
50
本课程针对企业不同数据规模技术方案进行讲解，紧贴企业热门需求，深入讲解企业级大数据技术的数据存储技术、数据采集技术、数据处理技术、任务调度技术等；课程针对知识点进行企业级案例式教学，理论结合实战，从0到1构建大数据生态技术的方方面面，内容涵盖大数据平台、Spark、Flink、OLAP等核心技术；用 ...
分类：
其他好文 时间：
2020-06-22 18:50:44
阅读次数：
295
金融RPA的2个典型应用：数据比对和回单打印一、合规部门数据比对流程自动化数据比对流程，通常是一些金融服务机构的一个小流程，但对于大部分企业或者员工而言，却是日常工作流程。1、流程拆分数据比对流程包括数据的获取、合并、比对，以及报告的生成、邮件的发送等环节。2、业务特点（1）数据来源广泛，数据文档来自多个系统、获取文档次数频繁。（2）数据处理量庞大，每天需要处理1000多条数据。（3）操作简单但繁
分类：
其他好文 时间：
2020-06-22 18:45:19
阅读次数：
58
本文使用tensorflow2, 并采取一种较为通用的数据处理手段，并分别手动构建简单模型， 层数较深的resnet网络，和基于VGG19的迁移学习，以帮助初学者快速在小数据集上搭建模型，并训练一个较为满意的结果。 ...
分类：
其他好文 时间：
2020-06-21 23:44:53
阅读次数：
98
