1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
Web程序 时间：
2019-08-14 17:28:17
阅读次数：
135
简单来说，我们可以把大数据分析工具简单分成两个维度：第一维度：数据存储层——数据报表层——数据分析层——数据展现层第二维度：用户级——部门级——企业级——BI级1、数据存储层数据存储涉及到数据库的概念和数据库语言,这方面不一定要深钻研,但至少要理解数据的存储方式、数据的基本结构和数据类型。SQL查询语言必不可少,精通最好。可从常用的select查询，update修改，delete删除，insert
分类：
其他好文 时间：
2019-07-01 14:17:42
阅读次数：
124
1，机器情况：服务器 centos python环境已经配置好了，在虚拟环境下安装了anaconda 并且在里面安装了jupyter notebook 2，主机是 windows ipython notebook是一个基于浏览器的python数据分析工具，使用起来非常方便，具有极强的交互方式和富文本 ...
分类：
系统相关 时间：
2019-06-06 17:33:50
阅读次数：
133
一、Pandas概要介绍 pandas是一个开源的，BSD许可的库，为Python编程语言提供高性能，易于使用的数据结构和数据分析工具。可以用于对CSV和文本文件、Microsoft Excel、SQL数据库数据的读写。 能够帮助数据清洗，数据分析和数据建模。 二、主要的两种数据结构 序列(Seri ...
分类：
其他好文 时间：
2019-05-25 19:51:16
阅读次数：
122
当今，世界无时无刻不在发生着变化。对于技术领域而言，普遍存在的一个巨大变化就是为大数据(Bigdata)打开了大门，并应用大数据技相关技术来改善各行业的业务并促进经济的发展。目前，大数据的作用已经上升到一定程度，对于小型或大型公司而言，从所收集的数据中提取出有用的信息已被是非常宝贵的。此外，大数据帮助那些在使世界变得更美好的且负有重要责任的组织能够更好地完成工作。.在入门学习大数据的过程当中有遇见
分类：
其他好文 时间：
2019-05-22 12:47:17
阅读次数：
139
[TOC] EsClientRHL EsClientRHL是一个可基于springboot的elasticsearch RestHighLevelClient客户端调用封装工具，主要提供了es索引结构工具、es索引数据增删改工具、es查询工具、es数据分析工具。 基于elasticsearch6.6 ...
分类：
其他好文 时间：
2019-05-18 14:00:07
阅读次数：
169
大数据在某种意义上说比云计算更适合大众，比如很多人说大数据是生产力、未来是数据时代，但很少听到云计算是生产力、未来是计算时代。从市场需求和职业岗位来看大数据也一直是个很热门的行业。 作为技术人员，你是否有过转行大数据的想法，是否知道转行大数据的发展路线？ 1）数据平台研发路线 ? 职责：主要负责大数 ...
分类：
其他好文 时间：
2019-05-08 09:39:11
阅读次数：
119
Pandas是一款数据分析工具。它内置了大量用于数据分析的方法，如：max、min、sqrt、groupby等。它最基本的数据类型只有Series和DataFrame两种。 1. Series：称为系列，我们可以看作是竖起来的list，相当于Excel表格中的一列。它常见的操作有： 在进行操作之前， ...
分类：
其他好文 时间：
2019-05-06 01:27:43
阅读次数：
142
一、大数据分析的五个基本方面 二、如何选择适合的数据分析工具 三、如何区分三个大数据热门职业 四、从菜鸟成为数据科学家的 9步养成方案 一、大数据分析的五个基本方面 1，可视化分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化 ...
分类：
其他好文 时间：
2019-03-26 17:02:49
阅读次数：
145
Hadoop是目前最常用的一个大数据分析工具，其核心组成是HDFS和MapReduce。本文对Hadoop2.0的基本安装和配置进行了一个概述，希望对Hadoop感兴趣的人能够对Hadoop有进一步的了解
分类：
其他好文 时间：
2019-03-18 18:38:33
阅读次数：
145
