我是一名数据分析师,常常需要处理大量的数据,苦于找不到合适的工具,一直用的excel做数据分析,但是大家都知道,excel的可视化能力有限,一行行的黑白文字我看到两眼发黑,效率还很低,后来我了解到一款数据可视化工具——思迈特软件Smartbi。 用了它之后,不仅效率提高了很多,界面也十分高大上,获得 ...
分类:
其他好文 时间:
2021-06-11 17:31:21
阅读次数:
0
数据分析中将两个数据集进行 Join 操作是很常见的场景。在 Spark 的物理计划阶段,Spark 的 Join Selection 类会根 据 Join hints 策略、Join 表的大小、 Join 是等值 Join 还是不等值以及参与 Join 的 key 是否可以排序等条件来选择最 终的 ...
分类:
其他好文 时间:
2021-06-10 18:28:12
阅读次数:
0
Pandas是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素 ...
分类:
编程语言 时间:
2021-06-10 18:22:48
阅读次数:
0
Pandas是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素 ...
分类:
编程语言 时间:
2021-06-09 10:41:05
阅读次数:
0
一般在数据库中,我们保存的都只是 int 、 varchar 类型的数据,一是因为现代的关系型数据库对于这些内容会有很多的优化,二是大部分的索引也无法施加在内容过多的字段上,比如说 text 类型的字段就很不适合创建索引。所以,我们在使用数据库时,很少会向数据库中存储很大的内容字段。但是,MySQL ...
分类:
其他好文 时间:
2021-06-09 10:39:11
阅读次数:
0
Pandas是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素 ...
分类:
编程语言 时间:
2021-06-09 10:38:41
阅读次数:
0
小鼎量化机器人系统开发 什么是量化交易机器人? 量化通过绑定你的交易所API权限,代替人工分析行情和策略,自动做单,解放你的双手和时间,你不需要做什么,只需要定期提走利润即可。 AI赋能24小时交易,机器人可以探测市场买入卖出大数据,融入各项技术指标,自动切入合理的买入卖出点位,并制订最优化的止盈止 ...
分类:
移动开发 时间:
2021-06-08 23:38:26
阅读次数:
0
一.sqoop的简单概论 1.sqoop产生的原因: A. 多数使用hadoop技术的处理大数据业务的企业,有大量的数据存储在关系型数据中。 B. 由于没有工具支持,对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 2. sqoop的介绍 sqoop是连接 ...
分类:
其他好文 时间:
2021-06-08 22:45:15
阅读次数:
0
说起大数据,很多人都能聊上一会,但要是问大数据核心技术有哪些,估计很多人就说不上一二来了。 从机器学习到数据可视化,大数据发展至今已经拥有了一套相当成熟的技术树,不同的技术层面有着不同的技术架构,而且每年还会涌现出新的技术名词。面对如此庞杂的技术架构,很多第一次接触大数据的小白几乎都是望而生畏的。 ...
分类:
其他好文 时间:
2021-06-08 22:37:38
阅读次数:
0
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ ...
分类:
数据库 时间:
2021-06-07 20:10:49
阅读次数:
0