1、什么是Spark Spark是一种统一、快速、通用、可扩展的分布式大数据分析引擎。分布式体现在Spark一般情况是以集群模式存在，架构为Master/Slaver(主从结构)。大数据分析引擎体现在Spark能够分析数据，但是没有存储。一般线上的spark数据来源 （HDFS, Hive、Kafk ...
分类：
其他好文 时间：
2020-02-29 20:51:19
阅读次数：
74
1、spark基础，什么是spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个 子项目的集合，其 ...
分类：
其他好文 时间：
2020-02-29 11:38:28
阅读次数：
70
数字化时代，快速的创新无处不在。回顾近五年的变化，从银行系统的无人值守到高速公路ETC的搭建，再到大数据分析以及人工智能，无不透露出IT技术对于个人消费领域数字化进程的巨大影响。 ...
分类：
其他好文 时间：
2020-02-29 00:57:59
阅读次数：
81
在工业4.0这个大环境下，传统制造业急于转型升级，寻找突破点，其根本是在基于人力及原料成本，产业竞争加剧等压力下，把制造业转型升级放到了一个新的高度。MES系统应运而生，并且在这个过程中MES制造执行系统被赋予了更多的智能。在很多企业眼里，智能化是自动的设备产线，但实际上是自动化的产线设备对接MES系统，以此来链接车间执行层和上层业务信息层。企业智能制造的发展发现，包括生产监控，数据采集，大数据分
分类：
其他好文 时间：
2020-02-26 23:16:59
阅读次数：
105
什么是Spark？ Spark官网：http://spark.apache.org Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态 ...
分类：
其他好文 时间：
2020-02-26 18:30:53
阅读次数：
52
1. 数据科学领域中常用的python库 Numpy库：数据运算的基础库，运行效率高(底层C语言，高效index) Scipy库：实现了常用的科学计算方法(线性代数，傅里叶变换，信号和图像处理) Pandas库：分析数据的利器，高级数据结构(Series，DataFrame) Matplotlib库 ...
分类：
编程语言 时间：
2020-02-12 19:04:47
阅读次数：
101
从理论上来说，大数据分析应用，接入不同数据源的数据，搭建大数据模型，对数据进行多角度的深度发掘，可以应用在各行各业。通常，我们提及的大数据，即指数据量巨大，也指数据来源众多。不难理解，数据源是大数据应用的“基础设施”，没有数据就不会有大数据，就没有人工智能，也没有机器学习、深度挖掘等，包括数据层面的应用。现今大数据应用分析的真实情况何如？现阶段的实践应用发现，因为不同的数据被存放在不同的软件系统中
分类：
其他好文 时间：
2020-01-18 13:09:41
阅读次数：
103
早已香飘万里的某知名酒厂如今酿造出数字化转型的琼浆玉液。大数据、人工智能、5G、云计算，这些概念被不断提及，越来越多的企业都已经走向了数据化转型之路，而数字化转型结果如何？今天，就来解读某大型酒企的数字化转型之道。客户背景客户为国内知名的大型现代化酒厂，员工过万人，年收入过100亿元。四大痛点是数字化转型必须要过的坎在技术变革和产业升级来临的时代，越是知名的企业往往背负的担子越重，也因此会有众多的
分类：
其他好文 时间：
2020-01-18 00:52:06
阅读次数：
291
随着国内利率市场化加快推进、经济增速放缓、国民收入和财富逐步上升，零售业务对银行收入及利润的贡献日益见长，科学有效地引领零售业务持续增长已成为国内领先银行的首要任务。然而，零售客户的需求日趋复杂和个性化，市场竞争愈加激烈。在此背景下，应该有效利用大数据技术将决策方从“业务经验驱动”向“数据量化驱动”转型，决策模式的变化将成为各家银行互争雄长的制胜关键。最近几年银行零售业务受到了多方面环境变化和监管
分类：
其他好文 时间：
2020-01-16 12:50:15
阅读次数：
96
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
Web程序 时间：
2020-01-10 15:18:38
阅读次数：
116
