一；变量和常量数据 计算机程序可以完成多种多样的任务，比如：数值计算，画画等。但是，完成这些任务都需要去使用数据，即承载信息的数字和字符。 常量（constant）：整个程序的运行过程中没有变化。 变量（variable）：程序运行期间可能会改变或者重新赋值。 二；数据类型关键字 2.1；不同的数据 ...
分类：
其他好文 时间：
2019-06-07 11:11:26
阅读次数：
92
https://help.aliyun.com/product/27797.htmlmaxCompute(大数据计算服务，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全MaxCompute主要服务于批量结构化数据的存储和计算，可以
分类：
其他好文 时间：
2019-05-29 16:19:25
阅读次数：
169
导语 spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及spark streaming之后，对spark技术的使用有一些自己的经验积累以及心得体会，在此分享给大家。 本文依次从spark生态，原理，基 ...
分类：
其他好文 时间：
2019-05-29 14:46:22
阅读次数：
118
干货 | 快速实现数据导入及简单DCS的实现 原创：?赵琦?京东云开发者社区 4月18日 对于多数用户而言，在利用云计算的大数据服务时首先要面临的一个问题就是如何将已有存量数据快捷的导入到大数据仓库中。本文将演示如何基于京东云数据计算服务平台，简单、快速地将数据导入数据计算服务。 我们通常说的大数据 ...
分类：
其他好文 时间：
2019-05-28 12:51:30
阅读次数：
127
项目中遇到了动态配置条件触发相应事件的需求，需要根据String类型的逻辑语句，以及动态获取的数据，计算数据对应的结果，java实现。解决思路及代码实现如下，有需要的同学请自取。 一、需求提取 根据需求，抛开业务部分，我们可以将需求简化成以下核心逻辑。输入String类型的逻辑字符串，支持的逻辑符号 ...
分类：
编程语言 时间：
2019-05-15 14:30:06
阅读次数：
146
本文对 Spark 和 Flink 的技术与场景进行了全面分析与对比，且看下一代大数据计算引擎之争，谁主沉浮？
分类：
其他好文 时间：
2019-04-28 18:32:28
阅读次数：
148
J 为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。 一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及 ...
分类：
其他好文 时间：
2019-04-23 15:43:25
阅读次数：
177
MaxCompute 是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的总结， ...
分类：
其他好文 时间：
2019-04-20 09:42:49
阅读次数：
881
一些名词概念 以yarn-cluster模式为例 Spark-submit提交源码解析 yarn的调度流程 https://www.cnblogs.com/shengyang17/p/10321228.html RDD中的数据变成一个个分区的数据，一个个分区变成任务 RDD（对数据计算逻辑的 抽象， ...
分类：
其他好文 时间：
2019-04-19 00:49:07
阅读次数：
133
前提 计算机在执行程序代码的时候，实际上执行的是一条条指令，而这些指令，肯定会涉及到数据的读取和写入操作。 在我们的程序中，所定义的变量等临时数据，计算机会放在内存中，也称为主存。 那么问题来了，CPU执行指令的速度是很快的，但是从内存中读取数据和写入数据的过程，相比CPU执行指令的速度来说是比较慢 ...
分类：
其他好文 时间：
2019-04-12 23:20:07
阅读次数：
160
