分析函数是以一定的方法在一个与当前行相关的结果子集中进行计算，也称为窗口函数。 Function(arg1 , arg2 ……) over(partition by clause order by clause windowing clause ) 1.over分区条件中的列可以不在select列表 ...
分类：
其他好文 时间：
2019-01-13 19:08:14
阅读次数：
203
通过一个经典的程序来说明 从RDD的转换和存储角度看这个过程： 用户程序对RDD通过多个函数进行操作，将RDD进行转换。 Block-Manager管理RDD的物理分区，每个Block就是节点上对应的一个数据块，可以存储在内存或者磁盘。 而RDD中的partition是一个逻辑数据块，对应相应的物理 ...
分类：
其他好文 时间：
2019-01-13 00:27:36
阅读次数：
185
接下来通过一个实际的案例，介绍在MR编程中的，partition、sort、combiner。??流量统计项目案例数据样本：1363157984040136028465655C-0E-8B-8B-B6-00:CMCC120.197.40.42052.flash2-http.qq.com综合门户151219382910200字段介绍：需求：1、统计每一个用户（手机号）所耗费的总上行流量、总下行流量，
分类：
其他好文 时间：
2019-01-12 19:28:25
阅读次数：
189
字符串：有序的字符的集合，用于存储和表示基本的文本信息，一对单、双、或三引号中间包含的内容称之为字符串 1.特性：有序，不可变（开辟新地址存储字符串，python解释器会定期清空不用了的已存储的） 2.操作 常用：isdigit replace find count strip center spl ...
分类：
编程语言 时间：
2019-01-12 00:28:20
阅读次数：
244
本地事务ACID大家应该都知道了，统一提交，失败回滚，严格保证了同一事务内数据的一致性！而分布式事务不能实现这种ACID，它只能实现CAP原则里的某两个，CAP也是分布式事务的一个广泛被应用的原型，CAP(Consistency, Availability, Partition Tolerance) ...
分类：
其他好文 时间：
2019-01-11 21:17:10
阅读次数：
189
自5.1开始对分区(Partition)有支持，一张表最多1024个分区 查询分区数据： SELECT * from table PARTITION(p0) 水平分区（根据列属性按行分） 举个简单例子：一个包含十年发票记录的表可以被分区为十个不同的分区，每个分区包含的是其中一年的记录。 垂直分区（按... ...
分类：
其他好文 时间：
2019-01-11 18:07:12
阅读次数：
273
为了能够方便的查看及管理Kafka集群，yahoo提供了一个基于Web的管理工具（Kafka-Manager）。 这个工具可以方便的查看集群中Kafka的Topic的状态（分区、副本及消息量等），支持管理多个集群、重新分配Partition及创建Topic等功能。 jdk、sbt自行安装吧 sbt源 ...
分类：
其他好文 时间：
2019-01-11 15:55:05
阅读次数：
368
A string S of lowercase letters is given. We want to partition this string into as many parts as possible so that each letter appears in at most one p ...
分类：
其他好文 时间：
2019-01-10 21:51:05
阅读次数：
172
mysql执行计划 mysql的执行计划是对查询语句进行分析。了解查询语句的执行情况，找出查询语句执行的瓶颈，从而对查询语句进行优化。MySQL提供了EXPLAIN和DESCRIBE语句用来查看SELECT语句执行过程。语法如下： 使用EXTENDED关键字，EXPLAIN语句将产生附加信息。执行E ...
分类：
数据库 时间：
2019-01-10 20:54:39
阅读次数：
162
链接源：http://taohuayuan.fun/post/2/#coding=utf-8 #计算数值的位数 def places(n): i=0 while n>1: n=n/10 i=i+1 return i #测试1 print(places(1234546)) #is_palindrome... ...
分类：
其他好文 时间：
2019-01-10 13:06:18
阅读次数：
888
