引自[https://www.iteye.com/blog/langyu 992916] shuffle的意义有三点: 1.把map task端的数据完整传输到reduce task端 2.减少不必要的宽带消耗 3.减少磁盘IO消耗 首先把Shuffle理解为map的shuffle和reduce的s ...
分类:
其他好文 时间:
2020-02-20 13:13:52
阅读次数:
65
代码 https://github.com/hkmayfly/JDG 使用教程 环境 Python 3.7.1 代码修改 jdmain.py mailto_lists:收件人的邮箱 mail_sender:发件人邮箱 mail_pass:邮箱授权码 jd_url_list:商品页面获取的链接 req ...
分类:
编程语言 时间:
2020-02-19 22:24:49
阅读次数:
2607
[toc] 1.Merge Pandas具有全功能的,高性能内存中连接操作,与关系型数据库中的连接操作类似。 语法: 1.1 简单关联:left_on与right_on 下面是Merge的一些实战案例: (1)创建测试数组 (2)使用Merge,找出每个学生对应的班级名字 输出结果: 1.2 使用h ...
分类:
编程语言 时间:
2020-02-19 19:18:27
阅读次数:
99
目标说明 统一良好的代码格式规范可以有效提升开发团队之间的「协作效率」,如果不同的开发团队或者开发人员采用不同的代码格式规范,那么每次Format代码都会导致大量的变化,在Code Review及Merge代码时会带来很多的干扰项。因此制定本代码规范希望达成以下目标: 统一Java代码格式规范,确保 ...
分类:
编程语言 时间:
2020-02-19 14:54:42
阅读次数:
94
1 memcached介绍 Memcached是一个自由开源的,高性能,分布式内存对象缓存系统。 Memcached是以LiveJournal旗下Danga Interactive公司的Brad Fitzpatric为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、Li ...
分类:
系统相关 时间:
2020-02-18 15:08:49
阅读次数:
97
归并排序 1. 算法推导 对一个等待排序的数组A,以及排序函数sort,以及合并两个有序数组的函数merge。则 sort(A) = merge(sort(A1), sort(A2)),上面这个推导公式看起来是满足递归算法的重复条件。举个例子: 2. 代码实现 2.1 递归实现 2.2 非递归实现 ...
分类:
编程语言 时间:
2020-02-18 14:57:50
阅读次数:
74
冲突,就要 Merge,没有冲突那就不叫 Merge。 写代码过程中,多人协作,难免有冲突,当然,自己也有可能跟自己冲突,不要说你没遇到过,那怎么办呢?git 给我们的解决办法是用 mergetool,如果不特殊安装什么,默认的合并工具是 vimdiff, 打开之后的样子是: 默认是 Vim 配置, ...
分类:
其他好文 时间:
2020-02-18 12:52:49
阅读次数:
60
题目描述: 将两个有序链表合并为一个新的有序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例: 输入:1->2->4, 1->3->4输出:1->1->2->3->4->4 思路: 递归 代码: /** * Definition for singly-linked list. * ...
分类:
其他好文 时间:
2020-02-18 09:41:57
阅读次数:
62
Given a collection of intervals, merge all overlapping intervals. Example 1: Input: [[1,3],[2,6],[8,10],[15,18]] Output: [[1,6],[8,10],[15,18]] Explan ...
分类:
其他好文 时间:
2020-02-17 22:31:56
阅读次数:
92
好妙的一个题… 我们设 $f_{i,j}$ 为 $i$ 节点出现 $j$ 的概率 设 $l = ch[i][0] , r = ch[i][1]$ 即左儿子右儿子 设 $m$ 为叶子结点的个数 显然,$i$ 出现 $j$ 的概率为 $$f_{i,j} = f_{l,j} (p_i \sum_{k=1} ...
分类:
其他好文 时间:
2020-02-17 16:28:31
阅读次数:
62