码迷,mamicode.com
首页 >  
搜索关键字:hadoop map reduce 分区 分组    ( 64817个结果
2021.6.8模拟赛
T1打包 一个二维01背包的板子,状态转移方程$$Dp_{j,k}=max\left \{Dp_{j,k},Dp_{j-Weight_i,k-V_i}+Value_i\right \}$$ T2暗黑破坏神 大概类似于分组背包,开$long\ long$,在更新$Dp$的过程中记录路径,递归输出即可。 ...
分类:其他好文   时间:2021-06-11 18:06:14    阅读次数:0
【Kafka】Kafka文件存储机制
一、文件存储 kafka 使用日志文件的方式来保存生产者和发送者的消息,每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据,为了避免日志文件过大,一个分片 并不是直接对应在一个磁盘上的日志文件,而是对应磁盘上的一个目录,这个目录的命名规则是<top ...
分类:其他好文   时间:2021-06-11 17:32:01    阅读次数:0
设计模式中的迭代器Iterator
任何容器的底层数据结构只有两种:一种是数组;另一种是链表。例如:list,set,map,二叉树,图等容器。访问容器使用Iterator迭代器。 public interface Collection_ { void add(Object o); int size(); Iterator_ iter ...
分类:其他好文   时间:2021-06-10 18:43:23    阅读次数:0
邮件发送
邮件发送 Java实现邮件发送 一、邮件服务器与传输协议 要在网络上实现邮件功能,必须要有专门的邮件服务器。这些邮件服务器类似于现实生活中的邮局,它主要负责接收用户投递过来的邮件,并把邮件投递到邮件接收者的电子邮箱中。 SMTP服务器地址:一般是 smtp.xxx.com,比如163邮箱是smtp. ...
分类:其他好文   时间:2021-06-10 18:16:40    阅读次数:0
Hadoop 数据迁移用法详解
数据迁移使用场景 冷热集群数据分类存储,详见上述描述. 集群数据整体搬迁.当公司的业务迅速的发展,导致当前的服务器数量资源出现临时紧张的时候,为了更高效的利用资源,会将原A机房数据整体迁移到B机房的,原因可能是B机房机器多,而且B机房本身开销较A机房成本低些等. 数据的准实时同步.数据的准实时同步与 ...
分类:其他好文   时间:2021-06-10 18:05:50    阅读次数:0
python一行代码求阶乘或求和(reduce函数的使用)
对1~1000求阶乘 上面的x y可以自由换成其他表达式,如 x+y、x y、x 2+y、2 x+5 y 等等 range(1,1001)表示生成1到1000的连续整数列表(List)。 reduce(functionA,iterableB),functionA为需要两个变量的函数,并返回一个值。i ...
分类:编程语言   时间:2021-06-10 17:52:09    阅读次数:0
StarLake:汇量科技云原生数据湖的探索和实践
简介:快速了解汇量科技在云原生数据湖领域的探索和实践,详解 StarLake 的架构及业务应用案例。作者:陈绪(汇量科技资深算法架构师,EnginePlus 2.0 产品负责人)内容框架:? 互联网业务视角看湖仓一体? StarLake 架构实践? StarLake 业务应用案例? 未来方向一、互联 ...
分类:其他好文   时间:2021-06-09 15:35:54    阅读次数:0
MySQL数据库表分区功能详解
1、什么是表分区? mysql数据库中的数据是以文件的形势存在磁盘上的,默认放在/mysql/data下面(可以通过my.cnf中的datadir来查看),一张表主要对应着三个文件,一个是frm存放表结构的,一个是myd存放表数据的,一个是myi存表索引的。如果一张表的数据量太大的话,那么myd,m ...
分类:数据库   时间:2021-06-09 10:32:43    阅读次数:0
实现fn(1,2)(3)(4).getSum(),使得最后输出值为实参的和即10
方法1,使用闭包 let arr = [] function fn(){ let arg = [...arguments] // 用另一个变量表示外部函数的实参 function closure(){ // 使用闭包将变量持久化 arr = [...arr,...arg] } closure() r ...
分类:其他好文   时间:2021-06-08 23:38:44    阅读次数:0
Windows10 从零搭建 Hadoop/Hive 环境及 Hive 入门
1. Hadoop 概览Google 三篇论文(GFS -> HDFS,Map-Reduce -> MR,BigTable -> HBase)是 Hadoop 的思想之源。Hadoop 生态非常庞大,其最初两大核心是 HDFS 和 MR,分别负责存储和计算(Hadoop 1.x 中,MR 既负责计算 ...
分类:Windows程序   时间:2021-06-08 23:15:13    阅读次数:0
64817条   上一页 1 ... 14 15 16 17 18 ... 6482 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!