运行 HDFS 命令，总是出现恼人的 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”... ...
分类：
其他好文 时间：
2021-07-02 16:04:09
阅读次数：
0
CosId 通用、灵活、高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用、灵活、高性能的分布式系统 ID 生成器。 目前提供了俩大类 ID 生成器：SnowflakeId （单机 TPS 性能：409W/s JMH 基准测试）、RedisIdGenerator (单机 TPS 性能(步长 ...
分类：
其他好文 时间：
2021-06-30 18:23:40
阅读次数：
0
HDFS 概述 HDFS的产生背景和定义 HDFS产生背景 解决海量数据的存储问题 需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 HDFS定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于 ...
分类：
其他好文 时间：
2021-06-30 17:40:30
阅读次数：
0
1.会编程，参考实验 1.1编程实现词频统计基本操作 主函数 public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); //程序运行时参数 String[] o ...
分类：
其他好文 时间：
2021-06-29 16:02:29
阅读次数：
0
1、列出子目录或子文件 hdfs dfs -ls +路径 2、创建目录(-p表示父目录都会创建) hdfs dfs -mkdir -p /001/mydemo/x/y/z hdfs dfs -mkdir /001/mydemo3 /001/mydemo4 /001/mydemo5 3、列出文件夹中的 ...
分类：
其他好文 时间：
2021-06-28 21:04:34
阅读次数：
0
第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点，数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类：
其他好文 时间：
2021-06-28 20:29:20
阅读次数：
0
01 背景 面对大量用户访问、高并发请求，单机网站可以从软硬件两个方面寻求解决方法： 1、硬件方面：可以使用高性能的服务器、大型数据库，存储设备，高性能Web服务器； 2、软件方面：采用高效率的编程语言(比如Go，Erlang，Scala)等。 但是，当单机容量达到极限时，我们需要考虑业务拆分和分布 ...
分类：
编程语言 时间：
2021-06-28 20:23:37
阅读次数：
0
前言 每一次HTTP请求，数据库的事务的执行，我们追踪代码执行的过程中，需要一个唯一值和这些业务操作相关联，对于单机的系统，可以用数据库的自增ID或者时间戳加一个在本机递增值，即可实现唯一值。但在分布式，又该如何实现唯一性的ID 分布式ID的特性 数据库自增的ID Redis分布式ID Zookee ...
分类：
其他好文 时间：
2021-06-28 19:46:13
阅读次数：
0
前言 每一次HTTP请求，数据库的事务的执行，我们追踪代码执行的过程中，需要一个唯一值和这些业务操作相关联，对于单机的系统，可以用数据库的自增ID或者时间戳加一个在本机递增值，即可实现唯一值。但在分布式，又该如何实现唯一性的ID 分布式ID的特性 数据库自增的ID Redis分布式ID Zookee ...
分类：
其他好文 时间：
2021-06-28 19:32:12
阅读次数：
0
年年岁岁花相似，岁岁年年人不同。白驹过隙催人老，几多明月有清风。人犹记少年诉壮志，转眼大梦一场空。人前谈笑虽依旧，却是无从化苦衷。春情暂寄桃花雨，夜梦常吹柳絮风。往事悠悠岁月流，举杯把酒不言中。 前言 本地事务：传统单机数据库事务，必须满足ACID原则。 一、事务日志 ###（1）undo日志 un ...
分类：
其他好文 时间：
2021-06-28 19:16:21
阅读次数：
0
