Windows|Eclipse 运行HDFS程序之后，报：org.apache.Hadoop.security.AccessControlException: Permission denied: user=sunqw, access=WRITE, inode="":hadoop:supergrou ...
分类：
数据库 时间：
2019-06-04 22:08:02
阅读次数：
119
在中山大学登录校园网有两种方式，一种是连接WiFi，另一种是连接网线。这两种上网方式都需要用到NetID，但是连接网线的话还需要使用到iNode客户端（指东校区）。 Windows下iNode客户端的安装方式非常简单，这里对Linux客户端的安装方法做个记录。 首先到中山大学校园网中心下载客户端：h ...
分类：
系统相关 时间：
2019-06-03 21:59:59
阅读次数：
556
场景： 拿到了客户50个文件，平均每个文件大概40M左右的txt，文件在S3上，需要导入到数据库，40M解析出来大概是80W条左右的数据。 描述： 在刚开始执行导入时，因为数据验证复杂程度不同，每个文件耗时大概6到9分钟，执行到第20个文件之后，效率明显变低，执行到第 35个文件时free查看内存使 ...
分类：
系统相关 时间：
2019-05-22 12:46:57
阅读次数：
216
inode(index node)是linux和unix文件系统的一基本概念，inode在传统的类unix文件系统如ext3或ext4, linux扩展文件系统如ext2或ext3维护这个inode数据：inode表，每一个linux文件或目录（技术角度本质上没有什么区别），每个对象在文件系统中用一个inode表示, 但什么是对像？每一个文件在linux中有下列的结构：
分类：
系统相关 时间：
2019-05-20 00:52:27
阅读次数：
149
区分软链接和硬链接前先来学习下i节点和block数据块一块分区要想使用需要做2步操作：?1、将分区分成等大小的block块，一般为4k，用来记录文件的数据?2在分区前建一个i节点表，里面包含文件元数据（-rw-r--r--.1rootroot0May1914:53f1文件类型、权限、所属着、创建时间等）和inode节点号，在同一个分区中i节点是唯一的，每一个文件都有不同的i节点
分类：
其他好文 时间：
2019-05-19 20:49:01
阅读次数：
154
理解Linux的软硬链接 创建硬链接的命令 上图我们可以看出硬链接有着相同的inode号，只是文件的名字不一样，因此硬链接有着以下几点特性： 1 文件的inode号相同，文件名不同 2 只能对已经存在的文件做硬链接 3 硬链接不能跨分区创建 4 每链接一次，它的链接数会加1 5 硬链接不能对目录进行 ...
分类：
其他好文 时间：
2019-05-19 14:03:29
阅读次数：
140
硬链接（hardlink）：可以将它理解为一个“指向原始文件inode的指针”，系统不为它分配独立的inode和文件。所以，硬链接文件与原始文件其实是同一个文件，只是名字不同。我们每添加一个硬链接，该文件的inode连接数就会增加1；而且只有当该文件的inode连接数为0时，才算彻底将它删除。换言之，由于硬链接实际上是指向原文件inode的指针，因此即便原始文件被删除，依然可以通过硬链接文件来访问
分类：
系统相关 时间：
2019-05-18 22:29:05
阅读次数：
182
bash的捷键： 软链接和硬链接的区别： 1.原理上：硬链接(hard link)：A是B的硬链接（A和B都是文件名），则A的目录项中的inode节点号与B的目录项中的inode节点号相同，即一个inode节点对应两个不同的文件名，两个文件名指向同一个文件，A和B对文件系统来说是完全平等的。如果删除 ...
分类：
系统相关 时间：
2019-05-18 21:17:25
阅读次数：
161
docker 启动容器服务的时候，报错no space left on device 1. 检查磁盘是否用光 3.检查inode是否耗光，从截图看到是inode耗光导致出现问题： 进入到/run里面看看是哪些文件耗光了：#for i in ./*; do echo $i; find $i | wc ...
分类：
其他好文 时间：
2019-05-18 18:49:35
阅读次数：
398
inode详解 在Linux中，我们经常会做一些关于数据的操作（备份、传输、压缩等）或是要在后台持续的运行一些程序。由于，工作的数据量很大或者工作要持续很长的时间，我们就必须保证这个终端的启动，一旦终端关闭了，它所运行的进程也会关闭，我们所做的工作就可能前功尽弃。但是，即使我们不主动的关闭终端，终端有的时候也会应为一些原因（网络、锁屏等）而中断，导致我们的工作进度清零。1.i
分类：
系统相关 时间：
2019-05-16 09:38:00
阅读次数：
196
