IDEA中的scala项目访问HDFS,程序运行,可能出现的异常: 权限问题:Permission denied: user=СÎ÷?Îè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 修改运行时参数,因为HDFS上的文件所属的用户是ha ...
分类:
数据库 时间:
2019-12-26 19:33:00
阅读次数:
103
1.理论分析 TCP是面向连接的传输层协议,所谓面向连接就是在真正的数据传输开始前要完成连接建立的过程,否则不会进入真正的数据传输阶段。TCP的连接建立过程通常被称为三次握手(three-way handshake),过程如下:请求端(通常称为客户)发送一个SYN段指明客户打算连接的服务器的端口,以 ...
分类:
系统相关 时间:
2019-12-26 19:30:35
阅读次数:
119
stat命令的实现 mysate 一、提交学习 stat(1) 的截图 作用:用来显示文件的详细信息,包括 , , , 格式: stat 命令格式 二、man k , grep r 的使用 三、伪代码 用户运行 mystat.c 程序,输入文件名 由man 2 stat函数学习后可知调用stat函数 ...
分类:
其他好文 时间:
2019-12-26 19:20:06
阅读次数:
92
echo 1 > /proc/sys/vm/drop_caches #表示清除pagecache。 echo 2 > /proc/sys/vm/drop_caches #表示清除回收slab分配器中的对象(包括目录项缓存和inode缓存)。 slab分配器是内核中管理内存的一种机制,其中很多缓存数据... ...
分类:
系统相关 时间:
2019-12-26 09:53:03
阅读次数:
180
硬链接 创建硬链接会增加额外的记录项以引用文件 对应于同一文件系统上一个物理文件 每个目录引用相同的inode号 创建时链接数递增 删除文件时: rm命令递减计数的链接 文件要存在,至少有一个链接数 当链接数为零时,该文件被删除 不能跨越驱动器或分区 语法: In filename [linknam ...
分类:
其他好文 时间:
2019-12-24 11:51:44
阅读次数:
128
通过文件的inode号删除文件 先用ls -i 找出要删除文件的inode 号 2ls -i |grep xxxxxx|awk '{print $2}'|xargs -i rm -f {} xxxxxx为文件的 inode 号 通过文件大小删除文件 删除当前目录以及所有子目录下的文件大小为零的文件 ...
分类:
系统相关 时间:
2019-12-20 10:25:53
阅读次数:
140
[TOC] 一、 监控知识基本概述 1.为什么要使用监控 1.对系统不间断实时监控 2.实时反馈系统当前状态 3.保证服务可靠性安全性 4.保证业务持续稳定运行 2.如何进行监控,比如我们需要监控磁盘的使用率 1.如何查看磁盘使用率 df h 2.监控磁盘的那些指标 block、 inode 3.如 ...
分类:
其他好文 时间:
2019-12-18 20:17:17
阅读次数:
118
Linux 文件系统把硬盘分为三个部分:超级块、inode 列表、数据区 inode 指示:该文件的数据存放在数据区的哪些块内。因为这个“映射”关系不能变更,因此,inode 相当于代表着文件本身。(值得注意的是,文件名与文件本身不是直接映射起来的,中间隔着 inode) 内核为每一个新创建的文件分 ...
分类:
系统相关 时间:
2019-12-18 12:34:45
阅读次数:
112
一:安装前介绍一个Ceph(CephFS)文件系统至少需要两个RADOS池,一个用于数据,另一个用于元数据,配置这些池时,我们应该考虑以下三点对元数据池使用更高的复制级别,因为此池中的任何数据丢失都可能导致整个文件系统无法访问对元数据池使用较低延迟的存储(例如SSD),因为这将直接影响在客户端上观察到的文件系统操作的延迟用于创建文件系统的数据池是“默认”数据池,并且是用于存储所有inode追溯信息
分类:
其他好文 时间:
2019-12-18 11:10:23
阅读次数:
120
文件属性、正则表达式、文件权限 一、文件属性 [root@oldboy 01 ~] ls lhi /etc/hosts 39 rw r r . 2 root root 352 Nov 19 2018 /etc/hosts 39:inode号码 :文件类型 rw r r . :文件的权限.(与seli ...
分类:
其他好文 时间:
2019-12-16 09:15:23
阅读次数:
94