业务日志输出规范日志文件规范1.1.日志文件命名日志文件名格式：logName_YY-MM-dd_hh.[rollcount].log示例：sdk_2020-09-03_11.0.log1.2.日志滚动大小日志文件大小等于100M，须日志滚动由于Linux对于小文件存在Inodes限制，所以对于日志量较大，开启INFO等较低级别日志，若日志大小设置较低，将会产生大量【rollcount】，造成In
分类：
其他好文 时间：
2020-09-17 13:11:06
阅读次数：
31
###1. 简介 Linux服务器普通的文件上传下载一般用 sz rz 就可以满足要求了，但是遇到大文件（超过4G）时就不好使了。 这是就可以通过将大文件分割为小文件传输，之后再进行文件合并即可。 ###2. split usage: split <option> <input> <prefix> ...
分类：
系统相关 时间：
2020-09-16 12:46:14
阅读次数：
74
Linux下使用split按行数进行切割 说明：一般来说split按行数切割多数用在日志文件上。 实例： 将一个大文件分成若干个小文件方法： 例如将一个BLM.txt文件分成前缀为BLM_ 的1000个小文件，后缀为系数形式，且后缀为4位数字形式 1、先利用 wc -l BLM.txt 读出BLM. ...
分类：
系统相关 时间：
2020-09-09 18:39:20
阅读次数：
52
Block是文件块，HDFS中是以Block为单位进行文件的管理的，一个文件可能有多个块，每个块默认是3个副本，这些块分别存储在不同机器上。块与文件之前的映射关系会定时上报Namenode。HDFS中一个块的默认大小是64M，其大小由参数dfs.block.size控制。这里面先引申几个问题出来： ...
分类：
其他好文 时间：
2020-09-03 16:43:21
阅读次数：
40
Java中通过我们的File对象来表示我们的文件或目录，并提供了基础的API来获取文件或目录的一些信息。比如：路径、大小、文件名API File file = new File("文件或目录路径"); 是否存在 boolean exists = file.exists(); 创建新的文件内容为空 b ...
分类：
编程语言 时间：
2020-08-26 17:05:04
阅读次数：
48
针对hive on mapreduce 1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并： 参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 1 2 3 4 ...
分类：
数据库 时间：
2020-08-03 19:56:21
阅读次数：
103
一、Find 概述 可以根据文件的名称、文件大小、文件的修改时间、文件的类型、文件的权限、文件的属主属组、文件的目录层级进行查找 Find的语法： find [-H] [-L] [-P] [-Olevel] [-D help|tree|search|stat|rates|opt|exec] [pat ...
分类：
其他好文 时间：
2020-07-28 17:17:41
阅读次数：
98
一、zookeeper是什么（概括）？ Zookeeper是一个分布式协调服务的开源框架，为分布式程序提供协调服务，同时用来解决分布式集群中应用系统的数据一致性问题。 zookeeper在本质上是一个分布式的小文件存储系统，以目录树方式存储数据，对树中的节点进行管理，从而维护和监控存储数据的节点状态 ...
分类：
其他好文 时间：
2020-07-26 23:21:12
阅读次数：
98
1、OSI七层模型、TCP/IP四层模型 层数 七层 四层 主要功能 主要设备及协议 7 应用层 应用层 实现数据的具体应用 FTP（文件传输协议）、TFTP（小文件传输）、HTTP（html传输协议）、 DHCP（ip地址动态分配）、DNS（域名解析）、POP3（邮件传输）、 SMTP（邮件传输） ...
分类：
其他好文 时间：
2020-07-26 01:41:24
阅读次数：
75
#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使 ...
分类：
Web程序 时间：
2020-07-23 22:28:11
阅读次数：
105
