原始RDD或数据集中的每一个分区都映射一个或多个数据文件， 该映射是在文件的一部分或者整个文件上完成的。 Spark Job RDD/datasets在执行管道中，通过根据分区到数据文件的映射读取数据输入到RDD/dataset。 如何根据某些参数确定spark的分区数？ 影响数据分区数的参数： ( ...
分类：
其他好文 时间：
2020-06-18 13:16:01
阅读次数：
66
df df（report file system disk space usage） df -h du du（estimate file space usage） du -h -d 0 du -a #同--all 显示目录中所有文件的大小。 du -s #同--summarize 仅显示总计，只列出 ...
分类：
系统相关 时间：
2020-06-18 13:11:13
阅读次数：
64
一、用户和组的相关概念账号的概念和分类账号：是一种用来记录单个用户或是多个用户的数据。Linux中每一个合法的用户都必须要拥有账号，才能使用。它不仅可以用来验证用户身份，还决定了一个用户在系统中可以从事什么工作在Linux上的账号可以分成两类：用户账号用来储存单一用户的数据，你可以使用一个用户账号，来储存某一个用户的数据。群组账号用来储存多个用户的信息，每一个群组账号可以用来记录一组用户的数据。我
分类：
系统相关 时间：
2020-06-18 11:21:07
阅读次数：
95
一、用户和组的相关概念账号的概念和分类账号：是一种用来记录单个用户或是多个用户的数据。Linux中每一个合法的用户都必须要拥有账号，才能使用。它不仅可以用来验证用户身份，还决定了一个用户在系统中可以从事什么工作在Linux上的账号可以分成两类：用户账号用来储存单一用户的数据，你可以使用一个用户账号，来储存某一个用户的数据。群组账号用来储存多个用户的信息，每一个群组账号可以用来记录一组用户的数据。我
分类：
系统相关 时间：
2020-06-18 11:09:04
阅读次数：
49
一、vim使用介绍介绍在linux系统中，大部分配置文件都是ASCII的纯文本形式存放的，所以我们在修改系统设置的时候使用简单的文本编辑软件就可以实现了，如果你使用过windows当中的word的话，那么你可能会感觉linux字符界面的文本编辑工具并不是太好用，毕竟没有图形窗口，看着不会太舒服。但是既然要学习linux，掌握并熟练使用文本编辑工具是必不可少的技能，在linux当中的文本编辑工具有很
分类：
系统相关 时间：
2020-06-18 10:24:57
阅读次数：
54
一、vim使用介绍介绍在linux系统中，大部分配置文件都是ASCII的纯文本形式存放的，所以我们在修改系统设置的时候使用简单的文本编辑软件就可以实现了，如果你使用过windows当中的word的话，那么你可能会感觉linux字符界面的文本编辑工具并不是太好用，毕竟没有图形窗口，看着不会太舒服。但是既然要学习linux，掌握并熟练使用文本编辑工具是必不可少的技能，在linux当中的文本编辑工具有很
分类：
系统相关 时间：
2020-06-18 10:24:26
阅读次数：
64
一、vim使用介绍介绍在linux系统中，大部分配置文件都是ASCII的纯文本形式存放的，所以我们在修改系统设置的时候使用简单的文本编辑软件就可以实现了，如果你使用过windows当中的word的话，那么你可能会感觉linux字符界面的文本编辑工具并不是太好用，毕竟没有图形窗口，看着不会太舒服。但是既然要学习linux，掌握并熟练使用文本编辑工具是必不可少的技能，在linux当中的文本编辑工具有很
分类：
系统相关 时间：
2020-06-17 18:23:20
阅读次数：
57
创建RAID（以RAID5为例）1、首先，我们要先创建新磁盘分区#fdisk /dev/hda创建3个500MB的分区（hda7，hda8，hda9），然后在fdisk命令下输入t，选择刚创建好的分区，输入fd，将刚创建好的3个分区转换为fd格式。输入w保存退出 2、激活刚创建好的分区#partpr ...
分类：
系统相关 时间：
2020-06-17 11:11:43
阅读次数：
86
一、自建yum仓库，分别为网络源和本地源。网络源：1、首先创建yum仓库：[centos@localhost~]$yuminstallcreaterepo2、将原来的yum网络源禁用。[root@localhostyum.repos.d]#mvCentOS-Base.repoCentOS-Base.repo.bak3、编辑CentOS-Base.repo[base]name=BaseRepoonm
分类：
其他好文 时间：
2020-06-17 10:54:51
阅读次数：
47
一、微服务特点 1?服务组件化 每个服务独立开发、部署，有效避免一个服务的修改引起整个系统重新部署。2?技术栈灵活 约定通信方式，使得服务本身功能实现对技术要求不再那么敏感。3?独立部署 每个微服务独立部署，加快部署速度，方便扩展。4?扩展性强 每个微服务可以部署多个，并且有负载均衡能力。5?独立数 ...
分类：
系统相关 时间：
2020-06-17 01:45:09
阅读次数：
185
