码迷,mamicode.com
首页 > 其他好文 > 详细

大数据学习第一章

时间:2018-05-10 19:59:40      阅读:201      评论:0      收藏:0      [点我收藏+]

标签:密码   补齐   txt   目标   purge   下载地址   改名   .com   roo   

备注:从现在开始直到10月份我们要参加省级大数据比赛,在此我会把这期间学习的东西都会在此记录下来,加油吧!!!

1、因为大数据是在Linux系统上运行的,我们有两种选择,下面贴一篇博客

http://dblab.xmu.edu.cn/blog/285/        这是慕课网上厦门大学林子雨老师讲的一些基本的安装过程

Linux系统建议使用Ubuntu,下面配上下载地址

ubuntu官方网站: http://www.ubuntu.com/    对应 中文地址为 http://www.ubuntu.org.cn/index_kylin

桌面版下载地址: http://www.ubuntu.com/download/desktop   

当然也可以完全按照林子雨老师博客里面进行安装,

2、下面贴一些Linux常用的一些命令(下面命令来源于http://www.cnblogs.com/resn/p/5800922.html  可自行参考)

软件管理:

apt-cache search package 搜索包
apt-cache show package 获取包的相关信息,如说明、大小、版本等
sudo apt-get install package 安装包
sudo apt-get install package –reinstall 重新安装包
sudo apt-get -f install 强制安装
sudo apt-get remove package 删除包
sudo apt-get remove package –purge 删除包,包括删除配置文件等
sudo apt-get autoremove 自动删除不需要的包
sudo apt-get update 更新源
sudo apt-get upgrade 更新已安装的包
sudo apt-get dist-upgrade 升级系统
sudo apt-get dselect-upgrade 使用 dselect 升级
apt-cache depends package 了解使用依赖
apt-cache rdepends package 了解某个具体的依赖
sudo apt-get build-dep package 安装相关的编译环境
apt-get source package 下载该包的源代码
sudo apt-get clean && sudo apt-get autoclean 清理下载文件的存档
sudo apt-get check 检查是否有损坏的依赖


apt的配置文件:

/etc/apt/sources.list 设置软件包的获取来源
/etc/apt/apt.conf apt配置文件
/etc/apt/apt.conf.d apt的零碎配置文件
/etc/apt/preferences 版本参数
/var/cache/apt/archives/partial 存放正在下载的软件包
/var/cache/apt/archives 存放已经下载的软件包
/var/lib/apt/lists 存放已经下载的软件包详细信息
/var/lib/apt/lists/partial 存放正在下载的软件包详细信息


修改密码:
# 修改密码的命令
passwd # 默认修改当前用户的密码

passwd username # 修改指定用户的密码,需要管理员权限

备注:权限不够时需要加sudo 获取管理员权限

忘记密码

开始时长按shift键,进入grub菜单-->  按字母e 进入编辑模式 --> 编辑内容--> 启动 进入但用户模式 ,重新设置用户密码,-->  按照F10重启 -- >  使用新密码进入系统

 

关机/重启/注销:

logout  # 注销

reboot  # 重启系统: 

shutdown # 关机: 

shutdown -r now # 现在立即重启
shutdown -r +5  # 三分钟后重启
shutdown -r 12:12    #在12:12时将重启计算机

shutdown -h now # 现在立即关机
shutdown -h +5  “The System will shutdown after 3 minutes”   # 提示使用者将在三分钟后关机
shutdown -h +5   #  5分钟后关机
shutdown -h 12:00  # 12点钟关机
shutdown -c   # 取消关机操作
目录切换:
cd  # 回到当前用户的家目录
# ~  可用于表示用户家目录
cd  /etc # 切换到/etc目录

cd - # 切换到上一次的目录

pwd 查看当前的工作路径

创建目录:

mkdir my_dir创建目录
mkdir a/b/c/d创建多层目录

获取帮助:
-h --help info man
man man  # 查看man命令的手册  
man  cd 
man  pwd 
man 5 passwd
man -k passwd # 模糊查找
man -f  passwd  # 精确查找 

创建文件:
touch :改变文件或目录时间,文件不存在时会创建一个空文件

touch filel # filel 不存在时被创建
touch -c filel #不创建文件
touch -r ref_file file1  更新file1.txt的时间戳和ref+file相同
touch -t 201210120505.25 file1

删除:
rm
rm -f  file1 # 强制删除文件
rm -r  a/b/file1  # 删除指定目录及其下的所有文件和目录
rm -rf  a/b/file1  #  强制删除指定目录及其下的所有文件和目录

# rm 命令太危险,不建议使用

mv:移动或重命名文件或目录
mv SOURCE DEST  # 
mv test.log test.txt  # 文件改名
mv test1.txt dir1/      #移动文件
mv test1.txt  test2.tx  test3.tx dir1/      #移动多个文件
cp  :复制

cp SOURCE DEST 复制文件
cp -i  SOURCE DEST  #   如果遇到需要覆盖的情况,则提示
cp -r  dir1  dir2  # 若给出的源文件是一目录文件,此时cp将递归复制该目录下所有的子目录和文件。此时目标文件必须为一个目录名
cp -p  file1 file2  #  此时cp除复制源文件的内容外,还将把其修改时间和访问权限也复制到新文件中。

cp -rp dir1  dir2

star:查看文件详细信息:

stat filename

car:链接文件后输出文件内容到屏幕上,其实就是查看文件内容

cat file1  #显示 file1的文件内容
cat file1 file2   # 显示file1和file2的文件内容 
cat -n file1  #  由1开始对所有输出的行数编号
cat -s file  # 当遇到连续2行以上的空白行,只保留一行空白行
history : 查看执行过的命令。
history  # 显示最近1000条历史命令
history 5   # 显示最后5条命令
!number# number为history之后命令前的序号:执行该条命令
!cat # 执行最后一条以cat开头的命令

more :   查看文件内容

less  : 查看文件内容

head : 输出文件的开始的部分, 可以指定行数 , 默认显示10行

ls : 列出目标目录中所有的子目录和文件

格式:ls [选项] [目录名] 

-a 用于显示所有文件和子目录(保罗点文件)。

-l 除了文件名之外,还将文件的权限、所有者、文件大小等信息详细列出来。

-r 将目录的内容清单以英文字母顺序的逆序显示。

-t 按文件修改时间进行排序,而不是按文件名进行排序。

-A 同-a,但不列出“.”(表示当前目录)和“..”(表示当前目录的父目录)。

-F 在列出的文件名和目录名后添加标志。例如,在可执行文件后添加“*”,在目录名后添加“/”以区分不同的类型。

-R 如果目标目录及其子目录中有文件,就列出所有的文件。

. 和.. 

. 表示当前目录

.. 表示父目录


ls  # 列出当前目录下的文件和目录
ls  . # 列出当前目录下的文件和目录
ls ..   # 列出当前目录的父目录下的文件和目录
ls  /etc    # 列出/etc目录下的文件和目录

ls -l  # 以长格式显示文件信息
总用量 76
-rwxrwxrwx 1 will will    78 5月  13 18:11 ss_start.sh
 

文件类型

-  普通文件

d  目录文件

b 块设备文件

c  字符设备文件

l  链接文件

p 管道文件

s  socket文件

 

文件权限


rwxrwxr-- : 三组rwx 分别表示 所有者、所有组、其他人 的权限。


r : 表示可读, 可以用数字 4 来表示
w : 标识可写 ,可以用数字 2 来表示
x : 表示可执行 , 可以用数字 1 来表示
- :表示没有相应权限  可以用数字 0 来表示

 

useradd: 添加用户

 

# -c 备注 加上备注。并会将此备注文字加在/etc/passwd中的第5项字段中         
#  -d 用户主文件夹。指定用户登录所进入的目录,并赋予用户对该目录的的完全控制权        
#  -e 有效期限。指定帐号的有效期限。格式为YYYY-MM-DD,将存储在/etc/shadow         
#  -f 缓冲天数。限定密码过期后多少天,将该用户帐号停用       
#  -g 主要组。设置用户所属的主要组  www.cit.cn           
#  -G 次要组。设置用户所属的次要组,可设置多组         
# -M 强制不创建用户主文件夹         
#  -m 强制建立用户主文件夹,并将/etc/skel/当中的文件复制到用户的根目录下         
#  -p 密码。输入该帐号的密码         
#  -s shell。用户登录所使用的shell         
#  -u uid。指定帐号的标志符user id,简称uid

useradd user1 # 添加用户 user1
useradd  -d /home/userTT user2

userdel : 删除用户
userdel  user1  #
userdel -r user1

#  -r, --remove   用户主目录中的文件将随用户主目录和用户邮箱一起删除。在其它文件系统中的文件必须手动搜索并删除。
#    -f, --force    此选项强制删除用户账户,甚至用户仍然在登录状态。它也强制删除用户的主目录和邮箱,即使其它用户也使用同一个主目录或邮箱不属于指定的用户
usermod : 修改用户信息
# -c<备注>  修改用户帐号的备注文字。 
# -d登入目录>  修改用户登入时的目录。 
# -e<有效期限>  修改帐号的有效期限。 
# -f<缓冲天数>  修改在密码过期后多少天即关闭该帐号。 
# -g<群组>  修改用户所属的群组。 
# -G<群组>  修改用户所属的附加群组。 
# -l<帐号名称>  修改用户帐号名称。 
# -L  锁定用户密码,使密码无效。 
# -s<shell>  修改用户登入后所使用的shell。 
# -u<uid>  修改用户ID。 

# -U  解除密码锁定。 usermod -G staff user2 # 将 newuser2 添加到组 staff 中 usermod -l newuser1 newuser # 修改 newuser 的用户名为 newuser1 usermod -L newuser1 # 锁定账号 newuser1 usermod -U newuser1 # 解除对 newuser1 的锁定



su  : 切换用户,没有参数时,默认切换为root用户;
su   # 切换为root

## 推荐
su -   # 切换为root 并加载user1的环境配置
su -  user1 # 切换为user1 并加载user1的环境配置

sudo :   让当前用户暂时以管理员的身份root来执行命令。

Ubuntu 默认没有启用root用户, 普通用户执行一些特殊的操作时,使用sudo就可以让普通用户以root用户的身份执行命令

 sudo有一个配置文件: /etc/sudoers  ;  通过修改配置文件可以让指定用户使用sudo命令

关于各个文件的作用域:
(1) /etc/profile: 此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行. 并从/etc/profile.d目录的配置文件中搜集shell的设置。
(2) /etc/bashrc: 为每一个运行bash shell的用户执行此文件.当bash shell被打开时,该文件被读取(即每次新开一个终端,都会执行bashrc)。
(3) ~/.bash_profile: 每个用户都可使用该文件输入专用于自己使用的shell信息,当用户登录时,该文件仅仅执行一次。默认情况下,设置一些环境变量,执行用户的.bashrc文件。
(4) ~/.bashrc: 该文件包含专用于你的bash shell的bash信息,当登录时以及每次打开新的shell时,该该文件被读取。
(5) ~/.bash_logout: 当每次退出系统(退出bash shell)时,执行该文件. 另外,/etc/profile中设定的变量(全局)的可以作用于任何用户,而~/.bashrc等中设定的变量(局部)只能继承 /etc/profile中的变量,他们是"父子"关系。(6) ~/.bash_profile: 也可能是 .profile  是交互式、login 方式进入 bash 运行的~/.bashrc 是交互式 non-login 方式进入 bash 运行的通常二者设置大致相同,所以通常前者会调用后者。

PATH变量的设置

 

env : 查看当前环境变量

export  :  设置或显示环境变量。

source : 在当前bash环境下读取并执行FileName中的命令。该filename文件可以无"执行权限"

 

tar:

-c :建立一个压缩文件的参数指令(create 的意思);
-x :解开一个压缩文件的参数指令!
-t :查看 tarfile 里面的文件!
特别注意  c/x/t 同时仅能存在一个,因为不可能同时压缩与解压缩。
-z :是否同时具有 gzip 的属性?亦即是否需要用 gzip 压缩?
-j :是否同时具有 bzip2 的属性?亦即是否需要用 bzip2 压缩?
-v :压缩的过程中显示文件!这个常用,但不建议用在背景执行过程!
-f :使用档名,请留意,在 f 之后要立即接文件名
-p :使用原文件的原来属性(属性不会依据使用者而变)
-P :可以使用绝对路径来压缩!
-N :比后面接的日期(yyyy/mm/dd)还要新的才会被打包进新建的文件中!


# 将当前目录下所有.txt文件打包并压缩归档到文件this.tar.gz
tar czvf this.tar.gz ./*.txt 
# 将当前目录下的this.tar.gz中的文件解压到当前目录
tar xzvf this.tar.gz ./


# 将整个 /etc 目录下的文件全部打包成为 /tmp/etc.tar
tar -cvf /tmp/etc.tar /etc  # 仅打包,不压缩!
tar -zcvf /tmp/etc.tar.gz /etc  # 打包后,以 gzip 压缩
tar -jcvf /tmp/etc.tar.bz2 /etc  # 打包后,以 bzip2 压缩

# 解压文件
tar -xf  a.tar.gz   # 
tar -xf  a.tar.gz  -C /tmp  # 指定解包路径

grep:
格式:
grep [OPTIONS] PATTERN [FILE...]
grep [OPTIONS] [-e PATTERN]  [FILE...]
参数:
-c    --count   #计算符合样式的列数
-l    --file-with-matches   #列出文件内容符合指定的样式的文件名称。 
-v   --revert-match   #显示不包含匹配文本的所有行。
-i    --ignore-case   #忽略字符大小写的差别。
-o   # 只显示匹配到的关键字
-n  # 现实行号

-E    使用正则表达式

vi/vim

进入vi的命令 
vi filename :打开或新建文件,并将光标置于第一行首 
vi +n filename :打开文件,并将光标置于第n行首 
vi + filename :打开文件,并将光标置于最后一行首 
vi +/pattern filename:打开文件,并将光标置于第一个与pattern匹配的串处 
vi -r filename :在上次正用vi编辑时发生系统崩溃,恢复filename 
vi filename....filename :打开多个文件,依次进行编辑  


移动光标类命令
h :光标左移一个字符 
l :光标右移一个字符 
space:光标右移一个字符 
Backspace:光标左移一个字符 
k或Ctrl+p:光标上移一行 
j或Ctrl+n :光标下移一行 
Enter :光标下移一行 
w或W :光标右移一个字至字首 
b或B :光标左移一个字至字首 
e或E :光标右移一个字至字尾 
) :光标移至句尾 
( :光标移至句首 
}:光标移至段落开头 
{:光标移至段落结尾 
nG:光标移至第n行首 
n+:光标下移n行 
n-:光标上移n行 
n$:光标移至第n行尾 
H :光标移至屏幕顶行 
M :光标移至屏幕中间行 
L :光标移至屏幕最后行 
0:(注意是数字零)光标移至当前行首 
$:光标移至当前行尾 

屏幕翻滚类命令 
Ctrl+u:向文件首翻半屏 
Ctrl+d:向文件尾翻半屏 
Ctrl+f:向文件尾翻一屏 
Ctrl+b;向文件首翻一屏 
nz:将第n行滚至屏幕顶部,不指定n时将当前行滚至屏幕顶部。 

插入文本类命令 
i :在光标前 
I :在当前行首 
a:光标后 
A:在当前行尾 
o:在当前行之下新开一行 
O:在当前行之上新开一行 
r:替换当前字符 
R:替换当前字符及其后的字符,直至按ESC键 
s:从当前光标位置处开始,以输入的文本替代指定数目的字符 
S:删除指定数目的行,并以所输入文本代替之 
ncw或nCW:修改指定数目的字 
nCC:修改指定数目的行 

删除命令 
ndw或ndW:删除光标处开始及其后的n-1个字 
do:删至行首 
d$:删至行尾 
ndd:删除当前行及其后n-1行 
x或X:删除一个字符,x删除光标后的,而X删除光标前的 
Ctrl+u:删除输入方式下所输入的文本 

搜索及替换命令 
/pattern:从光标开始处向文件尾搜索pattern 
?pattern:从光标开始处向文件首搜索pattern 
n:在同一方向重复上一次搜索命令 
N:在反方向上重复上一次搜索命令 
:s/p1/p2/g:将当前行中所有p1均用p2替代 
:n1,n2s/p1/p2/g:将第n1至n2行中所有p1均用p2替代 
:g/p1/s//p2/g:将文件中所有p1均用p2替换 

选项设置 
all:列出所有选项设置情况 
term:设置终端类型 
ignorance:在搜索中忽略大小写 
list:显示制表位(Ctrl+I)和行尾标志($) 
number:显示行号 
report:显示由面向行的命令修改过的数目 
terse:显示简短的警告信息 
warn:在转到别的文件时若没保存当前文件则显示NO write信息 
nomagic:允许在搜索模式中,使用前面不带“\”的特殊字符 
nowrapscan:禁止vi在搜索到达文件两端时,又从另一端开始 
mesg:允许vi显示其他用户用write写到自己终端上的信息 

最后行方式命令 
:n1,n2 co n3:将n1行到n2行之间的内容拷贝到第n3行下 
:n1,n2 m n3:将n1行到n2行之间的内容移至到第n3行下 
:n1,n2 d :将n1行到n2行之间的内容删除 
:w :保存当前文件 
:e filename:打开文件filename进行编辑 
:x:保存当前文件并退出 
:q:退出vi 
:q!:不保存文件并退出vi 
:!command:执行shell命令command 
:n1,n2 w!command:将文件中n1行至n2行的内容作为command的输入并执行之,若不指定n1,n2,则表示将整个文件内容作为command的输入 
:r!command:将命令command的输出结果放到当前行 


 


寄存器操作 
"?nyy:将当前行及其下n行的内容保存到寄存器?中,其中?为一个字母,n为一个数字 
"?nyw:将当前行及其下n个字保存到寄存器?中,其中?为一个字母,n为一个数字 
"?nyl:将当前行及其下n个字符保存到寄存器?中,其中?为一个字母,n为一个数字 
"?p:取出寄存器?中的内容并将其放到光标位置处。这里?可以是一个字母,也可以是一个数字 
ndd:将当前行及其下共n行文本删除,并将所删内容放到1号删除寄存器中。 


 


 


一、插入文本 
i  在当前字符前插入文本   
I  在行首插入文本       
a  在当前字符后添加文本   
A  在行末添加文本      
o  在当前行后面插入一空行  
O  在当前行前面插入一空行  
R  以改写方式输入文本   


二、移动光标 
j或下箭头 向下移动一行
k或上箭头 向上移动一行
h或左箭头 左移一个字符
l或右箭头 右移一个字符
w     右移一个词
W     右移一个以空格分隔的词 
b     左移一个词
B     左移一个以空格分隔的词
0     移到行首
Ctrl-F  向前翻页
Ctrl-B  向后翻页
nG    到第n行
G     到最后一行


三、替换文本 
$     到行尾
(     到句子的开头 
)     到句子的末尾
{     到段落的开头
}     到段落的末尾


四、删除文本


r   替换一个字符
c   修改文本直到按下Esc健 
cw  修改下一个词
cnw  修改接下来的n个词


五、文本编辑 
yy 将一行文本移到缺省缓冲区中 
yn 将下一个词移到缺省缓冲区中
ynw 将后面的n个词移到缺省缓冲区中
p  如果缺省缓冲区中包含一行文本,则在当前    
  行后面插入一个空行井将缺省缓冲区中的声    
  容粘贴到这一行中;如果缺省缓冲区中包含    
  多个词,把这些词粘贴到光标的右边.      

P  如果缺省缓冲区中包含一行文本,则正当前     
  行前面插入一个空行井将缺省缓冲区中的内     
  容粘贴到这一行中;如果缺省缓冲区中包含    
   多个词,把这些词粘贴到光标的左边    



六、保存退出 
zz          保存并退出
:w filename      写入文件
:W          写入文件
:x          保存(如果当前文件修改过)并退出 
:q!          不保存文件,直接退出
:q          退出vi


vi编辑器的启动与退出
直接进入编辑环境 
$ vi


进入编辑环境并打开(新建)文件
$ vi myfile


退出vi编辑环境 
输入末行命令放弃对文件的修改,并退出编辑器
:q!


保存文件 
保存对vi编辑器中已打开文件的修改
:w


另存为文件
将vi编辑器中的内容另存为指定文件名
:w myfile


退出vi编辑器的多种方法
未修改退出
没有对vi编辑器中打开的文件进行修改,或已对修改进行了保存,直接退出vi编辑器
:q



对vi编辑器中的文件进行保存并退出vi编辑器
:wq


不保存退出
放弃对文件内容的修改,并退出vi编辑器
:q!


 


 


光标的移动和翻页操作
h向左移动光标 
l向右移动光标 
k向上移动光标 
j向下移动光标 
翻页Ctrl + f向前翻整页 
Ctrl + b向后翻整页 
Ctrl + u向前翻半页 
Ctrl + d向后翻半页


 


 


行内快速跳转 
^将光标快速跳转到本行的行首字符 
$将光标快速跳转到本行的行尾字符 
w将光标快速跳转到当前光标所在位置的后一个单词的首字母 
b将光标快速跳转到当前光标所在位置的前一个单词的首字母 
e将光标快速跳转到当前光标所在位置的后一个单词的尾字母 
文件内行间快速跳转


 


 


命令功能
:set nu 在编辑器中显示行号 
:set nonu 取消编辑器中的行号显示
1G跳转到文件的首行 
G跳转到文件的末尾行 
#G跳转到文件中的第#行


 


 


进入输入模式 
i在当前光标处进入插入状态 
a在当前光标后进入插入状态 
A将光标移动到当前行的行末,并进入插入状态 
o在当前行的下面插入新行,光标移动到新行的行首,进入插入状态 
O在当前行的上面插入新行,光标移动到新行的行首,进入插入状态 
cw删除当前光标到所在单词尾部的字符,并进入插入状态 
c$删除当前光标到行尾的字符,并进入插入状态 
c^命令删除当前光标之前(不包括光标上的字符)到行首的字符,并进入插入状态


 


 


输入模式的编辑键操作 
方向键进行上下左右方向的光标移动 
Home快速定位光标到行首
End快速定位光标到行尾
PageUp进行文本的向上翻页 
PageDown进行文本的向下翻页
Backspace删除光标左侧的字符
Del删除光标位置的字符


 


 


删除操作 
x删除光标处的单个字符 
dd删除光标所在行 
dw删除当前字符到单词尾(包括空格)的所有字符 
de删除当前字符到单词尾(不包括单词尾部的空格)的所有字符 
d$删除当前字符到行尾的所有字符 
d^删除当前字符到行首的所有字符 
J删除光标所在行行尾的换行符,相当于合并当前行和下一行的内容


 


替换操作


:s/old/new 将当前行中查找到的第一个字符“old” 串替换为“new”

:s/old/new/g 将当前行中查找到的所有字符串“old” 替换为“new”

:#,#s/old/new/g 在行号“#,#”范围内替换所有的字符串“old”为“new”

:%s/old/new/g 在整个文件范围内替换所有的字符串“old”为“new”

:s/old/new/c 在替换命令末尾加入c命令,将对每个替换动作提示用户进行确认

撤消操作 

u取消最近一次的操作,并恢复操作结果

可以多次使用u命令恢复已进行的多步操作 

U取消对当前行进行的所有操作 

Ctrl + r对使用u命令撤销的操作进行恢复  

复制与粘贴操作 

yy复制当前行整行的内容到vi缓冲区 

yw复制当前光标到单词尾字符的内容到vi缓冲区 

y$复制当前光标到行尾的内容到vi缓冲区 

y^复制当前光标到行首的内容到vi缓冲区

p读取vi缓冲区中的内容,并粘贴到光标当前的位置(不覆盖文件已有的内容) 

字符串查找操作 

/word从上而下在文件中查找字符串“word” 

?word 从下而上在文件中查找字符串“word”

n定位下一个匹配的被查找字符串 

N定位上一个匹配的被查找字符串

 

快捷键

ctrl-a : 把光标移动到命令行最开始的地方。 
ctrl-e : 把光标移动到命令行末尾。 
ctrl-u : 清除命令行中光标所处位置之前的所有字符。 
ctrl-k : 清除从提示符所在位置到行末尾之间的字符
ctrl-w : 清除左边的字段 
ctrl-y : 将会贴上被ctrl-u 或者 ctrl-k 或者 ctrl-w清除的部分。 
ctrl-r : 将自动在命令历史缓存中增量搜索后面入的字符。 
tab : 命令行自动补全-自动补全当前的命令行。如果启用自动补全脚本命令参数和选项也可以自动补齐。

ctrl-l : 清屏

 

以上就是常用的操作命令,有一部分没有记录,如要查看,请查看原网址http://www.cnblogs.com/resn/p/5800922.html

3、安装过程

1、在整个安装过程中主要流程是创建Hadoop用户--》赋予管理员权限--》更新apt--》安装vim--》安装SSH、配置SSH无密码登录(SSH clint已默认安装,只需安装SSH server)

--》安装java环境(该处用到vim命令,该篇上面已给出,请自行查找,推荐按照第二种安装JDK方式)--》安装Hadoop2(登录网址进行下载,推荐:下载一个Google浏览器,火狐网址太慢)--》Hadoop单机配置(非分布式,注:执行案例时,Hadoop默认不会覆盖结果文件,再次执行时,需要先将结果文件进行删除)--》Hadoop伪分布式配置(修改配置文件)

 

4、Hadoop集群基本理解(自行参考)

Hadoop两大核心组件

 

1、HDFS
     主要包含两大核心节点,由一个NameNode和若干个DataNode数据节点组成分布式文件系统

    NameNode就像一个目录服务器一样,我们应用来取数据的时候首先会去访问NameNode,去获得我们要获取的数据是被分别放到哪个服务器的DataNode上,取完了然后拼接起来就完成了整个分布式文件的访问

2、MapReduce

  MapReduce也包含两大核心组件一个是JobTracker另一个是TaskTracker

     JobTracker相当于一个作业管家,它会对你整个的MapReduce作业进行管理,他会把用户大的作业拆分成很多小的作业,分发到不同的机器上去执行,TaskTracker安装在了不同的机器上,每一个TaskTracker都负责监控和执行JobTracker分配给自己的小作业,JobTracker这个作业管家会协调不同机器上的TaskTracker去完成一个大的作业

还有一个组件是SecondaryNameNode,它是属于我们HDFS中NameNode的一个冷备份

 




 

 




 
 
 
 

 

大数据学习第一章

标签:密码   补齐   txt   目标   purge   下载地址   改名   .com   roo   

原文地址:https://www.cnblogs.com/Wxinchun/p/9021351.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!