首先要配置spark环境：包括linux系统的安装，java，ssh，Hadoop，Scala，spark的安装与环境变量设置。 linux虚拟机、ssh、Hadoop已经安装完毕，Scala，spark还未安装 然后进行java的学习，在以前的学习中java已经学习了一部分，这次还需要继续进行相应 ...
分类：
其他好文 时间：
2020-01-27 22:19:21
阅读次数：
85
一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：Ubuntu16.04； Spark 版本：2.1.0； Hadoop 版 ...
分类：
其他好文 时间：
2020-01-24 17:13:10
阅读次数：
113
有可能我们在做了以下误操作，导致Linux系统无法启动： 1）. 磁盘损坏或虚拟机磁盘被我们删除了，而fstab文件没有更新； 2）. 由于误操作或其它原因使动态库错误。 1. 首先准备好系统安装盘，使用安装盘启动： 选择第3项：Rescue installed system 2. 在此过程总可能需 ...
分类：
系统相关 时间：
2020-01-17 18:50:13
阅读次数：
321
系统优化 关闭系统安全服务 iptables Centos6防火墙 临时关闭 永久关闭 firewalled Centos7防火墙 临时关闭 永久关闭 SELinux安全服务 临时关闭 永久关闭 替换第7行的 为`disabled` 或者直接输入命令执行 字符集优化 临时调整 LANG="en_US ...
分类：
系统相关 时间：
2020-01-15 10:08:19
阅读次数：
94
通常正常情况下安装完linux虚拟机，只需要使用桥接并修改配置文件/etc/sysconfig/network-scripts/ifcfg-eth0，将如下参数值改为如下： ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=dhcp 然后重启网络服务即可：service ...
分类：
系统相关 时间：
2020-01-13 11:21:33
阅读次数：
127
1.FTP在主机和虚拟机之间传文件。 这里需要注意的是，Linux系统对文件访问权限有着严格的规定，如果目录和文件的访问权限没有授权给某个用户，那么，该用户是无法访问这些目录和文件的。所以，当使用FileZilla连接Linux虚拟机时，如果采用用户名hadoop连接，那么，就只能把文件上传到Ubu ...
分类：
其他好文 时间：
2020-01-12 21:59:10
阅读次数：
103
系统优化 关闭系统安全服务 iptables --Centos6防火墙 临时关闭 /etc/init.d/iptables stop /etc/init.d/iptables status services stop iptables 永久关闭 chkconfig iptables off chkc ...
分类：
系统相关 时间：
2020-01-11 20:47:11
阅读次数：
144
Linux基础系统优化 引言没有，只有一张图。 Linux的网络功能相当强悍，一时之间我们无法了解所有的网络命令，在配置服务器基础环境时，先了解下网络参数设定命令。 ifconfig 查询、设置网卡和ip等参数 ifup,ifdown 脚本命令，更简单的方式启动关闭网络 ip 符合指令，直接修改上述 ...
分类：
系统相关 时间：
2020-01-08 21:25:48
阅读次数：
154
docker跨平台 1. 在linux上运行windows镜像 讨论见 "这里" ,据说除了一些在linux下运行虚拟机，然后在虚拟机里装windows之外没有什么办法， "这里" 有个镜像据说可以，我没有试过 2. 在windows上运行windows镜像 这个已经有windows官方支持了 3. ...
分类：
其他好文 时间：
2020-01-06 12:48:16
阅读次数：
84
1.Kali联网 1.1 修改配置文件, vim /etc/network/interfaces auto lo iface lo inet loopback # 配置第一个以太网接口 auto eth0 # dhcp表示动态地设置本机的IP地址 iface eth0 inet dhcp ...
分类：
系统相关 时间：
2020-01-04 14:18:44
阅读次数：
78
