码迷,mamicode.com
首页 > Web开发 > 详细

关于centos环境下Flume+hadoop+hive常用命令

时间:2015-04-15 21:22:43      阅读:190      评论:0      收藏:0      [点我收藏+]

标签:

centos命令

进入root用户
su root

1、 复制

2、解压tar.gz
tar zxvf xxx.tar.gz

3、文件操作

-创建文件夹
mkdir mkdir /usr/

mkdir 文件名

-移动文件
mv [options] 源文件或目录 目标文件或目录

—删除一个文件
rm

—删除一个文件夹
rm /home/test
rm -r /home/test

—文件赋权限
cmod 1.txt

4、修改文件夹权限
chown -R Hadoop.Hadoop /
增加可执行读写权限
chmod 777 ./jdk1.8.0_40/*.*

5、查看端口占用

netstat -lnp|grep 8000
查看进程详情
ps 4848
杀掉该进程
kill -9 4848 
 
6、通过vi 编辑清楚所有
.,$d
 
Hadoop相关操作
 1)启动相关 
bin/hdfs namenode -format 

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start  datanode 

sbin/hadoop-daemon.sh start secondarynamenode 

2)创建文件夹
./bin/hadoop dfs -mkdir /flume_logs
 
splunk的启动
 bin/splunk start 
 
Flume的启动
bin/flume-ng agent -n agent1 -c conf -f /home/Hadoop/flume/apache-flume-1.5.2-bin/conf/f3.conf  -Dflume.root.logger=DEBUG,console   
 
MySql安装
 1、查找是否之前装过mysql
rpm -qa|grep -i mysql
2、删除查询到的包
rpm -ev 包
yum -y remove
3、删除老版本mysql的开发头文件和库
whereis mysql 
rm -f /etc/my.cnf (删掉)
rm -f 查找出来的路径
4、安装mysql
1)安装前准备:两个rpm包
2)执行安装,先安装服务器端软件,再安装客户端软件
rpm -ivh MySQL-server-5.6.24-1.linux_glibc2.5.i386.rpm
rpm -ivh MySQL-client-5.6.24-1.linux_glibc2.5.i386.rpm
 
Hive操作
1、hive配置
  <?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://10.211.55.3:3306/hive?characterEncoding=UTF-8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hivedb</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hivedb</value>
    </property>
     <property>
        <name>hive.metastore.local</name>
        <value>false</value>
   </property>
    <property>
          <name>hive.metastore.uris</name>  
          <value>thrift://127.0.0.1:9083</value>  
    </property>  
</configuration>
2、需要先启动metastore和hiveserver服务的

  bin/hive --service metastore &

  bin/hive --service hiveserver &

3、启动hive

hive

技术分享
 
 
 
 
 
 
 

 

关于centos环境下Flume+hadoop+hive常用命令

标签:

原文地址:http://www.cnblogs.com/richelle009/p/4430095.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!