码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop操作

时间:2017-12-21 22:59:38      阅读:146      评论:0      收藏:0      [点我收藏+]

标签:copy   field   框架   cal   stl   data   div   问题   复制文件   

1.将文件从本地放到hdfs上

scp /Documents/nearwest.csv cjj@ 10.10.10.140:Documents   //将文件放到集群centos系统上,scp(secure copy),linux下远程复制文件命令

//hadoop是分布式计算框架,有对hdfs的操作接口,所以通过hadoop命令来操作hdfs
hadoop fs -put Documents/nearwest.csv /user/cjj 
//将文件放到对应的hdfs文件系统上,/user/cjj是centos用户对应的文件,两者权限应该是对应的,至于hdfs上其他用户的文件夹,我们可以对其写入,但是可能不能更改(不太了解),说到底还是权限问题
hadoop fs -put
hadoop fs -mkdir

2.hive中创建table

//hive中创建table
create table if not exists nearwestlake_2
(
  vehicle_id varchar(30),
  longi varchar(30),
  lati varchar(30),
  state varchar(30),
  speed_time string
         ) 
  row format delimited fields terminated by ‘,‘
//hive默认的table分隔符是tab,通过最后一句自定义

3.将hdfs表导入hive

//加载数据
load data inpath "hdfs上文件路径" into table 表名
也可以从本地系统文件导入
load data local inpath "  文件" into table 表名

hadoop操作

标签:copy   field   框架   cal   stl   data   div   问题   复制文件   

原文地址:http://www.cnblogs.com/caojunjie/p/8082564.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!