Hadoop之——有趣问答（一）

时间：2015-05-27 01:02:32 阅读：125 评论：0 收藏：0 [点我收藏+]

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46039301

问：在eclipse中的写的代码如何提交作业到JobTracker中的哪？

答：(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法
        connect();
       info = jobClient.submitJobInternal(conf);
   (2)在connect()方法中，实际上创建了一个JobClient对象。
       在调用该对象的构造方法时，获得了JobTracker的客户端代理对象JobSubmissionProtocol。
       JobSubmissionProtocol的实现类是JobTracker。
   (3)在jobClient.submitJobInternal(conf)方法中，调用了
       JobSubmissionProtocol.submitJob(...),
       即执行的是JobTracker.submitJob(...)。
1.Hadoop的数据类型要求必须实现Writable接口。
2.java基本类型与Hadoop常见基本类型的对照
   Long   LongWritable
   Integer   IntWritable
   Boolean   BooleanWritable
   String   Text
   问：java类型如何转化为hadoop基本类型？
   答：调用hadoop类型的构造方法，或者调用set()方法。
       new LongWritable(123L);
   问：hadoop基本类型如何转化为java类型？
   答：对于Text，需要调用toString()方法，其他类型调用get()方法。

Hadoop之——有趣问答（一）

标签：hadoop mapreduce hdfs 合并

原文地址：http://blog.csdn.net/l1028386804/article/details/46039301

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行