1.sqoop2-shell进入shell2.showconnector显示支持的连接方式3.showlink-all查看已有连接的信息inkwithid1andname.168.1.188-1464317401319(Enabled:true,CreatedbyAdministratorat5/27/1610:50AM,UpdatedbyAdministratorat5/27/1610:50AM)UsingConnectorgeneric-jdbc-connector..
分类:
其他好文 时间:
2017-05-20 00:06:28
阅读次数:
239
1.sqoop2-shell进入shell2.showconnector显示支持的连接方式3.showlink-all查看已有连接的信息inkwithid1andname.168.1.188-1464317401319(Enabled:true,CreatedbyAdministratorat5/27/1610:50AM,UpdatedbyAdministratorat5/27/1610:50AM)UsingConnectorgeneric-jdbc-connector..
分类:
其他好文 时间:
2017-05-19 23:59:27
阅读次数:
971
离线计算 离线计算:批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术:Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、azkaban/oozie任务调度 流式计算 流式计算:数据实时产生、数据实时传输、数据实时计算、实时展示 代表 ...
分类:
其他好文 时间:
2017-05-15 23:52:38
阅读次数:
465
第一步。下载、解压、配置环境变量: 官网下载sqoop1.99.3 http://mirrors.cnnic.cn/apache/sqoop/1.99.3/ 将sqoop解压到目标文件夹,我的是 /home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200 配置环境变量 ...
分类:
系统相关 时间:
2017-05-11 22:35:24
阅读次数:
276
今天公司抽取了4千万的表大概十几G 用sqoop抽取是30--40分钟 开了两个map。模型是oracle hdfs(hive)。以前只抽过几十万级别,所以千万级别感觉还是spilt做好切分和定好切分字段。尽量避免木桶效应。才能把sqoop时间缩到最短。另外。hdfs load到hive 加了ove ...
分类:
其他好文 时间:
2017-05-10 01:09:54
阅读次数:
283
1、用sqoop 从mysql数据库导入数据到hbase时: 可以用 sqoop list-databases --connect jdbc:mysql://192.168.1.152:3306/ --username sqoop --password sqoop 测试是否可以连接到mysql数据库 ...
分类:
其他好文 时间:
2017-05-09 13:48:47
阅读次数:
163
使用Hadoop来分析和处理数据需要将数据加载到集群中并且将它和企业生产数据库中的其他数据进行结合处理。从生产系统加载大块数据到Hadoop中或者从大型集群的map reduce应用中获得数据是个挑战。用户必须意识到确保数据一致性,消耗生产系统资源,供应下游管道的数据预处理这些细节。用脚本来转化数据 ...
分类:
Web程序 时间:
2017-05-05 01:01:44
阅读次数:
235
写在最前:转行大数据领域,没报班,自学试试,能坚持下来以后就好好做这行,不能就……!准备从现有这套it18的视屏残本开始……自学是痛苦的,发博客和大家分享下学习成果——也是监督自己,督促自己坚持学下去。 (教学视屏是it18做活动送的,视屏不是很全,课堂笔记和源码等课堂相关资料也未放出,但徐培成老师 ...
分类:
其他好文 时间:
2017-04-30 19:56:26
阅读次数:
210
写在最前:转行大数据领域,没报班,自学试试,能坚持下来以后就好好做这行,不能就……!准备从现有这套it18的视屏残本开始……自学是痛苦的,发博客和大家分享下学习成果——也是监督自己,督促自己坚持学下去。 (教学视屏是it18做活动送的,视屏不是很全,课堂笔记和源码等课堂相关资料也未放出,但徐培成老师 ...
分类:
其他好文 时间:
2017-04-29 18:53:54
阅读次数:
137
spark笔记big dataspark 比较Hadoop生态圈:MapReduce Hive Storm Yarn Sqoop Flume HDFSSpark它会代替Hadoop:不能,可能会替代MR炒作 社区比较完善hadoop3.0作者:Doug cutting(hadoop以后也要走内存)S... ...
分类:
其他好文 时间:
2017-04-27 17:48:36
阅读次数:
242