码迷,mamicode.com
首页 >  
搜索关键字:sqoop 大数据 hadoop 数据预处理 sqoop2    ( 25615个结果
hadoop-2.2.0编译
由于从官网下载的hadoop中依赖包native hadoop library是基于32位版本的,在64位机器上安装,会出现以下错误:2014-05-30 19:47:49,703 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类:其他好文   时间:2014-06-06 23:38:29    阅读次数:494
Hadoop 组成
这里介绍一下hadoop的组成, hadoop主要由两部分组成,,一个是hdfs,还有一个是mapreduce这两个部分在hadoop 2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本号中有了一个新名字yarn.dfs 主要用来启动 nam...
分类:其他好文   时间:2014-06-06 19:27:24    阅读次数:322
Windows性能监视器
Windows性能监视器前端时间在做动态目标监控,应用程序需要考虑大数据量和多用户并发的操作,系统的性能是解决方案实施性的重要度量。这里简单的记录下Windows中性能监视查看和简单分析。一般操作系统性能主要涉及到的问题主要有:处理器使用情况、内存占有量、磁盘I/0操作以及网络流量等。查看Windo...
分类:Windows程序   时间:2014-06-06 19:10:32    阅读次数:423
Ubuntu12.04-x64编译Hadoop2.2.0和安装Hadoop2.2.0集群
Ubuntu12.04-x64编译安装Hadoop2.2.0集群、Hadoop-Eclipse插件
分类:其他好文   时间:2014-06-06 14:08:15    阅读次数:421
机器学习实战:数据预处理之独热编码(One-Hot Encoding)
问题由来在很多机器学习任务中,特征并不总是连续值,而有可能是分类值。例如,考虑一下的三个特征:["male","female"]["from Europe","from US","from Asia"]["uses Firefox","uses Chrome","uses Safari","uses...
分类:其他好文   时间:2014-06-04 17:03:02    阅读次数:344
Hadoop常见配置
core-site.xml:fs.default.name:hdfs://hadoop:9000fs.tmp.dir:/usr/local/hadoop/tmphdfs-site.xml:dfs.name.dir:dfs.name.edits.dir:eidtsdfs.replication
分类:其他好文   时间:2014-06-04 14:40:40    阅读次数:254
[WP8.1UI控件编程]Windows Phone大数据量网络图片列表的异步加载和内存优化
11.2.4 大数据量网络图片列表的异步加载和内存优化 虚拟化技术可以让Windows Phone上的大数据量列表不必担心会一次性加载所有的数据,保证了UI的流程性。对于虚拟化的技术,我们不仅仅只是依赖其来给列表加载数据,还可以利用虚拟化的特性去做更多的事情。虚拟化技术有一个很重要的特性就是,它可以...
分类:Windows程序   时间:2014-06-02 19:51:35    阅读次数:266
拨云见日,任重道远 ——第六届云计算大会感悟
在本月20—23日我代表山东大学(威海)参加了在北京国家会议中心隆重召开的第六届云计算大会。在本次汇集了国内外众多专家学者的高端峰会中感触良多,也收获颇丰!   当下,在IT学术界和产业界以及广大普通用户的共同努力下,云计算在中国已经有了显著的进步和提高,业内对云计算的认识更加的准确到位,云计算的运用规模也在不断的加大和扩展,专用云也在各个领域得到广泛应用和拓展。与其相辅相成的大数据也带给了大...
分类:其他好文   时间:2014-06-02 15:33:28    阅读次数:234
Hadoop Hive与Hbase关系 整合
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库 1. 基于Hadoop+Hive架构对海量数据进行查询:http://blog.csdn.net/kunshan_shenbin/article/details/7105319 2. HBase...
分类:其他好文   时间:2014-06-02 10:33:40    阅读次数:277
什么是互联网思维?给你最全面的解释
http://zhangsa.net/baike/hulianwangsiwei.html互联网思维精髓大总结:1、用户思维;2、简约思维;3、极致思维;4、迭代思维;5、流量思维;6、社会化思维;7、大数据思维;8、平台思维;9、跨界思维。课前秀:三个段子第一个段子:一个毫无餐饮行业经验的人开了一...
分类:其他好文   时间:2014-06-02 07:55:24    阅读次数:278
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!