在centOS系统中,我添加了一个用户,但是在我执行su时,终端告诉我以上的错误,下面是我的解决过程:首先切换到root用户:给
etc/hosts读写的权限:使用vi功能打开sudoers文件,在root ALL=(ALL) ALL后面加入本用户的信息:hadoop ALL=(ALL)
ALL重新...
分类:
其他好文 时间:
2014-05-21 23:35:26
阅读次数:
347
此架构由8台PC 、2台防火墙、2台24口三层交换机组成,注意点:1)Load
Balance:Haprxoy+keepalived
实现高可用。2)web:Nginx+php-fpm3)DB:mysql5主从+Mongodb副本+Memcached4)IMG:Varnish+Nginx+NFS网卡...
分类:
其他好文 时间:
2014-05-21 22:50:12
阅读次数:
305
Hadoop技术内幕中指出Top
K算法有两步,一是统计词频,二是找出词频最高的前K个词。在网上找了很多MapReduce的Top
K案例,这些案例都只有排序功能,所以自己写了个案例。这个案例分两个步骤,第一个是就是wordCount案例,二就是排序功能。一,统计词频 1 package
TopK;...
分类:
其他好文 时间:
2014-05-21 22:29:14
阅读次数:
599
代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发,后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发,支付宝流计算与分布式搜索系统的设计和研发,后成为支付宝海量计算体系架构师兼支付宝三代架构成员。现就转战于阿里巴巴集团-CDO-海量数据部门,负责创新性项目的研究和跟进,目前专注于Google第二代数据库产品MegaStore的研究和在阿里的落地。
在...
分类:
数据库 时间:
2014-05-21 17:04:40
阅读次数:
393
使用Hadoop已经有一段时间了,从开始的迷茫,到各种的尝试,到现在组合应用….慢慢地涉及到数据处理的事情,已经离不开hadoop了。Hadoop在大数据领域的成功,更引发了它本身的加速发展。现在Hadoop家族产品,已经达到20个了之多。
有必要对自己的知识做一个整理了,把产品和技术都串起来。不仅能加深印象,更可以对以后的技术方向,技术选型做好基础准备。
一句话产品介绍:...
分类:
其他好文 时间:
2014-05-21 16:37:02
阅读次数:
363
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
课程讲师:迪伦
课程分类:Java
适合人群:高级
课时数量:96课时
用到技术:MapReduce、HDFS、Map-Reduce、Hive、Sqoop
涉及项目:Greenplum Hadoop大数据分析平台
更新程度:完毕
对这个课程有兴趣的朋友可以加我的QQ2059055336和...
分类:
其他好文 时间:
2014-05-21 13:23:22
阅读次数:
363
1 LVS简介
Linux VirtualServer是一个高扩展和高可用性服务器,在一个真正服务器的集群中构建而成,包含Linux操作系统中的负载均衡。 服务器的架构对于终端用户而言是完全透明的,在与用户交互过程中,用户感觉它好像是一台高性能的服务器。它的拓扑机构如下所示。
真正的服务器和负载均衡可能是通过要么高速LAN网或者通过分散的WAN网进行...
分类:
系统相关 时间:
2014-05-21 09:52:44
阅读次数:
394
目的
此文档描述了如何为Hadoop配置和管理 Service Level Authorization 。
预备条件
确保已经安装Hadoop,配置和设置都正确了。更多细节,请看:* 首次使用者的单节点设置 * 大的、分布式集群的集群设置。
概览
Service Level Authorization 是一个必要的初始认证机制,其确保客户端连接到一个有必要的、预配置的、权...
分类:
其他好文 时间:
2014-05-21 08:13:32
阅读次数:
227
A机器ssh登录B机器无需输入密码;当应用有服务器很多的时候输入密码很浪费时间
在Hadoop安装时要求免密码登录;一、创建在用户的home目录下创建 .ssh文件夹mkdir .ssh可以隐藏文件夹或文件内容ls -a二、
生成证书证书分为:dsa和rsassh-keygen -t rsa -P ...
分类:
系统相关 时间:
2014-05-21 06:01:09
阅读次数:
505
主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类:
其他好文 时间:
2014-05-21 05:55:45
阅读次数:
280