ambari搭建hadoop大数据平台系列3-搭建本地仓库1.官方参考https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/setting_up_a_local_repository_with_no_internet_access.html2.本地实例10.1.11.32localRepository-11-32下载路径：记得下..
分类：
其他好文 时间：
2017-04-05 00:01:36
阅读次数：
255
ambari搭建hadoop大数据平台系列4-配置ambari-server,分为三部分：官网:https://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-installation/content/download_the_ambari_repo_lnx7.html安装ambari-server配置ambari-server命令;ambari-serversetup启动ambari-..
分类：
其他好文 时间：
2017-04-05 00:00:50
阅读次数：
227
ambari搭建hadoop大数据平台系列6-验证测试web检查组件服务是否正常启动shell端检查服务是否健康hdfsfsck/-files-blocks-locationsjavaapi/python检查服务是否正常
分类：
其他好文 时间：
2017-04-05 00:00:04
阅读次数：
281
最近要为第三方搭建一套大数据平台，中间先进行了虚拟机版本，测试通过后，进行了物理机版本的生产环境，网上关于ambari的文章并不多，但好在ambari官方文档质量略高，社区比较活跃，便整理该系列的文档，将埋掉的坑抛出来，帮助小伙伴们更加快速的搭建自己的hadoop平台。分三..
分类：
其他好文 时间：
2017-04-04 17:54:14
阅读次数：
219
本案例搭建的环境介绍如下：Ambari2.4.2+HDP2.5（hadoop2.7；hive1.2；Tez；Spark2.0）+jdk1.8.25+centos7.0,这里首先要关注些注意事项，至于为什么会一一说明。第一部分：注意事项：版本必须低于7.2selinux必须关闭firewalld必须关闭127.0.0.1hosts该条记录删除本地仓库必须搭..
分类：
其他好文 时间：
2017-04-04 17:53:04
阅读次数：
222
淘宝网拥有国内最具商业价值的海量数据。截至当前(2011年8月)，每天有超过30亿的店铺、商品浏览记录，10亿在线商品数，上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值，进而帮助淘宝、商家进行企业的数据化运营，帮助消费者进行理性的购物决策，是淘宝数据平台与产品部的使命。 为此，我 ...
分类：
其他好文 时间：
2017-03-31 10:09:20
阅读次数：
276
环境准备 三台服务器（由于我是学习环境，所以三台服务器不属于同一内网），配置如下： 公网ip 119.29.186.83 内网ip10.104.157.113 公网ip 119.29.250.47 内网ip 10.104.9.181 公网ip 119.29.251.99 内网ip 10.104.19 ...
分类：
其他好文 时间：
2017-03-30 18:53:16
阅读次数：
111
1、问题描述 单纯的大数据平台无法满足行业用户需要，无法在同类产品中凸显竞争力。 需要抽取业务共性，帮助用户构建满足需要的业务。 发展方向：数据集成+分析展现 2、业务痛点 痛点：对所有文本皆有实时查询需求难点：传统SQL使用WHERE子句匹配LIKE关键词，在庞大的数据字段中搜索某些想要的字，需遍 ...
分类：
其他好文 时间：
2017-03-30 10:55:02
阅读次数：
178
看了好几天redis了，公司从刚开始的redisluster变成了redis主从，原因是rediscluster不可控，其实是我水平没到，万一出点啥事，我这个负责人都解决不了，那就完了！大数据平台下，如果缓存崩了，所有操作提前全都干到数据库，很能造成数据库的崩溃，所以改用简单的主从复制模式，这样即可 ...
分类：
编程语言 时间：
2017-03-27 15:28:14
阅读次数：
479
