Druid入门（1）—— 快速入门实时分析利器-Druid_0.17

时间：2020-02-10 10:04:58 阅读：161 评论：0 收藏：0 [点我收藏+]

标签：数据下载 run time 服务 oca 计算分析 lse 脚本

一、安装准备

本次安装的版本是截止2020.1.30最新的版本0.17.0

软件要求

需要Java 8（8u92 +）以上的版本，否则会有问题
Linux，Mac OS X或其他类似Unix的操作系统（不支持Windows）

硬件要求

Druid包括一组参考配置和用于单机部署的启动脚本：

nano-quickstart
micro-quickstart
small
medium
large
xlarge

单服务器参考配置

Nano-Quickstart：1个CPU，4GB RAM

启动命令： bin/start-nano-quickstart
配置目录： conf/druid/single-server/nano-quickstart

微型快速入门：4个CPU，16GB RAM

启动命令： bin/start-micro-quickstart
配置目录： conf/druid/single-server/micro-quickstart

小型：8 CPU，64GB RAM（?i3.2xlarge）

启动命令： bin/start-small
配置目录： conf/druid/single-server/small

中：16 CPU，128GB RAM（?i3.4xlarge）

启动命令： bin/start-medium
配置目录： conf/druid/single-server/medium

大型：32 CPU，256GB RAM（?i3.8xlarge）

启动命令： bin/start-large
配置目录： conf/druid/single-server/large

大型X：64 CPU，512GB RAM（?i3.16xlarge）

启动命令： bin/start-xlarge
配置目录： conf/druid/single-server/xlarge

我们这里做测试使用选择最低配置即可nano-quickstart

二、下载安装包

访问官网：

http://druid.io/现在也会跳转https://druid.apache.org/

或者直接访问https://druid.apache.org/

技术图片

点击download进入下载页面：

技术图片

选择最新版本: apache-druid-0.17.0-bin.tar.gz 进行下载

200多M

技术图片

也可以选择下载源码包用maven进行编译

三、安装

上传安装包

在终端中运行以下命令来安装Druid：

tar -xzf apache-druid-0.17.0-bin.tar.gz
cd apache-druid-0.17.0

安装包里有这几个目录：

技术图片

LICENSE和NOTICE文件
bin/* -脚本
conf/* -单服务器和集群设置的示例配置
extensions/* -扩展
hadoop-dependencies/* -Druid Hadoop依赖
lib/* -Druid库
quickstart/* -快速入门教程的配置文件，样本数据和其他文件

配置文件

#进入我们要启动的配置文件位置：
cd conf/druid/single-server/nano-quickstart/

技术图片

_common 公共配置

技术图片

是druid一些基本的配置，比如元数据库地址各种路径等等

其他的是各个节点的配置

比较类似，比如broker

cd broker/

技术图片

jvm配置

main配置

runtime运行时相关的配置

回到主目录

启动的conf在

cd conf/supervise/single-server

技术图片

里面是不同配置启动不同的脚本

四、启动

回到主目录

./bin/start-nano-quickstart

启动成功：

技术图片

访问

localhost:8888

看到管理页面

技术图片

如果要修改端口，需要修改配置的端口和主目录下的

vi bin/verify-default-ports

五、加载数据

Druid提供了一个示例数据文件，其中包含2015年9月12日发生的Wiki的示例数据。

此样本数据位于quickstart/tutorial/wikiticker-2015-09-12-sampled.json.gz

示例数据大概是这样：

{
  "timestamp":"2015-09-12T20:03:45.018Z",
  "channel":"#en.wikipedia",
  "namespace":"Main",
  "page":"Spider-Man's powers and equipment",
  "user":"foobar",
  "comment":"/* Artificial web-shooters */",
  "cityName":"New York",
  "regionName":"New York",
  "regionIsoCode":"NY",
  "countryName":"United States",
  "countryIsoCode":"US",
  "isAnonymous":false,
  "isNew":false,
  "isMinor":false,
  "isRobot":false,
  "isUnpatrolled":false,
  "added":99,
  "delta":99,
  "deleted":0,
}

Druid加载数据分为以下几种：