【特别声明:本文基于Tools and Services I Use to Run My SaaS进行修改。】 软件SaaS化由于需要考量架构的各个方面,所以需要的技术栈非常全面。 以一个客户管理SaaS应用为例,可能涉及的技术栈包括: 开发 开发就是把系统做出来的意思。开发涉及编码、项目管理、测试 ...
分类:
其他好文 时间:
2020-12-11 12:06:48
阅读次数:
4
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类:
其他好文 时间:
2020-12-10 11:39:01
阅读次数:
12
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计1.准备电子书或其它大的文本文 ...
分类:
其他好文 时间:
2020-12-10 11:24:10
阅读次数:
6
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类:
其他好文 时间:
2020-12-10 10:59:18
阅读次数:
4
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类:
其他好文 时间:
2020-12-10 10:55:10
阅读次数:
3
使用idea操作HDFS、创建文件、上传文件、获取块信息、下载文件 1.搭建maven工程 2.pom依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupI ...
分类:
其他好文 时间:
2020-12-09 12:24:14
阅读次数:
6
1.新增host配置到/etc/ansible/hosts文件中 [docker] 192.168.43.95 2.配置无密码登录 # 配置ssh,默认rsa加密,保存目录(公钥)~/.ssh/id_rsa.pub ssh-keygen -t rsa # 配置无密码登陆,这里需要分别4次发送至4台服 ...
分类:
其他好文 时间:
2020-12-09 12:17:15
阅读次数:
4
一、hive用本地文件进行词频统计 1.准备本地txt文件 mkdir wc cd wc echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop,启动hive start-all.sh hive 3.创建数据库,创建文本 ...
分类:
其他好文 时间:
2020-12-09 12:15:14
阅读次数:
5
[root@node1 tasks]# cat main.yml name: 拷贝JKD到目标服务器 unarchive: src={{ jdk_pkg }} dest={{ jdk_dir }} mode=755 name: 添加环境变量 blockinfile: dest: /etc/profi ...
分类:
其他好文 时间:
2020-12-09 12:12:06
阅读次数:
6
前言 在本机模拟器的ubuntu18版本上进行的部署测试,参考的官方文档: hadoop: 链接地址 hive: 链接地址 使用的版本: hadoop: 3.2.1 hive: 3.1.2 全程是使用root账号进行的配置。 hadoop安装配置 hadoop使用的是虚拟集群,即单机模拟集群,dat ...
分类:
其他好文 时间:
2020-12-05 10:52:38
阅读次数:
7