一、常用命令 1、关闭所有java进程命令： ps -ef | grep java | grep -v grep | awk '{print $2}' | xargs kill -9 2、批量文本操作 替换字符串：sed -i 's/原字符串/新字符串/g' /home/1.txt 删除字符串：se ...
分类：
系统相关 时间：
2021-06-20 18:10:37
阅读次数：
0
需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 ...
分类：
Web程序 时间：
2021-06-20 17:55:46
阅读次数：
0
一，apt方式安装php 说明：用apt方式安装适用于本地开发环境，如果是线上生产环境，建议下载软件后编译安装 root@lhdpc:~# apt-get install php 查看结果: root@lhdpc:~# php -v PHP 7.4.16 (cli) (built: Mar 23 2 ...
分类：
数据库 时间：
2021-06-20 17:46:30
阅读次数：
0
启动 docker 服务 systemctl start docker 查看docker服务状态 systemctl status docker 列出当前所有正在运行的容器 docker ps -a CONTAINER ID 7bb8b4a58c79 为 ID号 启动容器，命令：docker sta ...
分类：
系统相关 时间：
2021-06-20 17:44:18
阅读次数：
0
问题描述： 阿里云linux安装完成redis，并且已经运行，检测6379端口，显示redis-server正在监听，如图 查看阿里云端口配置规则，6379端口对外开放 解决方法： 查看阿里云端口开放规则： 上图所示，此时redis只监听本地的127.0.0.1的6379端口，外网传入的请求是无法接 ...
分类：
其他好文 时间：
2021-06-20 17:39:49
阅读次数：
0
2021-06-19 关键字： 1、shell中的文件描述符 与Linux文件系统一样，shell中也有文件描述符的概念，且每一个shell进程中都默认有三个已打开的文件描述符。它们分别代表“标准输入”、“标准输出”与“错误输出”，对应的文件描述符号分别为 0、1、2。描述符号3及以后的正整数值可自 ...
分类：
系统相关 时间：
2021-06-19 19:36:57
阅读次数：
0
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
数据库 时间：
2021-06-19 19:26:27
阅读次数：
0
上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》，本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容，默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题，可以参考《 linu ...
分类：
数据库 时间：
2021-06-19 19:26:08
阅读次数：
0
Hive列转行： select school,concat_ws('|',collect_set(name)) as name from tmp_01 group by school; 注意：collect_set 有重复的会去重， collect_list 有重复的不去重 hive行转列： sel ...
分类：
其他好文 时间：
2021-06-19 19:05:46
阅读次数：
0
一、如何执行 ./adapter.sh 20211121 'importdata.sh|!DATE' adapter.sh：适配器脚本 20201121：适配器脚本参数1，执行日期 'importdata.sh|!DATE'：适配器脚本参数2，具体需要执行的脚本和参数，以|分隔，多个参数也以|分隔 ...
分类：
系统相关 时间：
2021-06-19 18:59:41
阅读次数：
0
