脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado ...
分类：
其他好文 时间：
2021-06-20 18:41:23
阅读次数：
0
1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had ...
分类：
其他好文 时间：
2021-06-20 18:38:22
阅读次数：
0
idea很棒，实验结果也很棒 from： https://zhuanlan.zhihu.com/p/84614490 Transformer中的warm-up与LayerNorm 之前知乎上有一个问题：神经网络中 warmup 策略为什么有效；有什么理论解释么？在这个问题下，由于理论解释的缺乏，通过 ...
分类：
其他好文 时间：
2021-06-20 18:12:29
阅读次数：
0
1、CentOS7环境变量分系统环境变量和用户环境变量 系统环境变量：/etc/bashrc、/etc/profile、/etc/profile.d 推荐：/etc/profile.d 用户环境变量：~/.bash_profile、~/.bashrc 推荐：~/.bash_profile 2、查看环 ...
分类：
其他好文 时间：
2021-06-20 18:02:13
阅读次数：
0
面向对象（OOP）七大原则 设计模式必须遵守OOP原则 开闭原则：对扩展开放，对修改关闭 里氏替换原则：继承必须确保超类所拥有的性质在子类中仍然成立（尽量不重写父类的方法，不要破坏继承关系） 依赖倒置原则：要面向接口编程，不要面向实现编程（降低耦合性） 单一职责原则：控制类的粒度大小、将对象解耦、提 ...
分类：
其他好文 时间：
2021-06-20 17:59:28
阅读次数：
0
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
数据库 时间：
2021-06-19 19:26:27
阅读次数：
0
上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》，本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容，默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题，可以参考《 linu ...
分类：
数据库 时间：
2021-06-19 19:26:08
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqo ...
分类：
数据库 时间：
2021-06-19 19:24:57
阅读次数：
0
概览1.配置hive-site.xml2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 1.配置hive-site.xml利用Xshell工具连接虚拟机 进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件其中配置参考 ...
分类：
其他好文 时间：
2021-06-19 19:20:19
阅读次数：
0
访问控制模型 在项目中需要加入访问空值,于是对访问控制模型多了一些调研,介绍一些常见的访问控制模型. 访问控制模型三要素 主体（Subject) 指主动对其它实体施加动作的实体 客体 (Object) 是被动接受其他实体访问的实体 控制策略 (Policy) 为主体对客体的操作行为和约束条件 自主访 ...
分类：
系统相关 时间：
2021-06-19 19:10:56
阅读次数：
0
