目录 一、Kafka的架构 二、Topics和Partition 三、Producer消息路由 四、Consumer Group 五、Push vs. Pull 六、Kafka delivery guarantee 正文 回到顶部 一、Kafka的架构 如上图所示，一个典型的Kafka集群中包含若干 ...
分类：
其他好文 时间：
2021-03-17 14:25:54
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
以表的操作和单条记录的增删改查为基础。 批量操作，需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie ...
分类：
编程语言 时间：
2021-03-15 11:32:26
阅读次数：
0
自定义方法： 文件 >首选项 >键盘快捷方式 批量缩进 Ctrl + [ //向左缩进 Ctrl + ] //向右缩进 转变大写/小写（自定义的） Ctrl + 7 //大写 Ctrl + 8 //小写 拆分编辑器 Ctrl + \ ...
分类：
其他好文 时间：
2021-03-15 10:54:41
阅读次数：
0
_bulk api POST /_bulk 批量操作 POST _bulk { "index" : { "_index" : "movies", "_id" : "1" } } { "year" : 1994 } { "delete" : { "_index" : "movies", "_id" : ...
分类：
其他好文 时间：
2021-03-11 20:50:46
阅读次数：
0
1、补全代码：alt + / 2、快速修复：ctrl + 1 3、批量导包：ctrl + shift + o 4、单行注释：ctrl + / 5、多行注释：ctrl + shift + / 6、取消多行注释：ctrl + shift + \ 7、复制指定行的代码：ctrl + alt + down ...
分类：
系统相关 时间：
2021-03-10 13:08:55
阅读次数：
0
1.迁移数据库 生成迁移文件python manage.py makemigrations 执行迁移python manage.py migrate2.命令行启动项目(可自行添加端口号) python manage.py runserver3.批量导入所需库，前提是github主写好了文件 pip ...
分类：
其他好文 时间：
2021-03-09 13:18:13
阅读次数：
0
SSH部分 操作主机创建密钥 [root@localhost ~]# ssh-keygen [root@localhost ~]# ls .ssh/ id_rsa id_rsa.pub 分发公钥到被监控端 [root@localhost .ssh]# ssh-copy-id -i id_rsa.pu ...
分类：
其他好文 时间：
2021-03-06 15:08:11
阅读次数：
0
梯度下降： θ 不一定可求。找最低点：每走一步求偏导调整方向。 第一步： 获得目标函数 第二步：交给机器一堆数据，告诉它想要的最终结果，告诉他什么样的算法。 第三步： 如何优化。迭代10000次。完成迭代 随机点，更新参数。 计算损失函数，每个样本都要参数计算。 数据存在： 离群点，噪音点。 小批量 ...
分类：
其他好文 时间：
2021-03-06 14:41:58
阅读次数：
0
拷贝包到自定义文件夹 下载批量导入工具到自定义文件夹https://agent-install.oss-cn-hangzhou.aliyuncs.com/migrate-local-repo-tool.jar 打开本地的Git Bash 切换到工具的位置 批量导入命令说明 仓库地址及用户名密码配置获 ...
分类：
其他好文 时间：
2021-03-06 14:30:51
阅读次数：
0
