一、HDFS-HA集群配置 1.环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 2.规划集群 hadoop102 hadoop103 hadoop104 NameNode NameNode JournalN ...
分类：
其他好文 时间：
2020-07-28 22:19:09
阅读次数：
77
sudo -i su 切换root用户 sudo -i su cdo 切换cdo用户 ps -ef | grep recommend 查看recommend进程pid netstat -nap | grep 查看进程监听端口号 jps 查看Java工程的进程pid pwd 查看当前工作目录 df - ...
分类：
系统相关 时间：
2020-07-28 17:02:30
阅读次数：
80
小爬最近的一个需求是：将windows系统下的打印任务批量有序给到网络打印机。 用户先从公司的OA(B/S模式)系统下 打印指定内容的表单以及表单中的附件内容。这个问题可以这样分解： 1、抓包，得到OA对应的任务接口，然后利用python requests模拟post请求，获取所有的表单的URL并进 ...
测试代码Github地址：https://github.com/zhouyanger/java_demo/tree/master/netty 五．自定义 RPC 5.1 概述 RPC（Remote Procedure Call)，即远程过程调用，它是一种通过网络从远程计算机程序 上请求服务，而不需要 ...
分类：
其他好文 时间：
2020-07-28 13:58:23
阅读次数：
69
客户端处理过程中调用Clientstub（就像调用本地方法一样），传递参数；Clientstub将参数编组为消息，然后通过系统调用向服务端发送消息；客户端本地操作系统将消息从客户端机器发送到服务端机器；服务端操作系统将接收到的数据包传递给Serverstub;Serverstub解组消息为参数；Serverstub在调用服务端的过程，过程执行结果以反方向的相同步骤响应给客户端。1.3RPC流程中需
分类：
其他好文 时间：
2020-07-28 10:22:10
阅读次数：
79
一、简介 在每个节点（driver和executor）上运行的管理器，该接口提供用于在本地和远程将block放置和检索到各种存储（内存，磁盘和堆外）的接口。 二、源码 private[spark] class BlockManager( executorId: String, rpcEnv: Rpc ...
分类：
其他好文 时间：
2020-07-27 23:41:12
阅读次数：
73
Linux 环境下 NFS 服务安装及配置使用 3、NFS 服务安装通过上边简要的介绍，我们知道 NFS 服务需要依赖 RPC 服务，所以这里 NFS 服务端需要安装 rpcbind 和 nfs-utils，客户端只需要安装 nfs-utils 即可，由于我选用的为 CentOS 系统，所以可以使用 ...
分类：
其他好文 时间：
2020-07-27 15:59:04
阅读次数：
74
【RN小记】解决Mac下Pod install 缓慢 或 error: RPC failed； 或 the remote end hung up unexpectedly
分类：
系统相关 时间：
2020-07-24 21:33:52
阅读次数：
174
记录一下扫描和测试中遇到的一个漏洞：目标主机showmount -e信息泄露 先了解一下showmount命令： showmount命令用于查询NFS服务器 (NFS 网络文件系统) # showmount --help Usage: showmount [-adehv] [--all] [--di ...
分类：
其他好文 时间：
2020-07-24 16:07:58
阅读次数：
355
目录 阐述背景 Leaf snowflake 模式介绍 Leaf segment 模式介绍 Leaf 改造支持RPC 阐述背景 不吹嘘，不夸张，项目中用到ID生成的场景确实挺多。比如业务要做幂等的时候，如果没有合适的业务字段去做唯一标识，那就需要单独生成一个唯一的标识，这个场景相信大家不陌生。 很多 ...
分类：
其他好文 时间：
2020-07-22 15:43:39
阅读次数：
79
