爬虫爬取网站信息1 需要用到的库 -requests -bs42 流程 1通过requests发送get请求，这里请求包括url和user-agent 2通过beautifulsoup将response转换成lxml格式 3通过soup.select查找需要的数据，是一个列表的形式，可以同归索引取值 ...
分类：
其他好文 时间：
2018-11-20 13:30:08
阅读次数：
155
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.概述本文档描述了在Kerberos与非Kerberos的CDH集群之间BDR不可用的情况下实现数据互导。文档主要讲述1.测试集群环境描述2.CDH的BDR功能验证3.集群之间数据复制要求和限制4.集群之间数据复制的方式5.使用DistCp复制数据注意事项6.通过DistCp进行数据互导这篇文档将着重介绍CDHKerberos集群与非
分类：
其他好文 时间：
2018-11-17 23:21:51
阅读次数：
386
Rsync 数据同步工具 一，Rsync的工作方式 有三大类分别是： （1）本地间类似CP命令的复制方式，本地间的数据传输服务。 （2）网络间两台不同ip服务器间数据传输，服务器与服务器之间进行数据同步。 （3）多组服务器之间，以socket进程的方式，启动Rsync进程进行监听。 1，本地间的数据 ...
分类：
其他好文 时间：
2018-11-06 11:18:54
阅读次数：
205
在linux系统中复制文件夹时，出现了如下提示：#cp:omittingdirectoryXXXX其中,XXXX是我要复制的文件夹名，出现该警告的原因是因为XXXX目录下还存在目录，所以不能直接拷贝。解决办法：使用递归拷贝，在-cp命令-后面加上-r参数，形如：#cp-rAB这里的-r代表递归的意思。同样，当我们在linux系统下删除目录时也需要加上-r参数，如果目录为空，则会直接删除，如果目录非
分类：
系统相关 时间：
2018-11-06 00:58:50
阅读次数：
258
一、srync三种操作方式 1、本地间传输相当于cp命令 例1：将etc/hosts推送到/tmp下 rsync /etc/hosts /tmp 【1.1】数据同步 源文件追加内容：echo “'hostname -I' www.yunjisuan.com”>> /etc/hosts 【1.2】同步 ...
分类：
其他好文 时间：
2018-11-04 19:36:17
阅读次数：
367
1.从服务器复制文件到本地： scp root@×××.×××.×××.×××:/data/test.txt /home/myfile/ root@×××.×××.×××.××× root是目标服务器（有你需要拷贝文件的服务器）的用户名，×××.×××.×××. ...
分类：
系统相关 时间：
2018-10-29 16:13:03
阅读次数：
179
如何修复无法启动的docker容器背景：测试服务器上使用docker搭建了个elasticsearch服务集群，由于需要为es安装中文分词的插件，不料安装的姿势有问题，导致无法启动了。由于是测试开发所用，也没有为容器挂载数据卷，所以容器关闭后宿主机上就没有相关的目录了。而且是plugins目录结构的原因导致es服务找不到相关文件无法启动。解决方法，使用cp命令将整个plugins目录复制到宿主机下
分类：
其他好文 时间：
2018-10-26 16:23:51
阅读次数：
575
目录 一 .ls 命令 二.cd 命令 三.touch 命令 四.mkdir 命令 五.cp命令 六.mv 命令 七.which 命令 一 .ls 命令 一.ls命令 1.命令作用 列表显示目录内的文件及目录 不显示.开头的隐藏文件 2.命令格式 ls 选项 文件名或目录 3.常用参数 4.常见实例 ...
分类：
系统相关 时间：
2018-10-24 01:21:01
阅读次数：
243
1、复制/etc/skel目录为/home/tuserl，/home/ruserl及其内部文件的属组和其他用户没有任何访问权限。2、编辑/etc/group文件，添加组hadoop步骤（1）vim/etc/group（2）按G键跳至最后一行，按o键：下方新建一行并进入输入模式输入相关信息，Esc退出输入模式，按两次Z键保存并退出。3、手动编辑/etc/passwd文件，添加用户hadoop，基本组
分类：
其他好文 时间：
2018-10-22 01:14:56
阅读次数：
271
密钥登录步骤（免密码登录）ssh登录提供两种认证方式：口令(密码)认证方式和密钥认证方式。其中口令(密码)认证方式是我们最常用的一种，出于安全方面的考虑，介绍密钥认证方式登录到linux/unix的方法。 使用密钥登录分为3步： 1、生成密钥（公钥与私钥）； 2、放置公钥到服务器~/.ssh/aut ...
分类：
其他好文 时间：
2018-10-20 00:15:29
阅读次数：
196
