zabbix的网络监控能力特别捉急 公司领导要求又高开发了这个玩意 ''' import datetime import json import sys import os import re import subprocess class tools(object): def init(self) ...
分类：
其他好文 时间：
2020-07-17 19:49:38
阅读次数：
121
如何用export修改环境变量 以及 PATH与$PATH的区别_u013176681的专栏-CSDN博客_export path https://blog.csdn.net/u013176681/article/details/38662985 PATH是一个字符串，而$PATH则表明PATH是一 ...
分类：
其他好文 时间：
2020-06-18 19:55:29
阅读次数：
110
1.1 创建 shell 脚本文件 在创建shell脚本文件时，必须在文件的第一行指定要使用的shell。其格式为： 1 #!/bin/bash 在通常的shell脚本中，井号（#）用作注释行。shell并不会处理shell脚本中的注释行。然而，shell脚本文件的第一行是个例外，#后面的惊叹号会告 ...
分类：
系统相关 时间：
2020-06-10 16:02:47
阅读次数：
70
Scrapy+selenium爬取简书全站 环境 Ubuntu 18.04 Python 3.8 Scrapy 2.1 爬取内容 文字标题 作者 作者头像 发布日期 内容 文章连接 文章ID 思路 分析简书文章的url规则 使用selenium请求页面 使用xpath获取需要的数据 异步存储数据到M ...
分类：
其他好文 时间：
2020-05-08 20:05:59
阅读次数：
74
scrapy是爬虫中封装好的一个明星框架，具有的功能： 高性能的持久化存储 异步的数据下载 高性能数据解析，分布式 scrapy框架基本使用 环境安装 mac or linux pip install scrapy windows pip install wheel 下载twisted，下载地址为 ...
分类：
其他好文 时间：
2019-12-28 21:17:25
阅读次数：
90
connectionString https://www.connectionstrings.com/ connectionString="Data Source=.;Initial Catalog=TestDatabase;Integrated Security=SSPI" ...
分类：
其他好文 时间：
2019-11-13 00:41:07
阅读次数：
74
什么叫做分布式爬虫？ 分布式爬虫，就是多台机器共用一个scrapy—redis程序高效爬取数据， 为啥要用分布式爬虫？ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 其二：多台机器爬取到的 ...
分类：
其他好文 时间：
2019-10-09 23:47:49
阅读次数：
104
第一步导出按以下命令C:\DocumentsandSettings\Administrator>ldifde-fuser04.ldf-d"dc=liangshan,dc=com"-robjectClass=user-lobjectClass,displayName,name连接到“zxh-d1840ba4e34.liangshan.com”用SSPI作为当前用户登录将目录
分类：
其他好文 时间：
2019-09-11 18:21:25
阅读次数：
217
在大量数据需要写入HBase时，通常有put方式和bulkLoad两种方式。 put不做解释。 BulkLoader方式的优势在于： 1、不会触发WAL预写日志，当表还没有数据时进行数据导入不会产生Flush和Split。 2、减少接口调用的消耗，是一种快速写入的优化方式。 但如果使用Spark操作 ...
分类：
其他好文 时间：
2019-06-18 19:47:25
阅读次数：
97
终端分为 tty1-tty7 tty1-tty6是设备终端 tty7是桌面用户的终端 ps -a ——列出当前用户信息 ps -au——详细信息 PID——启动程序的进程ID tty——终端 ps -aux——查看没有终端的程序 kil 指令 kill -9 进程id kill -SIGKILL 进 ...
分类：
系统相关 时间：
2019-05-04 11:26:32
阅读次数：
164
