码迷,mamicode.com
首页 > 系统相关
Scrapy-redis改造scrapy实现分布式多进程爬取
一.基本原理: Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule),并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代码,将scra ...
分类:系统相关   时间:2018-05-03 16:29:55    阅读次数:574
linux中的条件变量
1 大家可能知道互斥量是线程程序中必须的工具了,但是也不能是万能的,就比如某个线程正在等待共享数据某个条件的发生,这个时候会发生什么呢。它就可能重复的尝试对互斥对象锁定和解锁来检查共享数据结构。 2 线程在等待满足某些条件的时候使线程进入睡眠状态,一旦条件满足了就唤醒并等待满足特定条件而睡眠的线程。 ...
分类:系统相关   时间:2018-05-03 16:29:45    阅读次数:244
Ubuntu终端命令--查看端口占用及关闭
Ubuntu查看端口使用情况,使用netstat命令: 查看已经连接的服务端口(ESTABLISHED) netstat -a 查看所有的服务端口(LISTEN,ESTABLISHED) netstat -ap 查看指定端口,可以结合grep命令: netstat -ap | grep 8080 也 ...
分类:系统相关   时间:2018-05-03 15:33:23    阅读次数:217
Linux路由表的重要性以及配置
路由,顾名思义,就是把一个数据包从一个设备发送到不同网络里的另一个设备上去,这些工作依靠路由器来完成。路由器只关心网络的状态和决定网络中的最佳路径。路由的实现依靠路由器中的路由表来完成。路由器的工作职责如下: 分隔广播域 选择路由表中到达目标最好的路径 维护和检查路由信息 连接广域网 ...
分类:系统相关   时间:2018-05-03 15:32:23    阅读次数:211
shell 判断文件夹或文件是否存在
文件夹不存在则创建if?[?!?-d?"/data/"?];then mkdir?/data else echo?"文件夹已经存在" fi文件存在则删除if?[?!?-f?"/data/filename"?];then
分类:系统相关   时间:2018-05-03 15:32:10    阅读次数:214
memcached server install(WSL)
prepare:0) libevent-dev1) libseccomp-dev2) build-essential3) automake install: https://www.liquidweb.com/kb/how-to-install-memcached-on-ubuntu-14-04-l ...
分类:系统相关   时间:2018-05-03 15:32:04    阅读次数:245
eclipse 打包maven项目的坑
一、问题: 公司开发了一个项目,需要作为后台服务运行,整个项目的构成是:【maven + spring + eclipse】 在使用打包的时候遇到许多问题: (1)eclipse中maven工具的集成【配置仓库 】 (2) 打包的jre环境必须是jdk本身自带的,须在【performence--ja ...
分类:系统相关   时间:2018-05-03 15:24:01    阅读次数:758
【Azure】 Linux VM扩大操作系统磁盘空间
Azure Linux VM扩大操作系统磁盘空间目前Azure 针对Linux VM提供了增加操作系统磁盘空间的新功能,目前支持的虚拟机主要包括DS, DSV2和FS系列虚拟机。这样有助于帮助客户应用日志保持在SDA文件增加磁盘空间。1. 创建虚拟机的时候选择2. 进入操作系统可以看到磁盘空间已经增... ...
分类:系统相关   时间:2018-05-03 14:29:38    阅读次数:300
ubuntu16。04LST配置nfs实现服务器和客户端共享文件
NFS(network file system)网络文件系统可以实现不同主机与操作系统之间通过网络进行资源共享,此时一台PC充当服务器,若干台PC充当那客户端,具体如何配置请跟随我的步骤来做 1 下载和安装组件 在主机服务器端,需要安装nfs-kernel-server软件包,才能够共享目录,安装之 ...
分类:系统相关   时间:2018-05-03 14:21:05    阅读次数:228
20180503早课记录02-Linux
###### 1.移动文件或文件夹是什么命令 mv ###### 2.复制文件或文件夹是什么命令参数 cp ###### 3.强制删除文件的命令参数 rm -r ###### 4.强制删除文件夹的命令参数 rm -rf ###### 5.生产上是否能够执行rm -rf / 不...
分类:系统相关   时间:2018-05-03 14:18:46    阅读次数:174
(转)Linux下配置tomcat+apr+native应对高并发
摘要:在慢速网络上Tomcat线程数开到300以上的水平,不配APR,基本上300个线程狠快就会用满,以后的请求就只好等待。但是配上APR之后,Tomcat将以JNI的形式调用Apache HTTP服务器的核心动态链接库来处理文件读取或网络传输操作,这时并发的线程数量明显下降,从原来的300可能会马 ...
分类:系统相关   时间:2018-05-03 13:32:54    阅读次数:224
Shell 编程 (一)
变量: 1 . 变量声明 eg : 2. 变量使用 eg: 3. 删除变量 eg: 4. 变量类型: 局部变量 eg: 环境变量 eg: #:export name='EKo' 5 . 查看变量 格式: shell 脚本第一行必须是 #!/bin/bash 条件判断:(整数比较,字符比较,文件判断) ...
分类:系统相关   时间:2018-05-03 12:50:50    阅读次数:203
Linux系统如何查看版本信息
1、查看当前操作系统内核信息 uname -a $ uname -a Linux vm-web 3.10.0-693.21.1.el7.x86_64 #1 SMP Wed Mar 7 19:03:37 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux $ uname - ...
分类:系统相关   时间:2018-05-03 12:48:31    阅读次数:3975
八使用Shell函数
在Shell脚本中,将一些需要重复使用的操作,定义为公共的语句块,即可称为函数 使用函数的好处? 函数定义方法 基本格式1 格式2: 注:定义函数名,不会被输出 使用函数时的规则: 在fun.sh脚本里定义函数sum.two(功能是输出数字10 和20 相加的和,并输出计算结果) 在脚本中建一个对2 ...
分类:系统相关   时间:2018-05-03 11:12:53    阅读次数:202
Lesson 02-Linux基础命令(一)
查看系统IP Linux:ifconfig/ip a Windows:ipconfig vi:创建文件并编辑 touch:创建空文件 mkdir ~/a 在用户家目录下创建名称为a的文件夹 -p 创建多层文件夹 ~/a b c 同一目录下创建多个文件夹 m... ...
分类:系统相关   时间:2018-05-03 11:09:52    阅读次数:226
《shell编程实战》第2章shell脚本入门(下)
1、sh和./的区别[root@thzzc1994~]#cattest.shechoIamthzzc1994[root@thzzc1994~]#shtest.shIamthzzc1994[root@thzzc1994~]#bashtest.shIamthzzc1994[root@thzzc1994~]#./test.sh-bash:./test.sh:权限不够想要让./可以执行,需要在用户位加权限
分类:系统相关   时间:2018-05-03 10:30:56    阅读次数:174
每日一道shell 练习(05)——批量打包文件
今天的习题帮大家复习了find命令,xargs 命令,还有for 循环,while 循环的常见用法,关键是学习那种处理问题的思路。
分类:系统相关   时间:2018-05-03 10:29:45    阅读次数:199
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!