一、背景 因为经常有爬虫数据处理的需求,之前一直用的多线程+requests方式爬虫,但是这种方式有两个问题: 1、当请求很多,并发稍微多一点的时候电脑特别卡 2、每次变更请求包,比如post换get,需要用不同的方式解析出header等数据不是很方便 主要基于这两个原因,搞了一个基于socket+ ...
分类:
其他好文 时间:
2021-02-27 13:13:04
阅读次数:
0
在httpd.conf文件中,启用 proxy_wstunnel_module 模块 LoadModule proxy_module modules/mod_proxy.so LoadModule proxy_wstunnel_module modules/mod_proxy_wstunnel.so ...
分类:
Web程序 时间:
2021-02-23 13:58:13
阅读次数:
0
网上有很多文章,都在解释什么是socket,但是我感觉有些文章越讲越复杂,有的文章还会提到socket又可以称为“插座”,这让人看了就更懵了,为什么会有这么难懂的概念,现实生活里,插座不是插在插板上的一个接头吗,和编程有什么关系? 我猜想是不是socket翻译为中文就叫“插座”,所以大家才这么写,于 ...
分类:
其他好文 时间:
2021-02-22 12:50:03
阅读次数:
0
需求概述: 之前有个需求是用户扫二维码,进入到报名页面,报名后的数据会在PC大屏中以用户头像轮播出来,实时更新新报名的用户头像信息,之前的做法是通过前端开启定时器每隔一段时间请求一次后端接口以获得最新数据更新轮播。显然这种做法的代价太大了,被挂起了无数个请求连接,对服务器压力是很大的,所以我们采用w ...
分类:
其他好文 时间:
2021-02-19 13:24:56
阅读次数:
0
网络编程的要素 IP和端口号 网络通信协议 TCP 客户端 连接服务器socket 发送消息 public static void main(String[] args) throws IOException { //创建一个socket连接 Socket socket = new Socket(I ...
分类:
其他好文 时间:
2021-02-19 13:14:53
阅读次数:
0
TCP网络编程分为客户端和服务端 客户端使用 Socket类 服务端使用 ServerSocket类 ★TCP实现聊天 1.客户端 TcpClientDemo01.java package com.ckfuture; import java.io.IOException; import java.i ...
分类:
其他好文 时间:
2021-02-19 13:05:37
阅读次数:
0
说起网络编程,在程序员的脑海中,一定首先浮现的是两个传输层的协议,那就是TCP和UDP协议无疑了。两者相比较,TCP又要比UDP的应用更加广泛,那是因为TCP是可靠的协议。所谓可靠,一个是说它会在client端和server端之间建立“连接”,另一个是说,在传输过程中如果出现丢包的现象,TCP会重发 ...
分类:
编程语言 时间:
2021-02-18 13:45:42
阅读次数:
0
1. 单进程最大打开文件数限制 有时候会遇上socket/file: can‘t open so many files的问题,其实是Linux系统有文件句柄限制的,一般Linux系统限制单进程最大可以打开1024个文件,这是远远不能满足高并发需求的。 通过ulimit –a命令来查看系统的一些资源限 ...
分类:
系统相关 时间:
2021-02-17 14:58:56
阅读次数:
0
使用mysql二进制方式连接 mysql -u root -p 使用PHP脚本连接MySQL mysqli_connect(host,name,password,dbname,port,socket); host 规定主机或IP地址 username 规定MySQL用户名 password 规定My ...
分类:
数据库 时间:
2021-02-15 12:08:49
阅读次数:
0
BIO java的阻塞模型,阻塞的点有两个,就是accept,和接受用户的输入的时候 package network; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; imp ...
分类:
编程语言 时间:
2021-02-09 12:21:47
阅读次数:
0