这个网站http://www.hbc333.com/是一个壁纸图片网站，提供各种分辨率的图片的下载，因此想写一个爬虫脚本批量下载这些图片。 经观察，2560*1600分辨率的图片的网址格式为：http://www.hbc333.com/size/2560x1600/n/ （n是页数）， 每张预览图片 ...
分类：
编程语言 时间：
2017-02-26 19:05:31
阅读次数：
160
上一篇博客讲解了使用nodejs爬取博客园的博文，这次带给大家的是下载网络上的图片。 需要用到的第三方模块有： superagent superagent-charset （手动改指定编码，解决GBK中文乱码） cheerio express async （并发控制） 完整的代码，可以在我的gith ...
分类：
Web程序 时间：
2017-02-05 15:06:28
阅读次数：
215
搜狗输入法linux安装版，先安装各种依赖包，大概12个依赖，可能中途还需要其他依赖，可以效仿解决依赖问题。
如图这12个文件要是手动点击下载，那也太笨点了，我们要用shell命令批量下载。
命令如下：
...... ...
分类：
系统相关 时间：
2017-01-01 22:50:18
阅读次数：
360
单位的网速自从两个月前已经大踏步迈入“古巴时代”了，慢的令人发指啊！！！，虽说装软件的时候也不多，但总有要用的时候，还是先建一个本地epel源吧。知道有个wget命令可以批量下载一些文件，但之前没怎么用过（专业菜鸟三十年，见谅手动斜眼），现在重新学习下怎么使用（为..
分类：
系统相关 时间：
2016-12-22 00:38:43
阅读次数：
381
软件交流群:571171251（软件免费版本在群内提供） krpano技术交流群:551278936（软件免费版本在群内提供） 最新博客地址:blog.turenlong.com KRPano资源分析工具支持批量下载全景网站的全景切片图，例如下面的一个网站 http://vr.firstep.cn/ ...
分类：
Web程序 时间：
2016-12-04 19:25:59
阅读次数：
336
软件交流群:571171251（软件在群内提供） krpano技术交流群:551278936（软件在群内提供） 软件功能介绍 软件功能介绍 KRPano资源分析工具具有以下特性： 1.分析保存网站资源，包括查看网站资源树形（平铺）结构，单个资源文件实时打开，整站资源批量保存，资源过滤筛选保存等功能 ...
分类：
Web程序 时间：
2016-12-03 20:56:01
阅读次数：
1482
最近接了个单子，要抓耐克中国的数据，把里面的商品转化成淘宝数据包，可以直接上传宝贝 客户提出了3个要求： 1:批量下载全网站商品； 2:定期更新网站新品； 3:批量更新淘宝库存，检查网站数据 这边先确定思路 第一是要抓取这些商品的列表， 第二是抓取单品的信息， 第三是把信息按照淘宝数据包格式输出。 ...
分类：
其他好文 时间：
2016-11-10 19:35:13
阅读次数：
167
先上代码，一会写。 串行版本： 批量并发版本： ...
分类：
编程语言 时间：
2016-10-22 18:04:11
阅读次数：
427
近来对院社二维码平台进行2.0升级改造。于昨日踩到一个巨坑。特此记录。。。 需求源于院社编辑在批量下载二维码的时候，系统后台需要对所要下载的二维码进行重命名和zip打包压缩。 系统测试的时候发现：首次请求批量下载时，也即压缩文件还未生成时，后台可以正常压缩文件并提供下载。但是第二次请求批量下载时，网 ...
分类：
编程语言 时间：
2016-10-18 13:52:01
阅读次数：
244
