码迷,mamicode.com
首页 >  
搜索关键字:批量下载    ( 304个结果
shell自定义数组元素分隔符
公司人员命名图片习惯的加上了空格,今天有个需求,要批量下载这个写图片,这下蛋疼了正确的url是这样的http://url211901.jpghttp://url001.jpg写到文本里就要加转义,变成http://url\2119\01.jpghttp://url\001.jpg结果循环的结果就蛋疼了#!/bin/bash pic=$(catlist.txt) for..
分类:编程语言   时间:2015-05-13 19:59:12    阅读次数:495
JAVA网络爬虫批量下载豌豆夹中的应用
今天终于把脚本弄好了,虽然是东拼西凑的,总算有点成就感啦,下面把代码帖这~package studyjava;import java.io.BufferedReader;import java.io.File;import java.io.FileOutputStream;import java.i...
分类:编程语言   时间:2015-05-12 12:57:28    阅读次数:113
[golang]内存不断增长bytes.makeSlice
golang写的一个图片服务器,在批量下载压缩时候发现内存不断增长。。。。幸好golang自带内存占用日志结合分析工具可以方便看到内存分布。详细可参考:http://blog.golang.org/profiling-go-programs可以实时统计CPU\内存信息。这里主要说一下内存怎么搞。CP...
分类:其他好文   时间:2015-04-03 21:00:28    阅读次数:1002
Python入门小练习 002 批量下载网页链接中的图片
我们常常需要下载网页上很多喜欢的图片,但是面对几十甚至上百张的图片,一个一个去另存为肯定是个很差的体验。我们可以用urllib包获取html的源码,再以正则表达式把匹配的图片链接放入一个list中,使用for循环来依次下载list中的链接。import reimport urlliba = raw_...
分类:编程语言   时间:2015-03-30 17:56:29    阅读次数:211
利用wget批量下载http目录下文件
原理:下载你需要down的目录页面的index.html,可能名字不是如此!!!之后用wget下载该文件里包含的所有链接!例如:wget -vE -rLnp -nH --tries=20 --timeout=40 --wait=5 http://mirrors.163.com/gentoo/dist...
分类:Web程序   时间:2015-03-29 15:01:55    阅读次数:248
python爬虫Pragmatic系列III
python爬虫Pragmatic系列III 说明: 在上一篇博客中,我们已经学会了从赶集网上的一家公司中提取出有关的信息,并存储到Excel中。 本次目标: 在本节中,我们将批量下载赶集首页上所有的公司界面(注意不是赶集网上所有的公司页面,我们可以把这个留给之后的任务),并批量的处理所有公司的有关信息,并保存到Excel中。 注意: 在上一篇博客中,我们使...
分类:编程语言   时间:2015-03-28 23:18:24    阅读次数:441
使用python来刷csdn下载积分(二)
使用python来刷csdn下载积分(一)中我们实现了csdn下载的自动评价,但是这样只是评价自己下载过的资源,还不能实现刷分的目的。本次,我们将学习批量下载csdn的免费资源。csdn自己是带了资源的搜素工具的,网址:http://download.csdn.net/advanced_search...
分类:编程语言   时间:2015-03-11 16:29:55    阅读次数:181
封装一个工具类,搞定图片批量下载
项目中用到的,要求一次下载30张图片。开始时使用谷歌bitmap fun中提供的ImageFetcher来下载,但是发现一个蛋疼无比现象,图片总是莫名其妙的少几张。 ? ?排除了图片地址存在无效链接外,怀疑是并发下载线程个数...
分类:其他好文   时间:2015-03-09 13:02:34    阅读次数:138
豆约翰博客备份专家新增微信公众号文章批量下载功能
目前微信火得一塌糊涂,豆约翰博客备份专家也来凑凑热闹。自媒体的兴起,使得一些各个领域的专家在微信中开通了公众号,我们大家可以选择自己感兴趣的进行订阅。微信公众号会定期的向订阅者推送一些高质量的文章(当然也包括一些广告)。下面我们就来看一下如何利用豆约翰博客备份专家来批量下载微信公众号文章。要批量下载...
分类:微信   时间:2015-02-11 12:17:29    阅读次数:1731
批量下载中国气象科学数据共享网的数据
这里不得不吐槽下我们国家的一些机构了。花着纳税人钱,买设备、搞监测、上项目,做的一些东西烂的不能用,获得的数据...
分类:其他好文   时间:2015-02-02 12:39:29    阅读次数:158
304条   上一页 1 ... 24 25 26 27 28 ... 31 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!