编码使我快乐！！！ 我也不知道为什么，遇到自己喜欢的事情，就越想做下去，可以一个月不出门，但是不能一天没有电脑 掌握程度：对python有了一个更清晰的认识，自动化运维，也许可以用python实现呢，加油 实现功能: 爬取响应的网页，并且存入本地文件和DB 本地文件: DB: 整体逻辑： 1.读取配 ...
分类：
编程语言 时间：
2018-06-24 13:01:48
阅读次数：
173
爬取网址 https://findicons.com/pack/2787/beautiful_flat_icons ...
分类：
编程语言 时间：
2018-06-18 19:56:18
阅读次数：
187
虎扑是广大jrs的家园，步行街是这个家园里最繁华的地段。据称广大jrs平均学历985，步行街街薪30w起步。 ...
分类：
其他好文 时间：
2018-06-14 15:17:45
阅读次数：
276
import gevent from gevent import monkey import requests,time,re,os """ 协程爬虫的意义在于解决堵塞的耗时操作，epoll机制不过用gevent好像不错，先来看下gevent的概念 其原理是当一个greenlet遇到IO(指的是in ...
分类：
其他好文 时间：
2018-05-19 21:30:14
阅读次数：
240
import multiprocessing,requests,time,re,os """ 其实在我的项目内和多线程差不多，多进程多个进程之间不共享全局变量 所以意思是我只需要一个全局变量就可以 """ package_list = [] # 1.每页的url从1-531，使用for循环 拼接ur ...
分类：
系统相关 时间：
2018-05-13 21:06:29
阅读次数：
211
mport threading, requests, time, re, os """ 写个思路，把普通爬虫直接拉进来，但是全局变量不太清楚会造成什么样的影响 之前使用全局变量列表应该要分成两个，函数内部同名变量也互相不影响 但有个很大的问题，代码比较臃肿。无法将一个函数给两个线程同时使用 因为业务 ...
分类：
编程语言 时间：
2018-05-12 21:41:39
阅读次数：
213
昨天晚上无聊时，想着练习一下Python所以写了一个小爬虫获取小刀娱乐网里的更新数据 [python] view plain copy #!/usr/bin/python # coding: utf-8 import urllib.request import re #定义一个获取网页源码的子程序 ...
分类：
编程语言 时间：
2018-05-03 16:30:38
阅读次数：
174
写LeetCode太累了，偶尔练习一下Python，写个小爬虫玩一玩~ 确定URL格式 先找到豆瓣电影TOP250任意一页URL地址的格式，如第一页为： "https://movie.douban.com/top250?start=0&filter=" ，分析该地址： https:// 代表资源传输 ...
分类：
编程语言 时间：
2018-03-16 00:14:45
阅读次数：
175
一个python写的小爬虫项目，爬虫相关的很容易写，关键是怎么找到爬取图片的位置。 图片位置分析 首先看提取出的两个url地址:hero_list_url与hero_skin_root_url,一个是json文件、另一个是jpg文件的网络位置。接下来我来分析一下这两个目标位置是如何找到的： 打开抓包 ...
分类：
编程语言 时间：
2018-02-15 21:43:06
阅读次数：
292
