码迷,mamicode.com
首页 >  
搜索关键字:requests 、beautifulsoup    ( 5272个结果
gai ip
# coding=utf-8 # This script is uesd to modify Agent IP at the first time of machine started. import requests import json import time import os import ...
分类:其他好文   时间:2020-07-29 17:54:47    阅读次数:80
python-spider 第一关
import datetime import time import json import hashlib import base64 import requests import pandas import browsercookie from collections import Counte ...
分类:编程语言   时间:2020-07-29 09:54:19    阅读次数:69
巧用win32print来控制windows系统打印机并推送打印任务
小爬最近的一个需求是:将windows系统下的打印任务批量有序给到网络打印机。 用户先从公司的OA(B/S模式)系统下 打印指定内容的表单以及表单中的附件内容。这个问题可以这样分解: 1、抓包,得到OA对应的任务接口,然后利用python requests模拟post请求,获取所有的表单的URL并进 ...
分类:Windows程序   时间:2020-07-28 14:46:32    阅读次数:205
python爬虫使用lxml解析数据编码乱码问题
问题状况: response = requests.get(url=url, headers=headers).text html = etree.HTML(response) name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0] ...
分类:编程语言   时间:2020-07-28 14:08:09    阅读次数:87
requests模块使用
#!/usr/bin/python import requests if __name__ == "__main__": url = 'https://sogou.com' response = requests.get(url=url) page_text = response.text prin ...
分类:其他好文   时间:2020-07-28 10:18:26    阅读次数:68
requests实战之网页采集器
import requests #UA伪装: #UA:User-Agent(请求载体的身份标识)检测: #门户网站的服务器会检测对应请求的身份载体标识,如果检测到请求的载体身份标识为某一款浏览器 #说明该请求是一个正常的请求,但是,如果检测到请求的载体身份标识不是某一款浏览器的,则表示该请求不是正常 ...
分类:Web程序   时间:2020-07-28 10:17:22    阅读次数:79
requests实战之豆瓣电影爬取
import requests import json if __name__ == "__main__": url = 'https://movie.douban.com/j/chart/top_list' param = { 'type':'24', 'interval_id':'100:90' ...
分类:其他好文   时间:2020-07-28 10:16:51    阅读次数:79
xpath案例-58二手房
#!/usr/bin/python import requests from lxml import etree #需求:爬取58二手房中的房源信息 if __name__ == "__main__": headers = { 'User-Agent':'Mozilla/5.0 (Windows N ...
分类:其他好文   时间:2020-07-28 10:12:45    阅读次数:79
xpath案例-全国城市名爬取
#!/usr/bin/python import requests from lxml import etree #项目需求:解析出所有的城市名称https://www.aqistudy.cn/historydata/ if __name__ == "__main__": # headers = { ...
分类:其他好文   时间:2020-07-28 10:10:33    阅读次数:61
古诗文网验证码识别
#!/usr/bin/python import requests from lxml import etree from codeClass import YDMHTTP #封装识别验证码图片的函数 def getCodeText(imgPath,codeType): pass #将验证码下载到本 ...
分类:其他好文   时间:2020-07-28 10:10:21    阅读次数:95
5272条   上一页 1 ... 16 17 18 19 20 ... 528 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!