''' from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor import time,random,os def task(name,n): print('%s%s is running' %(name,os.ge ...
分类：
编程语言 时间：
2020-09-12 21:45:01
阅读次数：
36
分析下request获取的网页中文乱码问题 r = requests.get(“http://www.baidu.com“) **r.text返回的是Unicode型的数据。使用r.content返回的是bytes型的数据。也就是说，如果你想取文本，可以通过r.text。如果想取图片，文件，则可以通 ...
分类：
编程语言 时间：
2020-09-04 17:25:39
阅读次数：
53
学习爬虫，其乐无穷！今天给大家带来一个爬虫案例，爬取糗事百科搞笑内涵段子。爬取糗事百科段?，假设??的 URL 是：http://www.qiushibaike.com/8hr/page/1 一、爬取要求： 使?requests 获取??信息，?XPath / re 做数据提取。 获取每个帖??的 ...
分类：
编程语言 时间：
2020-08-31 13:21:14
阅读次数：
69
本节主要内容有：通过requests库模拟表单提交通过pandas库提取网页表格上周五，大师兄发给我一个网址，哭哭啼啼地求我：“去!把这个网页上所有年所有县所有作物的数据全爬下来，存到Access里!”我看他可怜，勉为其难地挥挥手说：“好嘞，马上就开始!”目标分析大师兄给我的网址是这个：https://www.ctic.org/crm?tdsourcetag=s_pctim_aiomsg打开长这样
分类：
编程语言 时间：
2020-08-25 15:58:21
阅读次数：
55
前言在很多网站上，都会以表格的形式展示数据，而我们获取这种数据只需通过十几行爬虫代码就可以搞定，轻松搞定网页爬虫，实现高效办公爬取上市公司数据、分析数据，并用可视化现实全国各地区公司数量知识点：爬虫基本原理requests的简单使用pandas库pyecharts可视化工具第三方库：requestspandas开发环境：Python3.6Pycharm这里就只展示部分代码了爬虫代码1.导入工具fr
分类：
其他好文 时间：
2020-08-25 15:40:02
阅读次数：
95
分享最新最干货的技术内容定时任务简述定时任务，在企业开发中尤其重要，很多业务都是需要定时任务去做的。比如说10点开售某件东西，凌晨0点统计注册人数，统计其他各种等等。这个时候不可能说让人为的去开启某个开关或者怎么怎么样的，如果这样的话，估计都要崩溃了。今天给大家介绍如何在项目中使用Quartz并且在后台动态配置定时任务的启动，暂停，重启，停止，还有修改启动的时间，修改执行的任务等。引入依赖的jar
分类：
其他好文 时间：
2020-08-24 16:47:01
阅读次数：
202
# encoding:utf-8 import requests import base64 import pprint import re def get_token(): host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=cl ...
fiddler利用AutoResponder重定向功能 将服务器的返回数据(即原资源)重定向到本地的文件，进行调试 Enable rules：启用规则Accept all CONNECTs：允许所有连接Unmatched requests passthrough：不匹配的请求继续传递Enable L ...
分类：
其他好文 时间：
2020-08-19 19:36:23
阅读次数：
78
1.BeautifulSoup简介 BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如 ...
分类：
编程语言 时间：
2020-08-18 15:44:46
阅读次数：
114
import json from typing import Dict, List import browsercookie import requests from requests.cookies import RequestsCookieJar ## init for classes sess ...
分类：
编程语言 时间：
2020-08-18 13:22:39
阅读次数：
57
