近日，用python 爬取某网站，登录成功后，需点击下链接，执行一个JS函数，用来SSO跳转，刚开始一直出错： 网页内容： 程序代码： ssobt = browser.find_element_by_class('******') ssobt.click() 但一直提示错误为： <a href="j ...
分类：
编程语言 时间：
2020-03-02 14:34:28
阅读次数：
113
电影天堂里面的 要爬取这个页面里所有的电影信息，每个电影信息都在另一个html里，先在这里页面里把这些电影的url爬取出来 # 电影天堂爬虫 from lxml import etree import requests # 一个网址头 BASE_DOMAIN="https://www.dytt8.n ...
分类：
编程语言 时间：
2020-03-02 01:16:51
阅读次数：
113
日期：2020.03.01 博客期：159 星期日 我打算从三方面去实现安全性的保障！ 1、访问的数据库权限 因为毕竟在做项目的时候，只是需要从数据库中抽取数据，并不需要对其进行增加、删除或修改。所以，我们 DBLink 需要使用仅支持复合查询或者简单查询的用户来访问数据库！这样，就不怕代码被恶意篡 ...
分类：
编程语言 时间：
2020-03-02 00:41:28
阅读次数：
76
引言 王者荣耀大家都玩过吧，没玩过的也应该听说过，作为时下最火的手机MOBA游戏，咳咳，好像跑题了。我们今天的重点是爬取王者荣耀所有英雄的所有皮肤，而且仅仅使用20行Python代码即可完成。 文中源代码在文章末尾，可自行复制粘贴。 另外注意：很多人学Python过程中会遇到各种烦恼问题，没有人帮答 ...
分类：
编程语言 时间：
2020-03-01 16:02:45
阅读次数：
134
一、代码"""通用代码框架：可使网页爬取变得更稳定更有效下面是一个爬取百度网页的例子，正常情况下是返回"""import requestsdef get_HTML_Text(): try: r = requests.get(url, timeout=30) r.raise_for_status() ...
分类：
编程语言 时间：
2020-03-01 11:00:24
阅读次数：
100
背景 接到一个任务，是爬取广东省采购网2019年全年的采购公告、合同信息、结果公告等信息。通过python代码的编写已经完成了这个任务。但由于采购网的服务器不是太稳定等因素，因此，相当一部分的数据行没有爬取到“公布日期”。 幸好，我的数据行里面已经存有每个数据的网址来历，只要直接get，就能获取该网 ...
分类：
其他好文 时间：
2020-03-01 10:42:28
阅读次数：
212
爬取中国共青团网的新闻 明天做好展示，并尝试爬取学习强国的书籍信息。 加油！ ...
分类：
编程语言 时间：
2020-03-01 00:50:06
阅读次数：
70
服务端渲染：DOM树在服务端生成，然后返回给前端。 客户端渲染（SSR）：前端去后端取数据生成DOM树。 服务端渲染的优点： 1、尽量不占用前端的资源，前端这块耗时少，速度快。 2、有利于SEO优化，因为在后端有完整的html页面，所以爬虫更容易爬取信息。 服务端渲染的缺点： 1、不利于前后端分离， ...
分类：
其他好文 时间：
2020-03-01 00:18:46
阅读次数：
66
在某某花网上搜到一个视频，为了将视频下载到本地，我们尝试利用爬虫抓取资源 第一，我们检查网页元素，之后刷新页面 从上述信息中我们找到两个后缀名为.mp4的文件信息，其中第二条的status为206，留意它 点击这条信息，从中我们获取到了这条视频真正的URL 根据视频URL信息，参照之前爬取网页图片的 ...
分类：
编程语言 时间：
2020-03-01 00:08:55
阅读次数：
93
目录 1. 文件上传功能 2. cookie处理 3. 会话维持与模拟登陆 4. SSL证书验证 5. 代理设置 6. 超时设置 7. 构建Request对象 8. urllib简单介绍 9. 正则介绍 10. 校花网图片爬取与多页爬取 ...
分类：
编程语言 时间：
2020-02-29 13:12:04
阅读次数：
89
