1 """实例1：京东商品页面的爬取""" 2 3 4 import requests 5 6 url = "https://item.jd.com/100012545852.html" 7 try: 8 # 更改头部信息 9 kv = {'user-agent': 'Mozilla/5.0'} 1 ...
分类：
其他好文 时间：
2020-06-04 10:21:02
阅读次数：
95
#!/usr/local/bin/python3.7 """ @File : str_replace.py @Time : 2020/06/03 @Author : Mozili """# 输入多行字符串 data = [] str = input('输入要调整的字符串：\n') data.appe ...
分类：
编程语言 时间：
2020-06-03 17:22:21
阅读次数：
100
如何获取一个页面内所有URL链接？在Python中可以使用urllib对网页进行爬取，然后利用Beautiful Soup对爬取的页面进行解析，提取出所有的URL。 什么是Beautiful Soup？ Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等 ...
分类：
编程语言 时间：
2020-06-02 13:14:23
阅读次数：
134
研究内容解读 面向多源、异构和跨模态复杂社会信息，研究语义融合、网络表征和动态演化的理论框架; 多源:多数据源爬取， 异构:不同数据结构，不同结构的结构化数据，结构化数据与文本数据 跨模态:模态是指数据的存在形式，比如文本、音频、图像、视频等文件格式。有些数据的存在形式不同，但都是描述同一事物或事件 ...
分类：
其他好文 时间：
2020-06-01 13:55:49
阅读次数：
112
全站数据爬取的方法 基于spider：手动请求 基于CrawlSpider CrawlSpider的使用： 创建一个工程 cd xxx 创建爬虫文件（Crawlspider）： 指令 scrapy genspider -t crawl xxx www.xxx.com 链接提取器 LinkExtrac ...
分类：
其他好文 时间：
2020-06-01 13:49:13
阅读次数：
64
介绍提到爬虫，互联网的朋友应该都不陌生，现在使用Python爬取网站数据是非常常见的手段，好多朋友都是爬取豆瓣信息为案例，我不想重复，就使用了爬取51cto博客网站信息为案例，这里以我的博客页面为教程，编写的Python代码！实验环境1.安装Python3.72.安装requests,bs4模块实验步骤1.安装Python3.7环境可参考博客https://blog.51cto.com/13760
分类：
编程语言 时间：
2020-06-01 10:26:55
阅读次数：
85
Python之爬取网页时遇到的问题——BeautifulSoup https://cuiqingcai.com/1319.htmlhttp://cuiqingcai.com/1319.html ， http://blog.csdn.net/akak714/article/details/501307 ...
分类：
编程语言 时间：
2020-05-31 19:44:08
阅读次数：
105
一、什么是PhantomJS？ 一款无界面浏览器。 二、python如何爬取动态加载页面？ selenium+PhantomJS（爬虫终极解决方案） 三、selenium操作PhantomJS 1、下载PhantomJS https://phantomjs.org/download.html 2、 ...
分类：
Web程序 时间：
2020-05-31 18:14:33
阅读次数：
94
by 豆豆 大家都知道当任务过多，任务量过大时如果想提高效率的一个最简单的方法就是用多线程去处理，比如爬取上万个网页中的特定数据，以及将爬取数据和清洗数据的工作交给不同的线程去处理，也就是生产者消费者模式，都是典型的多线程使用场景。 那是不是意味着线程数量越多，程序的执行效率就越快呢。 显然不是。线 ...
分类：
编程语言 时间：
2020-05-31 16:10:26
阅读次数：
63
by 闲欢 之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。 介绍 首先让我们来看 Requests 官方的 ...
分类：
其他好文 时间：
2020-05-31 16:06:53
阅读次数：
48
