标签：简单的 服务器 int 完成 响应 ike csv 类型 方法
---恢复内容开始---
第一次学习了python语法，迫不及待的来开始python的项目。首先接触了爬虫，是一个简单爬虫。个人感觉python非常简洁，相比起java或其他面向对象的编程语言，动态语言不需要声明函数或变量类型。python有20年的发展历史，以简洁高效闻名，python最初只是一个马戏团的名字，它的哲学是‘用一种方法完成一件事情’。我第一次使用python时就被它的简洁高效迷住了，相比起c++和java，他简直太棒了。而且现阶段的大数据和人工智能领域，python都有着绝对无可替代的地位。
大数据时代，海量的数据以兆亿级的规模出现，而且每时每刻都在不停的变化，怎样从这么多数据中提取我们所需要的数据，就变得十分的重要，尤其对于一些大企业，数据就是公司发展的命脉。网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。就是爬虫程序会自动沿着制定的URL去爬取有用的数据，搜索引擎就是建立在爬虫基础上的。但是搜索引擎有自身的局限性，只能够通过关键字进行检索，我们需要手动进入相关网页进行筛选。这个时候如果利用爬虫，就能够实现简单的定向抓取。
爬虫经历三个步骤：首先向目标网页发出请求，经服务器返回一个响应html的源码；然后通过beatifulsoup库或者Xpath表达式来对源码进行解析，提取有用信息；最后通过文件保存相关信息，进行数据清洗或分析。
开始之前需要了解谷歌浏览器的操作：
直接在 更多 选择工具的开发者工具，这里可能需要用到html的知识，其实就是一些标签，如<div>、<a>、<span>等等。（具体学习一下html吧！）然后，单击右键选择标题如《肖申克的救赎》，使用检查命令。
可以在右侧Elements里面看到<span class="title">这个标签，中间的中文就是我们需要爬取的电影名字。同样我们还需要爬取的是评分，可以找到<span class="rating_num">这样的标签，当然你也可以爬取一句话评语。
我用到requests库，当然还有urllib这个库也可以，这个比较繁琐。pycharm中可以直接安装，bash中使用pip3的指令。
首先，我们需要向目标网页发送下载请求：
url=‘https://movie.douban.com/top250‘
res=requests.get(url)
print(res.status_code)
这里可能会有乱码。因为你没有定义下载的html代码的编码格式，在res后面附加一句：res.encoding=‘UTF-8‘，即可。同样网站会有反爬措施，诸如过频繁请求，或者限制，这是需要使用一个user-agent：就在network这个卡的最下面，不过一般使用Mozilla/5.0就可以。定义一个头文件：（复制粘贴就可以）
headers={
‘user-agent‘:‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36‘,
‘Host‘:‘movie.douban.com‘
}
替换：res=requests.get(url,headers=headers)
这个时候你的status_code就会是200，200表示正常反馈。400就是不正常。（反爬手段）
当然你可以下载html代码自己看看，不过挺杂乱。直接 print(res.text) 就行了。
好了，已经获得了网页源码，这个时候就该解析相关数据了：beatifulsoup实例化。
soup=BeatifulSoup(res.text,‘html.parser‘) #建立soup对象。
div_list=soup.find_all(‘div‘,class_=‘hd‘) #这里的div标签在<li>标签下面，每一个<li>标签都表示一部电影的信息。我们所需要的信息都存在<div class=‘hd‘>里。
for each in div_list:
movie=each.find(‘a‘).find(‘span‘).text.strip()
movie_list.append(movie)
movie_list是一个空列表，专门存放电影名字。strip()函数是去除字符串两端的字符，这里是去除空格。但是我们发现，网页貌似有10页面，我们这里利用for循环遍历url。
url变化的只是最后一部分的：
movie_list=[]
for i in range(0,10):
url=‘http://movie.douban.com/top250?start=‘+str(i*25)
res=......
soup=BeatifulSoup(res.text,‘html.parser‘)
div_list=soup.find_all(‘div‘,class_=‘hd‘)
for each in div_list:
movie=each.find(‘a‘).find(‘span‘).text.strip()
movie_list.append(movie)
return movie_list
这样就可以了。简单的爬虫就完成了。
最后我们需要将取得的数据存储。你也可以选择存进mysql，具体涉及pymysql。
file=‘desktop/douban.csv‘
with open(file,‘w+‘) as f:
f.write(movie_list)
f.close()
csv用文本编辑器打开。也可用excle打开具体百度。
标签：简单的 服务器 int 完成 响应 ike csv 类型 方法
原文地址：https://www.cnblogs.com/zhouwenfan-home/p/9465520.html
