前言 Kettle 除了常规的数据处理之外，还可以模拟发送HTTP client/post ，REST client。 实验背景 这周二老师布置了一项实验： 建立一个转换，实现一个猫眼API热映电影的json，生成为xls文件。 猫眼的热门电影接口为： "?http://m.maoyan.com/ ...
爬虫之获取猫眼电影10W评论 第一步 打开一个电影的评论界面: 哪吒之魔童降世:https://maoyan.com/films/1211270 我们发现这里只显示10条评论,而我们需要爬取10w条数据,所以不能从此页面进行抓包,所以放弃！！！！ 于是又上网查，终于看到一篇文章说到开发者模式可以直接 ...
分类：
其他好文 时间：
2019-10-05 14:41:04
阅读次数：
80
第一步 打开一个电影的评论界面: 哪吒之魔童降世:https://maoyan.com/films/1211270 我们发现这里只显示10条评论,而我们需要爬取10w条数据,所以不能从此页面进行抓包,所以放弃！！！！ 于是又上网查，终于看到一篇文章说到开发者模式可以直接切换到手机模式; 第二步 切换 ...
分类：
其他好文 时间：
2019-09-30 21:25:49
阅读次数：
100
[toc] 近期开始学习python爬虫，熟悉了基本库、解析库之后，决定做个小Demo来实践下，检验学习成果。 1 本篇目标 抓取猫眼电影总排行榜Top100电影单 根据电影演员表统计演员上榜次数 2 url分析 目标站点为 ，打开之后就可以看到排行榜信息，如图所示 页面上显示10部电影，有名次、影 ...
分类：
编程语言 时间：
2019-09-04 11:50:37
阅读次数：
163
如何学习Python爬虫，爬虫的难点其实并不在于爬虫本身。而是各种各样的反爬虫措施。下面以一个小案例分享一下，带你们领略一下python的魅力。 ...
分类：
编程语言 时间：
2019-09-01 10:58:42
阅读次数：
135
[爬虫Demo] pyquery+csv爬取猫眼电影top100 [TOC] 站点分析 https://maoyan.com/board/4?offset=0 翻页操作只会改变offset偏移量，每部电影的信息都在dd标签内，使用pyquery库中的css选择器直接解析页面 代码君 css选择器直接 ...
分类：
其他好文 时间：
2019-08-22 13:30:32
阅读次数：
111
猫眼电影网站页面布局整体采用静态页面，其TOP100榜单按照评分和评分人数从高到低综合排序取前100名，如下： 那么，如何爬取电影库中的经典电影呢？为此，本人特意对经典电影库进行了爬取，具体遇到的困难及解决的办法如下： 1、爬取内容：本次爬取维度有电影名称、电影类型、电影制片国家、电影时长/分钟、上 ...
分类：
其他好文 时间：
2019-07-23 09:52:29
阅读次数：
97
#需求：抓取猫眼电影TOP100的电影名称、时间、评分、图片等信息，提取的结果会以文件的形式保存下来 import requests import time from lxml import etree import json import csv import codecs class MaoYa... ...
分类：
其他好文 时间：
2019-07-14 00:12:07
阅读次数：
111
asyncio是从pytohn3.4开始添加到标准库中的一个强大的异步并发库，可以很好地解决python中高并发的问题，入门学习可以参考官方文档 并发访问能极大的提高爬虫的性能，但是requests访问网页是阻塞的，无法并发，所以我们需要一个更牛逼的库 aiohttp ，它的用法与requests相 ...
分类：
编程语言 时间：
2019-05-09 15:29:39
阅读次数：
176
我感觉学习python有一个阶段就是熟悉它的各种第三方库的使用，这次我们用jieba分词，用wordcloud生成词云，用pyecharts生成柱状图，来看看吧~ 若您有需要，所有文件已上传到我的github（左上角图标直达）~ 从爬虫开始好了，猫眼电影电脑网页版只能看热门影评。其实为了获取更多影评 ...
分类：
其他好文 时间：
2019-04-30 13:51:15
阅读次数：
143
