标签：网页采集
今天，我再来给大家介绍一些采编 素材的方法，其中使用到了网页爬虫技术。效果还不错，希望对于想转战 媒体的你有所帮助哦！Let's go！以搜狐 为例（自媒体 排行榜列表爬虫 过程）：
上面的例子，演示了完整的爬虫 过程、 排行榜采集过程，7秒钟完成100条 网址的采集。导出为Excel后面备用。
实际使用中，除了可以爬排行榜，还可以用类似的方法爬关键词（列表）搜索结果、分类列表等。
有了 网址，下面就是批量下载 了。这里用到的是硕鼠，支持不少 网站 的下载。上面采集的搜索 网址列表，就可以就在这里。
下载相关的工具很多，这里只是拿这个工具作为演示，大家可以用自己喜欢用的工具进行下载。
先打开刚才采集下的Excel文件，复制些 网址（不超过20条）：
然后打开硕鼠，找到界面右上角“自助批量解析”，点进去，将网址复制到文本框中：
然后 “开始解析”，按照提示就可以完成下载了。下载过程和下载的文件：
以上，就完成了搜狐 网站里 的批量下载。
其实硕鼠本身也自带自动解析网页中所有的 功能，但是，获取的素材如果不进行去重，是难以分辨哪些是新素材，哪些是已经下载过的素材，每天都全部采集一遍，一是硕鼠本身有数量 ；二是浪费时间。
结合爬虫技术，先获取 列表，可以在列表的层面上对 进行一次“初筛”： 数据库去重或者Excel删除重复项，每天只下载最新的 素材。
这样又省时，又省力，还不用花钱。亲测可用。
下面推荐几款我常用的 工具：
Final cut Pro X
剪辑软件，比PR渲染实时性好，调色矫色非常强，资源丰富，是菜鸟到高手必备软件。从 搬运剪辑到微电影剪辑统统搞定。
MediaCoder
MediaCoder具有丰厚的编码 ，除了 转码外，能够实现 兼并，音 兼并，时长截取，画面截取，音频转码， 变速，添加字幕，分辨率、帧率、码率调整等多种功用。
Vegas
Sony出品， 的影像编辑软件，具有剪辑、特效、合成、等多项功能，优点：实时渲染非常优秀比premiere强，输出方便，特技众多。-如果你的电脑跑不动PR或者跑PR卡的你心烦，推荐就用它吧。
Animoto
这个工具可以快速让你的照片或者 转化为 的 幻灯片，非常方便，操作也十分简单。
Premiere
特点：Premiere就不须赘述了，
级的 剪辑软件。比起前文提到的两个软件，它的功能强大太多，当然，上手难度也比较大。建议有一定 基础，对 质量有较高要求的人使用。既能剪辑小
，又能剪辑电影。缺点：电脑配置要求较高，渲染较为耗资源，导出文件巨大，需配套使用 压缩软件。-推荐有 知识基础的人使用。
格式工厂
格式工厂是简洁化的转码工具。有时用 后期软件导出的 过大，不利于传播，可以 格式工厂转化格式，改变大小。
EV录屏
体积小，不卡机，操作方便，还能随意添加水印，输出 也不占内存，是 录制 比较实用的工具。
Biteable
这是可以让你 或动画的线上编辑器，你可以用它 各种短 ，广告类、演示类、营销类都可以，让你 或演示，可以 哦。
希望对大家有帮助。
标签：网页采集
原文地址：http://blog.51cto.com/13612501/2083224
