一、背景 春节也不能闲着，一直想学一下爬虫怎么玩，网上搜了一大堆，大多都是Python的，大家也比较活跃，文章也比较多，找了一圈，发现园子里面有个大神开发了一个DotNetSpider的开源库，很值得庆幸的，该库也支持.Net Core，于是乘着春节的空档研究一下整个开源项目，顺便实战一下。目前互联 ...
分类：
Web程序 时间：
2018-05-08 17:37:33
阅读次数：
310
Charles 是一个网络抓包工具，在做 APP 抓包的时候会用到，相比 Fiddler 来说，Charles 的功能更为强大，而且跨平台支持更好，所以在这里我们选用 Charles 来作为主要的移动端抓包工具，用于分析移动 APP 的数据包，辅助完成 APP 数据抓取工作。 1. 相关链接 官方网 ...
分类：
其他好文 时间：
2018-05-06 22:21:54
阅读次数：
185
使用fiddler进行手机数据抓取 学习了：https://blog.csdn.net/gld824125233/article/details/52588275 https://blog.csdn.net/chaoyu168/article/details/51065644 https://blo ...
分类：
移动开发 时间：
2018-05-01 10:51:40
阅读次数：
223
关于requests模块 之前在跟大家讲通过字典列表批量获取数据的时候用过这个模块 安装过程就不再讲解了 requests模块是python的http库，可以完成绝大部分与http应用相关的工作，所以我们可以用它来进行数据抓取工作 requests模块有两个常用的方法，get 和 post 我们也主 ...
分类：
其他好文 时间：
2018-04-26 14:54:46
阅读次数：
174
为一个信息流产品作数据抓取，其中数据清洗时必不可少的。其中有一个步骤就是清洗掉其中与内容无关的广告。文本通过语料库积累和NLP相关技术进行过滤，有些文字广告不过滤对产品影响也不大。有点儿麻烦的是其中的有些图片广告如果不过滤掉，在感官上会对产品造成很大的印象，为了解决这个问题，用了一些杂七杂八的方法， ...
分类：
其他好文 时间：
2018-04-06 17:35:02
阅读次数：
159
最近使用java实现了一个简单的网页数据抓取，下面是实现原理及实现代码: 原理：使用java.net下面的URL对象获取一个链接，下载目标网页的源代码，利用jsoup解析源代码中的数据，获取你想要的内容 1.首先是根据网址下载源代码： 2.根据下载源代码解析数据，获取你想要的内容，这里我获取的是图片 ...
分类：
编程语言 时间：
2018-03-31 00:52:01
阅读次数：
182
学习了scrapy 爬虫框架 觉得这个框架做数据抓取很好用，但是不支持分布式。网上查了有大牛在它基础上进行改进出了一个scrapy-redis 的框架 在网上找了很多教程，但是都没有说到基于scrapy-redis从 0 搭建分布式 爬虫框架的。 因此我决定自己从 0 开始搭建 并把整个过程记录下来 ...
分类：
其他好文 时间：
2018-02-24 19:37:39
阅读次数：
210
一、背景 春节也不能闲着，一直想学一下爬虫怎么玩，网上搜了一大堆，大多都是Python的，大家也比较活跃，文章也比较多，找了一圈，发现园子里面有个大神开发了一个DotNetSpider的开源库，很值得庆幸的，该库也支持.Net Core，于是乘着春节的空档研究一下整个开源项目，顺便实战一下。目前互联 ...
分类：
Web程序 时间：
2018-02-19 11:35:49
阅读次数：
303
说到网站数据的爬取，目前为止我见过最复杂的就是天猫了，现在我想对它进行整站的爬取 我们先来看下天猫主页的界面 天猫页面很明显是动态页面 所以我们需要用selenium模块 首先我们抓取下行业列表，留作之后的深度爬取 我们来看下结果： 看到商品链接和行业列表的完美展现了吧 可是当前页面并没抓取完毕，我 ...
分类：
Web程序 时间：
2018-02-14 21:06:49
阅读次数：
296
一、ETL介绍： 数据抽取：把不同的数据源数据抓取过来，存到某个地方 数据清洗：过滤那些不符合要求的数据或者修正数据之后再进行抽取 不完整的数据：比如数据里一些应该有的信息缺失，需要补全后再写入数据仓库 错误的数据：比如字符串数据后面有一个回车操作、日期格式不正确、日期越界等，需要修正之后再抽取 重 ...
分类：
其他好文 时间：
2018-02-10 23:21:47
阅读次数：
262
