#环境准备 ##第三方工具包httpclient：抓取网页数据 *get请求 *带参数get请求 *post请求 *带参数post请求 *连接池 *请求参数：时间 #Jsoup *对页面进行解析 *字符串处理工具 *正则表达式 *环境搭建 *导入坐标jsoup，以及其他工具 *解析url *解析字符 ...
分类：
编程语言 时间：
2019-10-11 20:35:50
阅读次数：
102
说起网络爬虫，大家想起的估计都是 Python ，诚然爬虫已经是 Python 的代名词之一，相比 Java 来说就要逊色不少。有不少人都不知道 Java 可以做网络爬虫，其实 Java 也能做网络爬虫而且还能做的非常好，在开源社区中有不少优秀的 Java 网络爬虫框架，例如 webmagic 。我 ...
分类：
编程语言 时间：
2019-10-04 11:30:59
阅读次数：
91
尝试直接请求URL获取资源 豆瓣电影 https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=time&page_limit=20&page_start=0 浏览器打开该地址： 发现是这样的 在这里我们需要用j ...
分类：
编程语言 时间：
2019-04-20 10:10:38
阅读次数：
174
刚开始接触java爬虫，在这里是搜索网上做一些理论知识的总结 主要参考文章：gitchat 的java 网络爬虫基础入门，好像要付费，也不贵，感觉内容对新手很友好。 一、爬虫介绍 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网下载网页，是搜索引擎的重要组成部分。 传统爬虫： 获得URL -》 ...
分类：
编程语言 时间：
2019-04-20 09:29:54
阅读次数：
181
jsoup的使用 jsoup介绍 jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM,css以及类似于Jquery的操作方法来取出和操作数据。 主要功能 直接请求URL 一开始直接使用jsonp的connect方法调用上节 ...
分类：
编程语言 时间：
2019-04-20 09:18:37
阅读次数：
196
前言 这一章节主要讲解Xpath的基础语法，学习如何通过Xpath获取网页中我们想要的内容;为我们的后面学习Java网络爬虫基础准备工作。 备注:此章节为基础核心章节，未来会在网络爬虫的数据解析环节经常使用，学会Xpath解析语法，可为未来爬虫解析省去很多麻烦。 Xpath简介 XPath即为XML ...
分类：
其他好文 时间：
2018-09-24 20:03:27
阅读次数：
244
前言 这一章节主要讲解Xpath的基础语法，学习如何通过Xpath获取网页中我们想要的内容;为我们的后面学习Java网络爬虫基础准备工作。 备注:此章节为基础核心章节，未来会在网络爬虫的数据解析环节经常使用，学会Xpath解析语法，可为未来爬虫解析省去很多麻烦。 Xpath简介 XPath即为XML ...
分类：
其他好文 时间：
2018-05-19 14:50:26
阅读次数：
6197
业务需求是这样的，公司400业务中客户使用的，400电话号码，可以添加多个目的码你可以理解为转接号码； 这些配置的目的码我们会在网关服务器上配置成白名单，既拥有某些权限。先提出的要求是先添加或者变动目的码要及时同步到网关。 场景： 1.我们的网关服务器接受的白名单（目的码）是已txt文件上传的，数据 ...
分类：
编程语言 时间：
2018-04-08 00:23:42
阅读次数：
218
第一次写爬虫，被乱码问题困扰两天，试了很多方法都不可以，今天随便一试，居然好了。 在获取网页时创建了一个缓冲字节输入流，问题就在这个流上，添加标红代码即可 BufferedReader in = null; in = new BufferedReader(new InputStreamReader( ...
分类：
编程语言 时间：
2017-09-25 22:05:55
阅读次数：
299
