详细错误信息: SunCertPathBuilderException: unable to find valid certification path to requested target 问题原因:爬相关数据，因该网站有SSL加密，故无法爬取。 问题解决之核心代码: /** * 绕过HTTPS ...
分类：
编程语言 时间：
2021-06-05 17:50:45
阅读次数：
0
对学院网站进行抓取、建索、排序、搜索、摘要显示。是Web界面。首先利用httpclient+多线程去模拟客户端去进行获取网页的内容，然后采用jsoup+多线程来进行解析网页内容并存储本地 项目主要使用技术HttplcientJsoup多线程数据库dao模式IKAnanyzerLuceneJavasc ...
分类：
编程语言 时间：
2021-06-02 16:01:44
阅读次数：
0
场景：在 jsp 页面中获取到 input 框的中文值，作为参数通过 ajax 传递到后端会出现乱码现象 解决方法： 在 jsp 页面中使用 JavaScript 的 encodeURI() 函数对中文参数进行编码： var chinaName = jQuery("#chinaName ").val ...
分类：
Web程序 时间：
2021-04-08 13:36:21
阅读次数：
0
1. 处理前 2.处理-->点一下 Decode ,显示出一个蓝色的小框框即可 3.重新访问接口，查看返回值 ...
分类：
其他好文 时间：
2021-03-05 12:58:09
阅读次数：
0
也不知道为什么喜欢叫爬虫 搞明白原理之后原来就是解析网页代码获取关键字符串 现在的网页有很多解析出来就是JS了，根本不暴露资源地址 依赖一个JSOUP，其他靠百度CV实现 <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup --> <dep ...
分类：
编程语言 时间：
2021-02-26 13:24:45
阅读次数：
0
今日内容 1. XML 1. 概念 2. 语法 3. 解析 XML： 1. 概念：Extensible Markup Language 可扩展标记语言 * 可扩展：标签都是自定义的。 <user> <student> * 功能 * 存储数据 1. 配置文件 2. 在网络中传输 * xml与html的 ...
分类：
Web程序 时间：
2021-01-28 11:54:24
阅读次数：
0
java爬虫（四）利用Jsoup获取需要登陆的网站中的内容（无验证码的登录） ...
分类：
编程语言 时间：
2020-12-16 11:58:39
阅读次数：
4
事件起因：在我用socket练习http响应时，网页显示英文是乱码 处理： 1、将网页文件用txt打开，另存为时改编码为utf-8，结果网页一直无法显示了 2、新建一个html文档就可以正常显示，怀疑html文档问题 3、对改了编码的文档进行研究发现，改成utf-8后文档开头多了一个“-”特殊符号， ...
分类：
其他好文 时间：
2020-10-21 21:33:02
阅读次数：
40
Jsoup_Select 选择器 一，概述 可直接解析某个 URL 地址、HTML 文本内容。它提供了一套非常省力的 API，可通过 DOM，CSS 以及类似于 jQuery 的操作方法来取出和操作数据。 二，Jsoup对象的使用 parse(File in,String charsetName): ...
分类：
Web程序 时间：
2020-08-25 15:45:36
阅读次数：
73
首先我们封装一个Http请求的工具类，用HttpURLConnection实现，当然你也可以用HttpClient,或者直接用Jsoup来请求（下面会讲到Jsoup）。工具类实现比较简单，就一个get方法，读取请求地址的响应内容，这边我们用来抓取网页的内容，这边没有用代理，在真正的抓取过程中，当你大量请求某个网站的时候，对方会有一系列的策略来禁用你的请求，这个时候代理就排上用场了，通过代理设置不同
分类：
编程语言 时间：
2020-08-03 23:23:49
阅读次数：
86
