刚开始接触java爬虫，在这里是搜索网上做一些理论知识的总结 主要参考文章：gitchat 的java 网络爬虫基础入门，好像要付费，也不贵，感觉内容对新手很友好。 一、爬虫介绍 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网下载网页，是搜索引擎的重要组成部分。 传统爬虫： 获得URL -》 ...
分类：
编程语言 时间：
2019-04-20 09:29:54
阅读次数：
181
最近几天很无聊，学习了一下java的爬虫，写一些自己在做这个案例的过程中遇到的问题和一些体会1.学习目标 练习爬取京东的数据，图片+价格+标题等等 2.学习过程 1·开发工具 JDK1.8 IntelliJ IDEA IDEA自带的Maven 2.使用技术 Spring Boot+Spring Da ...
分类：
编程语言 时间：
2019-04-19 21:28:04
阅读次数：
207
年关将近,工作上该完成的都差不多了,就剩些测试完改改的活,上午闲着就接触学习了一下爬虫,收益还是有的,纠结了很久的正则表达式终于搞得差不多了,Java的Regex和JS上还是有区别的,JS上的"\w"Java得写成"\\w",因为Java会对字符串中的"\"做转义,还有JS中"\S\s"的写法(指任 ...
分类：
编程语言 时间：
2019-01-25 17:52:27
阅读次数：
211
1，查看页面源代码，使用css或者JQuery选择器方式或元素节点选择 例如： 或者写成：Elements elements1 = Jsoup.connect("http://jb.999ask.com/jibing/ks/neike").get().select("ul.jbList li a") ...
分类：
编程语言 时间：
2019-01-23 00:14:08
阅读次数：
188
一、环境 项目:maven项目 数据库:mysql 二、项目介绍 我们要爬去的页面是https://shimo.im/doc/iKYXMBsZ5x0kui8P 假设我们需要进入这个页面，爬取页面里面的所有电影百度云链接，并保存在mysql数据库里。 三、pom.xml配置 首先我们需要新建一个mav ...
分类：
编程语言 时间：
2019-01-12 18:31:19
阅读次数：
124
啥是jsoup？jsoup我就不巴拉巴拉了，具体介绍百度或者去官网查看。jsoup怎么用？jsoup和jquery的操作相似，下面简单使用一下。使用jsoup大概也就以下几个步骤：获取整个html文档使用选择器获取需要爬的数据节点集合循环遍历使用选择器获取相应数据实例这是项目结构也就普通的一个测试项目，需要导入jsoup-x.xx.x.jar包，然后建一个实体类。我们就拿这个叽歪笑话来说。每一个笑
分类：
编程语言 时间：
2018-12-13 12:16:32
阅读次数：
219
对，就是十分钟，没有接触过爬虫的你，肯定一脸懵逼，感觉好高深的样子，一开始我也有点懵，但用了以后发现还是很简单的，java爬虫框架有很多，让我有种选择困难症，通过权衡比较还是感觉jsoup比较好用些，简单强大，怎么简单强大呢？看了后面你就知道了。 为什么要给大家讲一下使用jsoup呢？一是为了大家少 ...
分类：
Web程序 时间：
2018-10-27 21:20:00
阅读次数：
295
爬虫入门 手写一个Java爬虫 本文内容 涞源于 罗刚 老师的 书籍 << 自己动手写网络爬虫一书 >> ; 本文将介绍 1: 网络爬虫的是做什么的? 2: 手动写一个简单的网络爬虫; 1: 网络爬虫是做什么的? 他的主要工作就是 跟据指定的url地址 去发送请求,获得响应, 然后解析响应 , 一方 ...
分类：
编程语言 时间：
2018-10-04 11:08:03
阅读次数：
204
由于项目需求，综合了几种考虑方案，准备使用java 爬虫进行数据的获取，不用自己去费劲的想逻辑的实现 使用java爬虫之前，我们必须要掌握的知识： 1. 对前端HTML的元素有一定的认识 2. 使用httpclient 3. jsoup 工具进行HTML的解析判断 4. 能够使用一款网络抓包工具 抓 ...
分类：
编程语言 时间：
2018-09-02 12:31:09
阅读次数：
195
没使用自动登录，所以获取是比较麻烦。。 1、http://jwgl.ntu.edu.cn/cjcx 进入官网，进行账号密码登录 2、点击全部成绩查询(也一定要点进去，不然cookie不会返回值)，按F12进入控制台，找到Network，看到了ScoreAllData.aspx 首先看到Respons ...
分类：
编程语言 时间：
2018-07-29 14:11:28
阅读次数：
301
