JAVA--利用HttpClient模拟浏览器登陆请求获取响应的Cookie ...
分类：
编程语言 时间：
2020-03-27 16:52:54
阅读次数：
303
1 前言 Python开发网络爬虫获取网页数据的基本流程为： 发起请求 通过URL向服务器发起request请求，请求可以包含额外的header信息。 获取响应内容 服务器正常响应，将会收到一个response，即为所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。 ...
分类：
编程语言 时间：
2020-03-09 13:10:42
阅读次数：
85
用puppeteer爬取网页数据业务需求，页面需要显示很多链接列表，像这样的。我问项目经理要字典表，他笑咪咪地拍着我的肩膀说：“这边有点忙，要不按照这个自己抄一下吧”。emmm…我看了一下，数据大概有七八百条，一个一个录入，那不得搞到地老天荒、海枯石烂。心口一股燥热，差点就要口吐莲花，舌吐芬芳了…转... ...
分类：
Web程序 时间：
2020-03-07 13:01:59
阅读次数：
123
2017年后，一大波网络喧嚣，说流式处理如何牛叉，如何高大上，抱歉，工作满负荷，没空玩那个； 今年疫情隔离在家，无聊，开始学习 KAFKA+Flink ，目前的打算是用爬虫抓取网页数据，传递到Kafka中，再用Flink计算。 个人性格原因，我不愿意过分沉迷于纸质或者电子教程材料，也不是特别喜欢网上 ...
分类：
其他好文 时间：
2020-03-02 01:04:26
阅读次数：
967
python： 一：编程语言： 1，跨平台的（windows/安卓androld/苹果ios） 2，面向对象的 3，解释性的 4，全栈的（app，桌面端软 件，网页） 5，易集成c/c++语言模块 二：学习python的用处： GUI（界面），服务端，网络爬虫，深度学习，app，网页，数据分析... ...
分类：
编程语言 时间：
2020-02-20 00:18:00
阅读次数：
211
python使用正则抓取数据 今天主要学习了python使用正则抓取网页数据。 首先这是正则的几个步骤： 1、用import re 导入正则表达式模块； 2、用re.compile()函数创建一个Regex对象； 3、用Regex对象的search()或findall()方法，传入想要查找的字符串， ...
分类：
其他好文 时间：
2020-02-15 18:59:48
阅读次数：
79
钓鱼网站 钓鱼网站和正规网站的页面一模一样，提交网页数据的url也一样，但是会在页面中设置隐藏属性的form表单。例如转账：给用户书写的form表单，对方账号的input没有name属性，然后另外写一个具有默认的并且是隐藏的具有name属性的input框。 form表单如何通过csrf校验 为了防止 ...
分类：
其他好文 时间：
2020-02-07 20:37:46
阅读次数：
62
python时间戳 将时间戳转为日期 #!/usr/bin/python # -*- coding: UTF-8 -*- # 引入time模块 import time #时间戳 timeStamp = 1581004800 timeArray = time.localtime(timeStamp) ...
分类：
编程语言 时间：
2020-02-07 16:45:36
阅读次数：
54
爬虫基础练习——抓取网页数据 题目：抓取http://www.cntour.cn/首页新闻 分析：依次找到要抓取的数据的节点 使用筛选器依次找到要抓取的节点 #main>div>div.mtop.firstMod.clearfix>div.centerBox>ul.newsList>li>a 然后代 ...
分类：
编程语言 时间：
2020-02-03 22:04:01
阅读次数：
88
1.大体框架列出+爬取网页： #数据可视化 from pyecharts import Bar #用来url连接登陆等功能 import requests #解析数据 from bs4 import BeautifulSoup #用来存取爬取到的数据 data = [] def parse_data ...
分类：
其他好文 时间：
2020-01-28 15:40:07
阅读次数：
61
