链接： https://vjudge.net/problem/CodeForces 55D 题意： Volodya is an odd boy and his taste is strange as well. It seems to him that a positive integer numb ...
分类：
其他好文 时间：
2019-12-06 00:16:45
阅读次数：
85
爬虫02 /数据解析 [TOC] 1. 数据解析概述 什么是数据解析，数据解析可以干什么？ 概念：就是将一组数据中的局部数据进行提取。 作用：使用来实现聚焦爬虫 数据解析的通用原理 问题：html展示的数据可以存储在哪里？ 标签之中 属性中 1.标签定位 2.取文本或者取属性 数据解析的常用方法 r ...
分类：
其他好文 时间：
2019-12-03 23:25:11
阅读次数：
173
使用requests模块获取网页内容，bs4数据清洗 ，pands保存数据一般都为csv格式。 import requests from bs4 import BeautifulSoup import pandas as pd def Get_data(url): # 请求得到网页内容 res = ...
分类：
编程语言 时间：
2019-12-02 19:06:27
阅读次数：
120
题目链接： "http://acm.hdu.edu.cn/showproblem.php?pid=5179" 题目大意： 给你一个数 $A = a_1a_2 \cdots a_n$ ，我们称 $A$ 为“漂亮的数”当且仅当 $a[i] \ge a[i+1]$ （$1 \le i \lt n$） 并且 ...
分类：
其他好文 时间：
2019-12-02 18:45:01
阅读次数：
86
项目地址： https://gitee.com/knightdreams/CrawNovel 爬取的网址: https://www.biqukan.net/ ...
分类：
其他好文 时间：
2019-12-02 13:38:18
阅读次数：
157
一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找, 修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautif ...
分类：
其他好文 时间：
2019-11-26 16:17:03
阅读次数：
76
1 查看网页结构 (1)确定需要抓取的字段 电影名称 电影主演 电影上映时间 电影评分 (2) 分析页面结构 按住f12 >点击右上角(如下图2) >鼠标点击需要观察的字段 (3)BeautifulSoup解析源代码并设置过滤属性 1 soup = BeautifulSoup(htmll, 'lxm ...
分类：
编程语言 时间：
2019-11-25 20:52:02
阅读次数：
90
CSS 选择器：BeautifulSoup4 和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树 ...
分类：
其他好文 时间：
2019-11-23 10:03:48
阅读次数：
68
hhhhhh # -*- coding: utf-8 -*- import requests from bs4 import BeautifulSoup import lxml import json import re import time import tushare as ts import ...
分类：
其他好文 时间：
2019-11-22 21:02:53
阅读次数：
200
1.HtmlUnit是一个用java编写的无界面浏览器，建模html文档，通过API调用页面，填充表单，点击链接等等。如同正常浏览器一样操作。典型应用于测试以及从网页抓取信息。并且HtmlUnit拥有HttpClient和soup两者的功能，但速度比较慢，但如果取消它的解析css和js的功能，速度也 ...
分类：
Web程序 时间：
2019-11-20 21:21:28
阅读次数：
118
