在上文中我们说了：爬虫就是请求网站并提取数据的自动化程序。其中请求，提取，自动化是爬虫的关键！下面我们分析爬虫的基本流程 爬虫的基本流程 发起请求通过HTTP库向目标站点发起请求，也就是发送一个Request，请求可以包含额外的header等信息，等待服务器响应 获取响应内容如果服务器能正常响应，会 ...
分类：
编程语言 时间：
2019-04-30 19:52:22
阅读次数：
124
官方文档地址：https://docs.python.org/3/library/urllib.html 什么是Urllib Urllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块 ...
分类：
编程语言 时间：
2019-04-30 19:53:57
阅读次数：
149
第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 弹性分布式属性图1.3 运行图计算程序第2章 Spark GraphX 解析2.1 存储模式2.1.1 图存储模式2.1.2 GraphX 存储模式2.2 vertices、edges 以及 triplets2.2 ...
分类：
编程语言 时间：
2019-04-30 19:55:51
阅读次数：
162
实现多维数组的指定多个字段排序 上面的实例讲解了如何实现多维数组指定一个字段排序，但如果要实现指定多个字段来对数组进行排序该如何思考？ 多个字段是几个？2个，3个或更多，所以这个不确定的因素需要排除。 我们先来看2指定2个字段进行排序的方案： ...
分类：
编程语言 时间：
2019-04-30 20:01:13
阅读次数：
152
需求： 前端上传图片，返回路径给前端，前端通过路径来访问图片的资源。 解决方案： 对应的propterties文件的配置： 总结： 当时对其中的注解一知半解，导致遇到了这个问题。自己还应该加深基础。多多去找为什么会是这样。多多探索配置背后的问题。 ...
分类：
编程语言 时间：
2019-04-30 20:02:00
阅读次数：
271
import java.util.*; public class Solution{ ArrayList list = new ArrayList(); public ArrayList printMatrix(int [][] matrix) { int rows = matrix.length;... ...
分类：
编程语言 时间：
2019-04-30 20:03:46
阅读次数：
133
logging提供了一组便利的函数，用来做简单的日志。它们是 debug()、 info()、 warning()、 error() 和 critical()。 logging函数根据它们用来跟踪的事件的级别或严重程度来命名。标准级别及其适用性描述如下（以严重程度递增排序）： 利用logging.b ...
分类：
编程语言 时间：
2019-04-30 20:06:48
阅读次数：
316
在接触了docker后，干什么都想用docker来弄。最近刚做完毕业设计，本来是说将项目简单在本地部署就行了，结果老师说如果部署在服务器的话有加加分，于是果断用docker来搞，多加点分。 java项目在部署时，需要使用tomacat来承载项目生成的.war文件。直白意思就是使用maven将项目打包 ...
分类：
编程语言 时间：
2019-04-30 20:16:31
阅读次数：
253
说明 五一将至，又到了学习的季节。目前流行的各大书单主打的都是豆瓣8.0评分书籍，却很少有人来聊聊这9.0评分的书籍长什么样子。刚好最近学了学python爬虫，那就拿豆瓣读书来练练手。 爬虫 本来思路是直接爬豆瓣的书籍目录，将评分9.0以上的书筛选出来，一打开发现事情并不简单，几千万本书可不好爬 = ...
分类：
编程语言 时间：
2019-04-30 20:17:38
阅读次数：
178
一.jenkins的安装配置 1.去官网下载war包，这种方式比较简单方便 2.首次运行有一个key放在服务器上需要你填入才能进入，同时需要配置账号密码 3.如果没有被墙的话，最好把推荐的包都装上 manage jenkin-》plugin manager-》git，mavne，publish ov ...
分类：
编程语言 时间：
2019-04-30 21:28:08
阅读次数：
112
一、变量是没有类型的 在JavaScript中，定义变量的方法是“var 变量名=变量值”，无论这个变量要给他赋值为一个数字、字符串还是数组，他的类型都不需要声明。也就是说如果我只声明了一个变量“var a”，而没有给他赋值，那么我可以给他赋任何值，在语法上都是没有问题的。 二、变量值是有类型的 尽 ...
分类：
编程语言 时间：
2019-04-30 21:29:43
阅读次数：
116
一：Python 模块，包，库的概念理解： 1.python模块是： python模块：包含并且有组织的代码片段为模块。 表现形式为：写的代码保存为文件。这个文件就是一个模块。sample.py 其中文件名smaple为模块名字。 2.python包是： 包是一个有层次的文件目录结构，它定义了由n个 ...
分类：
编程语言 时间：
2019-04-30 21:31:36
阅读次数：
120
（剑指offer）输入一个递增排序的数组和一个数字S，在数组中查找两个数，使得他们的和正好是S，如果有多对数字的和等于S，输出两个数的乘积最小的。 思路：选定第一个数字，然后遍历后面的数字求和并与S比较，需要n-1次，不行的话再选定第2,3，，，n个数字，需要n^2次，时间复杂度比较高。更简单的方法 ...
分类：
编程语言 时间：
2019-04-30 21:35:14
阅读次数：
141
报错 :java.io.FileNotFoundException: (系统找不到指定的路径。) 错误分析 路径不存在，所以报错 解决方法 ： 检查路径，文件是否存在，如果不存在是否创建。 ...
分类：
编程语言 时间：
2019-04-30 21:36:24
阅读次数：
477
本文目标： 下载与安装JDK 配置Java环境 下载与安装JDK 配置Java环境 1、JDK9下载： 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase9-3934878.html 2、 ...
分类：
编程语言 时间：
2019-04-30 21:38:06
阅读次数：
170
字符串方法 format 1.替换字段名 在最简单的情况下，只需向 format 提供要设置其格式的未命名参数，并在格式字符串中使用未命名字段。此时，将按顺序将字段和参数配对。你还可给参数指定名称，这种参数将被用于相应的替换字段中。你可混合使用这两种方法。 In [2]: "{foo} {} {ba ...
分类：
编程语言 时间：
2019-04-30 21:41:56
阅读次数：
124
# 以上均属性个人理解 若有错误 烦请提出 !# 冒泡排序# 一般冒泡排序的时间复杂度为O（n^2）# 每一次循环都把最大的一个数往右浮# 如果是进行排行榜取前几的榜单业务，用冒泡的话时间复杂度为O（n）def BubbleSort(val): for i in range(len(val)): f... ...
分类：
编程语言 时间：
2019-04-30 21:42:35
阅读次数：
132
前言 首先我们知道，不同的语言的设计思想是相互借鉴的。ASP.NET Core 随着微软的全面开放，导致它有机会重新设计 HTTP 请求、响应管道，老旧的 ASP.NET 已经不能很好地满足人们对新时代 Web 3.0 的期待，故重新设计意味着微软可以弯道超车，用及其优美的语言、框架设计，赢得开发者 ...
分类：
编程语言 时间：
2019-04-30 21:43:07
阅读次数：
160
Implement next permutation, which rearranges numbers into the lexicographically next greater permutation of numbers. If such arrangement is not possib ...
分类：
编程语言 时间：
2019-04-30 21:48:31
阅读次数：
131
# 约瑟夫问题 不使用链表 纯计算方式得到：# 第一种方法的实现，只能从头开始报数，没有办法随机指定从什么位置开始# 如果只用YsfTest 可以用传 n 的方式 来求出第几轮被pop掉的序号# 约瑟夫环的第一种实现：def YsfTest(count,doom,n): if n ==1: temp ...
分类：
编程语言 时间：
2019-04-30 21:54:49
阅读次数：
160
