在互联网上进行自动数据采集(抓取)这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”,有时会把网络数据采集程序称为网络机器人(bots)。最常用的方法是写一个自动化程序向网络服务器请求数据(通常是用 HTML 表单或其他网页文件),然后对数据进行解析,提取需要的信息。 本文 ...
分类:
Web程序 时间:
2018-02-14 21:30:58
阅读次数:
344
跟着韩老师的笔记学习一下枚举类,首先过了一下Enum类的源码,然后结合源码和网上资料学习枚举 ...
分类:
编程语言 时间:
2018-02-14 21:30:47
阅读次数:
275
Besides sending (or requesting) the actual data to the server API, there’s also often the need to send further metadata that helps the server to corre ...
分类:
Web程序 时间:
2018-02-14 21:30:39
阅读次数:
240
需求工程的j简单定义 需求工程是所有需求处理活动的总和,它收集信息、分析问题、整合观点、记录需求并验证其正确性,最终反映软件 被应用后与其环境互动形成的期望效应。 需求工程的3个主要任务 1.需求工程必须说明软件系统被应用的环境极其目标,说明用来达成这些目标的软件功能,还需说明在设计和实现这些 功能 ...
分类:
其他好文 时间:
2018-02-14 21:30:33
阅读次数:
151
By default the new Angular Http client (introduced in v4.3.1) uses JSON as the data format for communicating with the backend API. However, there migh ...
分类:
Web程序 时间:
2018-02-14 21:30:25
阅读次数:
282
![](http://i2.51cto.com/images/blog/201802/14/7205ad9ee10e65442812a72180c922a5.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3po
分类:
数据库 时间:
2018-02-14 21:30:16
阅读次数:
220
一,类的定义 类是一组相似事物的统称 “一组” 在于多个,单个事物无法成为一个类。“人”可以是一个类,但“我”就不是一个类。 “相似” 比较像,但不完全相同。奥巴马,克林顿都是人类,但他们并不是相同的一个人。 “统称” 具有概括性。奥巴马、克林顿可以统称为人、男人、动物、总统。但不会统称为奥巴马,因 ...
分类:
其他好文 时间:
2018-02-14 21:07:05
阅读次数:
162
正如《人月神话》简介所述,在软件领域,很少能有像《人月神话》一样具有深远影响力和畅销不衰的著作。 它为人们管理复杂项目提供了最具有洞察力的见解,既为很多发人深省的观点,又有大量软件工程的实践。 拉布雷阿的焦油坑,让人印象深刻,与软件开发泥潭如此相似,越挣扎陷的越深,软件危机席卷IT行业: 费用超支、 ...
分类:
其他好文 时间:
2018-02-14 21:06:56
阅读次数:
179
说到网站数据的爬取,目前为止我见过最复杂的就是天猫了,现在我想对它进行整站的爬取 我们先来看下天猫主页的界面 天猫页面很明显是动态页面 所以我们需要用selenium模块 首先我们抓取下行业列表,留作之后的深度爬取 我们来看下结果: 看到商品链接和行业列表的完美展现了吧 可是当前页面并没抓取完毕,我 ...
分类:
Web程序 时间:
2018-02-14 21:06:49
阅读次数:
296
1、打开激活窗口 2、选择 Activate new license with License server (用license server 激活) 3、在 License sever address 处填入 https://jetlicense.nss.im/ 4、点击 Activate 进行认 ...
分类:
系统相关 时间:
2018-02-14 21:06:42
阅读次数:
227
HtmlAgilityPack是一个基于.Net的、第三方免费开源的微型类库,主要用于在服务器端解析html文档(在B/S结构的程序中客户端可以用Javascript、jquery解析html) ...
简要说明:本文共涉及3台Ubuntu机器,1台RKE部署机器(192.168.3.161),2台Kubernetes集群机器(3.162和3.163)。先在Windows机器上,将rke_linux-amd64从github上下载下来,重新命名为rke ,编辑好cluster.yml集群部署文件,使用putty提供的pscp命令,将文件上传到3.161机器上。在3.161机器上,执行rke命令,将
分类:
Web程序 时间:
2018-02-14 21:06:25
阅读次数:
317
Obviously in a real world application we do not only fetch data from the backend, but we also send data to be stored permanently on the server side. T ...
分类:
Web程序 时间:
2018-02-14 21:06:17
阅读次数:
214
上一篇介绍了如何爬取豆瓣TOP250的相关内容,今天我们来模拟登陆GitHub。1环境配置语言:Python3.6.1IDE:Pycharm浏览器:firefox抓包工具:fiddler爬虫框架:Scrapy1.5.0操作系统:Windows10家庭中文版2爬取前分析分析登陆提交信息分析登陆信息我使用的是fiddler,fiddler的使用方法就不作介绍了,大家可以自行搜索,首先我们打开githu
分类:
编程语言 时间:
2018-02-14 21:06:08
阅读次数:
1882
- 题目大意 有n条绳子,分成k段相等的,问能使得最长为多长。 - 解题思路 采用二分法一直逼近求极限状态(注意精度!!!)。 - 代码 ...
分类:
其他好文 时间:
2018-02-14 21:06:00
阅读次数:
220
参考:Linux Filesystem: 解析 Linux 中的 VFS 文件系统机制 主要代码, 1.init_rootfs()解析 struct backing_dev_info结构是显示设备信息的描述符,定义如下: 2.init_mount_tree()解析 init_mount_tree() ...
分类:
Web程序 时间:
2018-02-14 21:05:51
阅读次数:
283
HTML:Hyper Text Markup Language :超文本标记语言。超文本:功能比普通文本更加强大。标记语言:使用一组标签对内容进行描述的语言,它不是编程语言。 HTML用于编写网页,平时上网通过浏览器我们看到的大部分页面都是由html编写的。在浏览器访问网页时,可以通过“右键/查看网 ...
分类:
Web程序 时间:
2018-02-14 21:05:44
阅读次数:
229