现在很多站长都会有抓取数据的需求，因此网络爬虫在一定程度上越来越火爆，其实爬虫的基本功能很简单，就是分析大量的url的html页面，从而提取新的url，但是在实际操作中通常都会遇到各种各样的问题，比如说抓取数据的过程中需要根据实际需求来筛选url继续爬行；或者说为了能正常爬取，减少别人服务器的压力，你需要控制住爬取的速度和工作量···但是即便再小心，很多时候也会遇到被网页封禁的情况。在实际操作过程
分类：
其他好文 时间：
2020-03-10 23:31:56
阅读次数：
215
对于程序的初步认识：程序是数据结构跟算法的结合，程序算法的鼻祖是叫做阿达.金的女人，也是最初穿孔机程序的创始人，建立了循环和子程序的概念。计算机程序是一组计算机能识别和执行的指令，运行于电子计算机上，满足人们某种需求的信息化工具。 对于软件的初步认识：软件概念的提出是在二十世纪六十年代John Tu ...
分类：
其他好文 时间：
2020-03-07 17:44:21
阅读次数：
73
十年技术积累，估计有很多人会认为很长，但就我个人而言觉得，在一个领域想要成就一番事业，我觉得需要更长更长的积累。当然，这种积累不仅仅是技术方面，有时候还是需要一些运气和坚持。话不多说开始吧。 学习编程语言之前，首先要搞清楚「编程语言」这个概念。 很小的时候，父母就教我们开口说话，也教我们如何理解别人 ...
分类：
其他好文 时间：
2020-03-06 17:00:32
阅读次数：
55
分组策略shuffle 随机分组field分组安装指定filed的key进行hash处理，相同的field，一定进入到同一bolt.该分组容易产生数据倾斜问题，通过使用二次聚合避免此类问题。使用二次聚合避免倾斜。App入口类12345678910111213141516171819202122232... ...
分类：
其他好文 时间：
2020-03-04 16:19:27
阅读次数：
75
操作系统始于二十世纪五十年代，当时的操作系统能运行批处理程序批处理程序不需要用户的交互，它从文件或者穿孔卡片读取数据，然后输出到另一个文件或打印机。 二十世纪六十年代初，交互式操作系统开始流行，它不仅可以交互，还能使多个用户从不同的终端同时操作主机。这种操作系统称为分时操作系统。它的出现对批处理操作 ...
分类：
系统相关 时间：
2020-03-03 22:28:04
阅读次数：
92
从接触DCVS到现在有10多年了，这也是在 Bitbucket 上安家的10年，当初选择它是因为只有它支持免费的私有库。最初 Bitbucket 只支持 Mercurial （我更愿意用Hg这个简单的名字，所以以下都写 Hg 算了)，所以我也用了 Hg 十年。后来 Atlassian 收购了 Bit ...
分类：
其他好文 时间：
2020-03-02 19:00:59
阅读次数：
98
作为一个IT行业十年经历的从业人员，在北京大公司工作过，但因衡量着北京大都市的繁华下高消费和高房价，选择到二线城市发展和组建家庭，由此逃离北上广，结束了数年的北漂生涯。很荣幸到了二线城市顺利遇见属于自己的爱情，进而买房装修，组建家庭，娶妻生子，过上非常普通的市民生活。 今年遇到新疫情的影响，本就经营 ...
分类：
其他好文 时间：
2020-03-01 19:57:40
阅读次数：
100
Logback 继承自Log4j，它建立在有十年工业经验的日志系统之上。它比其它所有的日志系统更快并且更小，包含了许多独特并且有用的特性。 1、配置 1.1、加载配置 Logback能够在初始化期间自动查找配置文件进行配置；按照优先级查找配置文件直到找到，优先级如下： 1、查找系统属性logback ...
分类：
编程语言 时间：
2020-02-28 11:59:00
阅读次数：
71
人怎么能问候自己的十年后呢，因为，悲观点说，你不知道你十年后还在不在，飞来横祸，潦倒失意，都可能让生活戛然而止，那这篇问候也就成了一纸空约。乐观点说，如果未来顺风顺水，升官加爵，未来操心的事情也许不是今天的一两句祝福能够解开的。这封问候信，不像是写给未来的自己的，倒更像是写给当下的自己的，让自己鼓足 ...
分类：
其他好文 时间：
2020-02-27 12:49:58
阅读次数：
60
