通用爬虫和聚焦爬虫 一、通用爬虫 通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo 等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 二、通用搜索引擎（Search Engine）工作原理 通用网络爬虫 从互联网中搜集网页，采集信息，这些网 ...
分类：
其他好文 时间：
2019-08-19 22:44:08
阅读次数：
102
浅析数字证书 hyddd原创 最近看会Session hijack的东西，劫持现在已经实现，yahoo等一些没有用Https协议的邮箱被成功地劫持了（迟下发文章），由于对Https不熟悉，所以看了一下为什么Https的会话不能劫持。 本文主要介绍的SSL中的涉及到的"数字证书"这个东东。 1. 什么... ...
分类：
其他好文 时间：
2019-07-31 12:45:14
阅读次数：
113
KafkaManager 是雅虎开源的一款 针对kafka集群的web管理工具， 具体功能和介绍就不再这细讲 kafka-manager github官网 https://github.com/yahoo/kafka-manager 比较坑，github上仅提供了源码包，没有提供安装包，我们需要自己 ...
分类：
其他好文 时间：
2019-07-27 12:31:13
阅读次数：
1148
CURL 命令行浏览器 这东西现在已经是苹果机上内置的命令行工具之一了，可见其魅力之一斑 1)二话不说，先从这里开始吧！ curl http://www.yahoo.com 回车之后，www.yahoo.com 的html就稀里哗啦地显示在屏幕上了~~~~~ 2)嗯，要想把读过来页面存下来，是不是要 ...
分类：
Web程序 时间：
2019-07-18 23:56:36
阅读次数：
539
1，下载与安装 $ git clone https://github.com/yahoo/kafka-manager.git $ cd kafka-manager $ ./sbt clean dist //这一步，耗时比较长 需求有java环境，我用的是java1.8 2，配置kafka-manag ...
分类：
Web程序 时间：
2019-05-18 19:10:11
阅读次数：
760
Web设计和开发是现今越来越流行的职业方向之一。工欲善其事，必先利其器，如果你想在这个领域出类拔萃，那么你就必须具备一些优秀的技能，例如能操作不同的平台、IDE和其他各种各样的工具。谈到平台和IDE，现在已经不是以前那个掌握一个IDE就能“一招鲜吃遍天”的时代了。激烈的竞争以及蔓延到现在的集成开发环境。基于IDE是用于创建和部署应用程序的强大客户端应用程序，下面我们要分享的就是对于很多网页设计师和
分类：
编程语言 时间：
2019-05-16 09:16:52
阅读次数：
153
Hadoop的起源 2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。 2005年，Hadoop作为L ...
分类：
其他好文 时间：
2019-05-06 11:45:14
阅读次数：
170
一、kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理 ...
分类：
其他好文 时间：
2019-04-14 22:59:07
阅读次数：
541
1，Zookeeper是什么？ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper允许开发人员专注于核心应用程序逻辑，而不必担心应用程序的分布式特性。ZooKeeper框架最初是在“Yahoo!”上构建的，用于以简单而稳健的方式访问他们的应用程序。后来，ApacheZoo
分类：
其他好文 时间：
2019-03-26 18:16:49
阅读次数：
208
