1.安装启动zookeeper /home/hadoop/app/zookeeper-3.4.5-cdh5.7.0/conf/zoo.cfg bin/zkServer start 2.安装启动logstash /home/hadoop/app/logstash-2.4.1/project.conf ...
分类:
其他好文 时间:
2020-03-16 14:49:22
阅读次数:
91
文章背景:结束d2之行或周末的前端群线下见面会,跟一些待毕业的学生或正在这个行业的从业者交流后我深切的感触到:在如今信息大爆炸的今天,搜索引擎这么方便的前提下,除了少部分乘上校招快车的幸运儿之外,大部分同学找工作很迷茫,很难。很多同学不会找工作,也不知道如何找工作,如何找一份适合自己的工作。其实任何 ...
分类:
其他好文 时间:
2020-03-13 14:34:42
阅读次数:
70
python3中运用urllib抓取 贴吧 的邮箱,以及QQ: import urllib import urllib.request import re from urllib import parse #抓取贴吧页面数量信息 def gettiebalistnumbers(name): #计算搜 ...
分类:
编程语言 时间:
2020-03-10 10:26:33
阅读次数:
58
目前5大主流浏览器分别是:谷歌chrome,Firefox,Safari,IE,Opera。 双内核浏览器: 360浏览器、猎豹浏览器内核:IE+Chrome双内核 搜狗、遨游、QQ浏览器内核:Trident(兼容模式)+Webkit(高速模式) 百度浏览器、世界之窗内核:IE内核; 浏览器内核: ...
分类:
其他好文 时间:
2020-03-09 22:39:48
阅读次数:
50
一:安装storm (一)安装一个zookeeper集群 注意:需要先启动zookeeper集群才可以,不然后面容易出错 (二)上传storm的安装包,解压 (三)修改配置文件storm.yaml #所使用的zookeeper集群主机 storm.zookeeper.servers: - "hado ...
分类:
其他好文 时间:
2020-03-06 20:20:10
阅读次数:
86
分组策略shuffle 随机分组field分组安装指定filed的key进行hash处理,相同的field,一定进入到同一bolt.该分组容易产生数据倾斜问题,通过使用二次聚合避免此类问题。使用二次聚合避免倾斜。App入口类12345678910111213141516171819202122232... ...
分类:
其他好文 时间:
2020-03-04 16:19:27
阅读次数:
75
浏览器五大内核 1、Trident(IE内核) IE、遨游、腾讯、世界之窗、360 代表作品:IE(此内核只适用于windows) 2、Gecko(火狐内核) 代表作品:firefox(开源且跨平台) 3、Webkit 代表作品:chrome(谷歌-前期)、safari(苹果)开源 4、Presto ...
分类:
其他好文 时间:
2020-02-29 22:36:18
阅读次数:
107
Spark 是基于内存的计算, 低延迟. Apache 基金会3大分布式系统开源项目 Hadoop, Spark, Storm (数据流) Spark 特点: 处理快, 容易使用(Java,Python,Scala,R). 通用性(包括SQL,机器学习, 流失计算), 运行模式多样 Spark生态系 ...
分类:
其他好文 时间:
2020-02-29 17:28:30
阅读次数:
94
序言 主要学习方向 Kafka 分布式消息系统 Redis 缓存数据库 Storm 流式计算 1.Storm 的基本概念 2.Storm 的应用场景 3.Storm 和Hadoop的对比 4.Storm 集群的安装的linux环境准备 5.zookeeper集群搭建 6.Storm 集群搭建 7.S ...
分类:
其他好文 时间:
2020-02-23 11:38:34
阅读次数:
61