文章背景：结束d2之行或周末的前端群线下见面会，跟一些待毕业的学生或正在这个行业的从业者交流后我深切的感触到：在如今信息大爆炸的今天，搜索引擎这么方便的前提下，除了少部分乘上校招快车的幸运儿之外，大部分同学找工作很迷茫，很难。很多同学不会找工作，也不知道如何找工作，如何找一份适合自己的工作。其实任何 ...
分类：
其他好文 时间：
2020-03-13 14:34:42
阅读次数：
70
一：安装storm （一）安装一个zookeeper集群 注意：需要先启动zookeeper集群才可以，不然后面容易出错 （二）上传storm的安装包，解压 （三）修改配置文件storm.yaml #所使用的zookeeper集群主机 storm.zookeeper.servers: - "hado ...
分类：
其他好文 时间：
2020-03-06 20:20:10
阅读次数：
86
分组策略shuffle 随机分组field分组安装指定filed的key进行hash处理，相同的field，一定进入到同一bolt.该分组容易产生数据倾斜问题，通过使用二次聚合避免此类问题。使用二次聚合避免倾斜。App入口类12345678910111213141516171819202122232... ...
分类：
其他好文 时间：
2020-03-04 16:19:27
阅读次数：
75
Spark 是基于内存的计算, 低延迟. Apache 基金会3大分布式系统开源项目 Hadoop, Spark, Storm (数据流) Spark 特点: 处理快， 容易使用(Java,Python,Scala,R). 通用性(包括SQL,机器学习, 流失计算), 运行模式多样 Spark生态系 ...
分类：
其他好文 时间：
2020-02-29 17:28:30
阅读次数：
94
序言 主要学习方向 Kafka 分布式消息系统 Redis 缓存数据库 Storm 流式计算 1.Storm 的基本概念 2.Storm 的应用场景 3.Storm 和Hadoop的对比 4.Storm 集群的安装的linux环境准备 5.zookeeper集群搭建 6.Storm 集群搭建 7.S ...
分类：
其他好文 时间：
2020-02-23 11:38:34
阅读次数：
61
学习一个新框架方法： 推荐：官网+源码 跪在坚持 hadoop.apache.org spark.apache.org flink.apache.org storm.apache.org Hadoop:由HDFS/YARN/Map Reduce构成 HDFS 一个NameNode 和多个DATa N ...
分类：
其他好文 时间：
2020-02-21 18:19:23
阅读次数：
55
题目（攻防世界）： __construct和__destruct的魔术方法是默认执行的，我们可以忽视他们，__wake up执行以后会返回当前主页上，需要绕过，下面的正则匹配preg_match也需要绕过，flag在f14g.php里 绕过之后就需要传个var的值，值为base64编码以后的序列化 ...
分类：
Web程序 时间：
2020-02-20 17:00:18
阅读次数：
87
一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
