学习一个新框架方法： 推荐：官网+源码 跪在坚持 hadoop.apache.org spark.apache.org flink.apache.org storm.apache.org Hadoop:由HDFS/YARN/Map Reduce构成 HDFS 一个NameNode 和多个DATa N ...
分类：
其他好文 时间：
2020-02-21 18:19:23
阅读次数：
55
题目（攻防世界）： __construct和__destruct的魔术方法是默认执行的，我们可以忽视他们，__wake up执行以后会返回当前主页上，需要绕过，下面的正则匹配preg_match也需要绕过，flag在f14g.php里 绕过之后就需要传个var的值，值为base64编码以后的序列化 ...
分类：
Web程序 时间：
2020-02-20 17:00:18
阅读次数：
87
一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
file>setting>Live Templates>选择文件类型 ...
分类：
Web程序 时间：
2020-02-16 13:09:01
阅读次数：
85
本篇记录一下Storm的编程案例：将手机型号转换成大写，并且加上当前时间，再输出到文件。 1、所需jar包 解压安装包apache-storm-0.9.2-incubating.tar.gz，在apache-storm-0.9.2-incubating/lib下 2、创建一个Spout类 负责实时读 ...
分类：
其他好文 时间：
2020-02-15 18:46:18
阅读次数：
73
1、基本概念 Apache Storm是一个免费、开源的分布式实时计算系统。使用它可以轻松实现数据流的实时处理。Strom处理数据快速，基准时钟在超过一百万元组每秒处理的每个节点。易于设置和操作，具有可扩展性、容错性，保证了数据的处理能力。Storm主要用于实时在线分析，机器学习，连续计算，分布式R ...
分类：
其他好文 时间：
2020-02-14 18:48:25
阅读次数：
73
ORM框架本质: 让面向对象的类跟数据库中的表做个对应关系 ORM与原生SQL比较： 原生SQL性能较好 原生SQL的可维护性相对差一些 ORM操作、开发起来比较简单、快捷 Python ORM框架：SQLALchemy、Django、Storm、SQLObject SQLALchemy与Djang ...
分类：
数据库 时间：
2020-02-11 17:33:44
阅读次数：
75
【现象】 自己搭建虚拟机，搭建storm集群，然后访问阿里云物联网平台上的订阅服务amqp 然后发现当worker运行在第三个节点上的时候，就连接不上阿里云。 【调查】 刚开始怀疑虚拟机克隆之后，mac地址，uuid之类的冲突，尝试了修改 修改之后，仍然不好使，然后对三个虚拟机分别测试能否联网 测试 ...
分类：
其他好文 时间：
2020-02-08 16:00:26
阅读次数：
173
无奈~只有看看源码为啥不行了！发现：Electron 7.0.0以后的版本下载地址多了个字母v，然后安装下载的时候就会404...
分类：
其他好文 时间：
2020-01-27 00:01:58
阅读次数：
128
