学习一个新框架方法: 推荐:官网+源码 跪在坚持 hadoop.apache.org spark.apache.org flink.apache.org storm.apache.org Hadoop:由HDFS/YARN/Map Reduce构成 HDFS 一个NameNode 和多个DATa N ...
分类:
其他好文 时间:
2020-02-21 18:19:23
阅读次数:
55
const getBrowser = () => { const ua = navigator.userAgent; return { trident: ua.indexOf('Trident') > -1, // IE内核 presto: ua.indexOf('Presto') > -1, // ...
分类:
其他好文 时间:
2020-02-20 17:15:12
阅读次数:
84
题目(攻防世界): __construct和__destruct的魔术方法是默认执行的,我们可以忽视他们,__wake up执行以后会返回当前主页上,需要绕过,下面的正则匹配preg_match也需要绕过,flag在f14g.php里 绕过之后就需要传个var的值,值为base64编码以后的序列化 ...
分类:
Web程序 时间:
2020-02-20 17:00:18
阅读次数:
87
一、相关知识回顾 分布式文件存储 信息源: 购买信息元(对海量数据清洗) 自营提供(限于大公司) 爬虫、抓包 信息格式:文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移:hdfs mysql flume数据上 ...
分类:
其他好文 时间:
2020-02-19 10:28:03
阅读次数:
94
file>setting>Live Templates>选择文件类型 ...
分类:
Web程序 时间:
2020-02-16 13:09:01
阅读次数:
85
本篇记录一下Storm的编程案例:将手机型号转换成大写,并且加上当前时间,再输出到文件。 1、所需jar包 解压安装包apache-storm-0.9.2-incubating.tar.gz,在apache-storm-0.9.2-incubating/lib下 2、创建一个Spout类 负责实时读 ...
分类:
其他好文 时间:
2020-02-15 18:46:18
阅读次数:
73
1、基本概念 Apache Storm是一个免费、开源的分布式实时计算系统。使用它可以轻松实现数据流的实时处理。Strom处理数据快速,基准时钟在超过一百万元组每秒处理的每个节点。易于设置和操作,具有可扩展性、容错性,保证了数据的处理能力。Storm主要用于实时在线分析,机器学习,连续计算,分布式R ...
分类:
其他好文 时间:
2020-02-14 18:48:25
阅读次数:
73
环境搭建 "PHP" curl 安装curl库 确认环境。 代码样例 使用代理 运行下 进阶学习 "curl库" "代理IP" ...
分类:
Web程序 时间:
2020-02-14 00:30:26
阅读次数:
833
39 web 客户端技术 浏览器工作原理(核心模块) 页面渲染(HTML) - 渲染引擎,是浏览器的核心;兼容性测试时,只要关注渲染引擎即可,相同引擎选择一款即可 举例:Trident(微软-IE);Gecko;KHTML; JavaScript 的解析和执行 网络处理:不是核心技术; 数据保存,缓 ...
分类:
Web程序 时间:
2020-02-12 00:58:09
阅读次数:
95