本文主要介绍SparkSQL的优化器系统Catalyst，其设计思路基本都来自于传统型数据库，而且和大多数当前的大数据SQL处理引擎设计基本相同（Impala、Presto、Hive（Calcite）等），因此通过本文的学习也可以基本了解所有其他SQL处理引擎的工作原理。 SQL优化器核心执行策略主 ...
分类：
数据库 时间：
2018-03-18 20:05:41
阅读次数：
356
Python常用功能函数汇总 1.按行写字符串到文件中 2.创建初始化浏览器 其中，获取网页html 3.根据url获取网页Html函数 4.获取时间的不同格式 5.连接Mysql执行sql语句 ...
分类：
编程语言 时间：
2018-02-13 10:35:59
阅读次数：
372
前言 上一篇文章 python 爬虫入门案例 爬取某站上海租房图片 中有对headers的讲解，可能是对爬虫了解的不够深刻，所以老觉得这是一项特别简单的技术，也可能是简单所以网上对爬虫系统的文档，书和视频感觉都好少，故此准备接下这段时间对爬虫涉及到的点做个系统的学习与总结。 利用浏览器查看heade ...
分类：
编程语言 时间：
2018-02-11 10:51:13
阅读次数：
1309
Chrome:老哥我当初开始搞的时候实力不够，只能偷苹果的WebKit过来用着先,但现在翅膀硬了，想自己开发一款blink内核，尽早摆脱苹果的影子； Safari:独一无二的高贵，WebKit，我的原创发明！ FireFox:原创Gecko,独一无二，爵士人生！ Opera:我唯谷歌爹马首是瞻，现在 ...
分类：
其他好文 时间：
2018-02-04 22:53:18
阅读次数：
204
最近由于工作上和生活上的一些事儿好久没来博客园了，但是写博客的习惯还是得坚持，新的一年需要更加努力，困知勉行，终身学习,每天都保持空杯心态.废话不说，写一些最近使用到的Presto SQL和Hive SQL的体会和对比. 一.JSON处理对比 Hive select get_json_object( ...
分类：
数据库 时间：
2018-01-31 22:24:44
阅读次数：
3966
In Part 1 of this two-part GitHub tutorial, we examined the main uses for GitHub and bega5n the process of signing up for a GitHub account and creatin ...
分类：
其他好文 时间：
2018-01-10 23:46:40
阅读次数：
272
一、客户端兼容性 1、浏览器的兼容性测试 a、内核角度 Tridnt内核：代表作IE、腾讯、遨游、世界之窗等 Gecko内核：代表作Firefox webkit内核：代表作Safari、Chrome Presto内核：代表作Opera Presto是由Opera Software开发的浏览器排版引擎 ...
分类：
Web程序 时间：
2017-12-07 10:46:31
阅读次数：
193
一、Presto简介1、PRESTO是什么？Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。2、它可以做什么？Presto支持在线数据查询，包括H... ...
分类：
其他好文 时间：
2017-11-18 22:33:01
阅读次数：
405
js 判断移动设备、pc端、android、iPhone、是否为微信、微博、qq空间 ...
分类：
微信 时间：
2017-11-12 14:15:49
阅读次数：
290
学习web前端，打交道最多的就是浏览器（其结构主要分为shell和内核两部分），所以了解主流的浏览器及其内核是必不可少的。 主流浏览器之所以被称为主流浏览器， 其一，在市场上占有一定的市场份额；其二，必须有独立研发的内核。 主流浏览器 内核 注：WebKit是由谷歌和苹果一起研发的，之后谷歌将自己的 ...
分类：
其他好文 时间：
2017-10-31 15:25:34
阅读次数：
233
