码迷,mamicode.com
首页 > 其他好文 > 详细

hue耗流量优化

时间:2017-07-07 10:16:01      阅读:224      评论:0      收藏:0      [点我收藏+]

标签:logs   edit   详细说明   png   hue   htm   control   自动   基本   

ps: 使用的hue版本为 hue-3.10.0

一.【jobbrowser刷流量】

基本一分钟刷新一次,执行GET /jobbrowser/

[17/Apr/2017 14:46:26 +0800] access       INFO     10.1.124.19 hue - "GET /jobbrowser/ HTTP/1.1"
[17/Apr/2017 14:47:23 +0800] access       INFO     10.1.124.19 hue - "GET /jobbrowser/ HTTP/1.1"
[17/Apr/2017 14:48:20 +0800] access       INFO     10.1.124.19 hue - "GET /jobbrowser/ HTTP/1.1"
[17/Apr/2017 14:49:20 +0800] access       INFO     10.1.124.19 hue - "GET /jobbrowser/ HTTP/1.1"

使用浏览器自带的工具web开发者->网络 监控流量:

技术分享

解决jobbrowser刷流量的问题:
修改$HUE_HOME/desktop/core/src/desktop/templates/common_header.mako,禁止掉自动刷新
 % if ‘jobbrowser‘ in apps:
      var JB_CHECK_INTERVAL_IN_MILLIS = 30000;
      ##Disable get jobs info recursively
      ##var checkJobBrowserStatusIdx = window.setTimeout(checkJobBrowserStatus, 10);

ps: 这个文件是如何找到的:查看页面源码,根据网络监控的url定位到源码,然后根据相关代码在项目的源码中搜索到:

技术分享

 

 二. 【js & css缓存】

先来看看每次打开hue的hive-editor刷新的流量有多少:

技术分享

技术分享

几百个js,一堆css和一些html,其中有很多大的Js,一个就有几百K,其中Js占流量的绝大多数,基本都没有缓存。解决的目标就是把没缓存的静态内容都缓存到用户浏览器上,这样第一次打开页面时下载一次,以后访问、刷新页面就不用重复从hue服务器上下载,只要在缓存有效期内即可,这样每次网络传输量小,刷新页面速度也快,hue服务器压力也小。

解决方案:

参考:Using NGINX to speed up Hue | Hue - Hadoop User Experience - The Apache Hadoop UI 。其实现原理就是增加一层nginx作为静态文件缓存服务器,nginx可为每个静态内容的http请求设置缓存策略和有效期。

添加nginx前&后的header对比:使用nginx后主要添加了Cache-Control:public 和 etag.

技术分享

实现此方案后,每次刷新hive->editor页面只需70多K的流量。

ps: 关于浏览器缓存的几个设置:expire, etag, last-modified, cache-control, max-age的作用和关系,这篇文章讲得很透彻:浏览器缓存详解:expires,cache-control,last-modified,etag详细说明 - eros的linux平台技术资料库 - 博客频道 - CSDN.NET

 

hue耗流量优化

标签:logs   edit   详细说明   png   hue   htm   control   自动   基本   

原文地址:http://www.cnblogs.com/aprilrain/p/7129251.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!