原文名称：7 tools to fire up Spark's big data engine
Spark正在数据处理领域卷起一场风暴。让我们通过本篇文章，看看为Spark的大数据平台起到推波助澜的几个重要工具。
Spark生态系统众生相
Apache Spark不仅仅让大数据处理起来更快，还让大数据处理起来更简单、功能更强大、更方便。Spark并非只是一...
分类：
其他好文 时间：
2016-04-05 16:21:07
阅读次数：
155
转自：http://chuansong.me/n/1208635 动机 在业务系统开发的初期，我们往往只关注到核心逻辑，而忽略了对系统本身的监控。运维同学提供的ZENOSS(ganglia)能很好的满足了我们对硬件资源(IO、cpu负载、内存、load、连接数等)的监控。但介于核心功能与硬件指标之间
分类：
其他好文 时间：
2016-03-09 19:04:20
阅读次数：
352
Zookeeper服务安装之后，一般会在这个服务的基础之上安装其他的大数据平台，其他的框架一般会提供很多接口对Zookeeper中的内容进行一定的操作，但是功能相对单一，所以有些时候，有必要我们自己登录Zookeeper服务器，对里面的文件结构有一定的了解，这样的话使用起来也比较方便，下面就简单总结
分类：
其他好文 时间：
2016-02-26 16:56:47
阅读次数：
20787
熟悉各种通用的程序算法、数据结构和设计模式 jsf weblogic 多线程和锁 EJB 熟悉http协议 HTML5？ 掌握Hadoop、Hbase、Spark等大数据平台优先；Redis 高并发，大数据量处理经验 大型系统性能调优
分类：
其他好文 时间：
2016-02-21 22:45:05
阅读次数：
228
基础：linux常用命令、Java编程基础大数据：科学数据、金融数据、物联网数据、交通数据、社交网络数据、零售数据等等。Hadoop: 一个开源的分布式存储、分布式计算平台.（基于Apache）Hadoop的组成： HDFS:分布式文件系统，存储海量的数据。 MapReduce:并行处理框架...
分类：
其他好文 时间：
2016-01-15 12:55:14
阅读次数：
141
Apache Spark is an open source cluster computing system that aims to make data analytics fast — both fast to run and fast to write.BDAS, the Berkeley ...
分类：
其他好文 时间：
2016-01-04 19:38:22
阅读次数：
132
今天微博大数据平台发邮件来说。他们有一个hql执行失败。可是从gateway上面的日志看不出来是什么原因导致的，我帮忙看了一下。最后找到了问题的解决办法，下面是分析过程：1、执行失败的hql：INSERT OVERWRITE TABLE brand_ad_user_with_interact_...
分类：
其他好文 时间：
2015-12-19 21:45:34
阅读次数：
329
ELK“Elasticsearch、Logstash、Kibana”今天只是了解。搭建服务的文章后期待续。日志的收集和分析一直都是困扰你我的麻烦事情，虽然我们知道的是Splunk公司正是凭借着自己在这个大数据细分领域的一枝独秀，成为百亿美元级的明星公司。但是Splunk每GB高达4500美元的报价，又让..
分类：
其他好文 时间：
2015-11-20 20:12:15
阅读次数：
221
大数据何止是大，未来的世界应该是数据大爆炸，掌握数据的人才能掌握未来！模拟用户轨迹，行为分析，市场预测，spark基于内存的大数据框架。图计算，机器学习，docker，hadoop，spark，flink，，，让我们一起来追寻spark，进入大数据时代！！！spark 大数据是用scala语言，sc...
分类：
其他好文 时间：
2015-11-18 16:24:33
阅读次数：
222
任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储 数据处理 数据展现（可视化，报表和监控） 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出...
分类：
其他好文 时间：
2015-10-31 21:44:10
阅读次数：
698
