一、概述上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些SPARK作业错误信息。其中有些问题可能一些数据量或者shuffle量比较小的作业时不会遇到的..
分类：
其他好文 时间：
2015-02-27 18:34:20
阅读次数：
205
1 概述 在某海量数据分析系统中，使用AC多模改进算法做多模匹配，作为数据分类和分发的第一道关口。部署时间较长后，内存占用较大，预处理时间随模式串数量的增加呈指数级增长，到达10W条模式串的时候已经无法正常运行。为满足需求，研究算法性能，在AC改进算法无法打成需求的情况下，研究WM匹配算法并进行改....
分类：
编程语言 时间：
2015-02-24 17:25:07
阅读次数：
427
日志收集分析系统架构
一．部署架构
日志收集系统一般包括如图所示三层。Web服务器层，日志收集层，日志存储层。Web服务器层是日志的来源，一般部署web应用供用户访问，产生日志，该节点上一般需要部署日志收集程序的agent。日志收集层手机web服务器产生的日志传输给日志存储层，存储层一般使用分布式文件系统HDFS,日志可以存储在hdfs上或者hbase上。
以scribe作...
分类：
其他好文 时间：
2015-02-23 17:55:28
阅读次数：
265
logstash日志收集分析系统Logstashprovidesapowerfulpipelineforstoring,querying,andanalyzingyourlogs.WhenusingElasticsearchasabackenddatastoreandKibanaasafrontendreportingtool,Logstashactsastheworkhorse.Itincludesanarsenalofbuilt-ininputs,filters,codecs,andout..
分类：
其他好文 时间：
2015-02-11 12:53:49
阅读次数：
381
对于做管理系统和分析系统的程序员，复杂SQL语句是不可避免的，面对海量数据，有时候经过优化的某一条语句，可以提高执行效率和整体运行性能。如何选择SQL语句，本文提供了两种方法，分别对多条SQL进行量化的分析。在测试SQL性能的过程中。一是通过设置STATISTICS查看执行SQL时的系统情况。选项有...
分类：
数据库 时间：
2015-02-10 15:15:03
阅读次数：
367
经作者授权，发表Tieto某青年牛的一篇《程序员》大作。Android系统性能调优工具介绍在软件开发过程中，想必很多读者都遇到过系统性能问题。而解决系统性能问题的几个主要步骤是：测评：对系统进行大量有针对性的测试，以得到合适的测试数据。分析系统瓶颈：分析测试数据，找到其中的hotspot（热点，即b...
分类：
移动开发 时间：
2015-02-09 15:30:37
阅读次数：
197
AWS提供的服务和基础设施能够在云环境中建设可靠，容错和高可用的Web应用程序。在生产环境中，这些应用产生大量的日志信息。这些数据是任何公司运营web应用程序的重要知识来源，分析日志可以揭示信息，如交通模式，用户行为，市场资料等。 然而，作为Web应用程序的增长和的访问者数量的增加，存储和分析网络日志变得越来越具有挑战性。下图展示了如何使用AWS构建一个可扩展且可靠的大规模日志分析平台。该架构的核...
分类：
Web程序 时间：
2015-02-05 20:30:15
阅读次数：
324
数据流图的画法数据流图也称为数据流程图date flow diagram , DFD，是一种便于用户理解和分析系统数据流程的图形工具，他摆脱了系统和详细内容，精确的在逻辑上描写叙述系统的功能、输入、输出和数据存储等，是系统逻辑模型的重要组成部分。数据流图的基本组成成分数据流：是由一组固定成分的数据组...
分类：
其他好文 时间：
2015-01-31 12:07:59
阅读次数：
116
Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的有力补充。Dremel作为Google ...
分类：
其他好文 时间：
2015-01-27 21:35:45
阅读次数：
290
工具/原料搭建LoadRunner环境百度经验:jingyan.baidu.com方法/步骤1LoadRunner是一款性能测试软件，通过模拟真实的用户行为，通过负载、并发和性能实时监控以及完成后的测试报告，分析系统可能存在的瓶颈，LoadRunner最为有效的手段之一应该就是并发控制，通过在控制台...
分类：
其他好文 时间：
2015-01-26 15:02:32
阅读次数：
210
