这篇博文分享的是我们针对一个耗时20秒的请求，用Wireshark进行抓包分析的过程。请求的流程是这样的：客户端浏览器 -> SLB(负载均衡) -> ECS(云服务器) -> SLB -> 客户端浏览器。从分析的情况看，SLB与客户端的网络环境都可能引起这个问题。但是从IIS日志来看，有些耗时长的...
分类：
其他好文 时间：
2014-06-19 00:31:12
阅读次数：
779
使用 Apache Pig 从大数据集中获得所需的信息Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言，并在...
分类：
其他好文 时间：
2014-06-18 23:59:12
阅读次数：
305
关键字：微信公众平台开发 作者：方倍工作室在这篇微信公众平台开发教程中，我们假定你已经有了PHP语言程序、MySQL数据库、计算机网络通讯、及HTTP/XML/CSS/JS等基础。我们将使用微信公众账号方倍工作室作为讲解的例子，二维码见底部。本系列教程将引导你完成如下任务：创建新浪云计算平台应用启用...
分类：
微信 时间：
2014-06-18 23:10:53
阅读次数：
790
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.背景 这是博主第一次大数据实战的经历，之前都是自己写一些算法然后测试很小的数量级。这次是真正接触到TB集的数据，而且完全是在云端处理。下面就把这次的经历简单分享一下。首先简单介绍一下这次比赛的环境吧：1.云：采用的是阿里云2.数据：从四月十五号到八月十五号期间，用户两千多万的购买行为（包括时间，购买、收...
分类：
其他好文 时间：
2014-06-16 14:21:39
阅读次数：
351
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下.....
分类：
其他好文 时间：
2014-06-16 13:22:07
阅读次数：
309
优质数据库在处理大数据的程序或系统中是有非常重要的作用的，所以对于数据库的设计有很多的要求和规定。首先数据库要有很好的可维护性、灵活性，并且数据库的算法逻辑性也要有一定的优化性，这样可以对资源进行有效利用，并且处理数据的时间也会缩短。...
分类：
数据库 时间：
2014-06-15 12:27:34
阅读次数：
238
超过70秒的请求是通过分析IIS日志发现的，通过Wireshark抓包分析请求是9:22:21收到的。这个请求响应内容的长度是：Content-Length 1154110（1.1MB），云服务器在收到请求后，发了一个ACK包。接下来就是一堆的TCP segment of a reassembled...
分类：
其他好文 时间：
2014-06-15 12:08:40
阅读次数：
527
你需要了解大数据高并发的瓶颈在哪里，一般都是数据库层面的，机械硬盘承载不起非常快速的读写操作，cpu承载不起大量的逻辑运算，所以最基本的解决思路就是：1.换固态硬盘加快硬盘的读写效率。2.建立缓存中间件降低对硬盘的读写次数，缓存不用多说了，最最最基本和重要的优化策略。3.将硬盘的读写或者数据的计算分...
分类：
其他好文 时间：
2014-06-14 17:13:23
阅读次数：
179
