在Hive中，ORDER BY语句是对查询结果集进行整体的排序，最终将会产生一个reducer进行全局的排序，达到的最终结果是和传统的关系型数据库是一样的。 在数据量非常大的时候，全局排序的单个reducer将会成为性能瓶颈，有可能由于数据量过大而跑不出来结果。 Hive中可以设置hive.mapr ...
分类：
数据库 时间：
2018-08-17 00:41:13
阅读次数：
198
在大型Web应用系统中，由于请求的数据量过大以及并发的因素，导致Web系统会出现宕机的现象，解决这一类问题的方法我个人觉得主要在以下几个方面： 1.IIS 负载均衡。 2.数据库 负载均衡。 3.系统架构优化，比如报表服务器和应用服务器分开等。 本文主要介绍以下IIS负载均衡的实现方法，作者也是慢慢 ...
分类：
其他好文 时间：
2018-06-27 18:57:16
阅读次数：
150
1.实验环境： 使用8台CentOS主机，实现filebeat+redis+logstash+els集群(3台)+kibana来完成搜索日志相关内容，目标：filebeat来完成收集本机http数据，收集完成后发送给redis，redis主要是来避免数据量过大，logstash处理不过来，logstash是用来格式化数据，将收集来的数据格式化成指定格式，els集群是将格式化完
分类：
其他好文 时间：
2018-06-21 22:28:32
阅读次数：
226
eb传输，前台的参数数据量过大【json格式的字符串】，可能达到几M，ajax调用后台方法时，无法传递问题分析：tomcat上默认post提交大小为2M，左右，超过这个大小了，就会传值不成功解决方法：修改post提交大小的限制大小，在server.xml上修改，如下：<Connectorport="8080"protocol="HTTP/1.1"con
分类：
Web程序 时间：
2018-06-20 13:06:41
阅读次数：
737
查询速度慢的原因很多，常见如下几种： 1、没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷) 2、I/O吞吐量小，形成了瓶颈效应。 3、没有创建计算列导致查询不优化。 4、内存不足 5、网络速度慢 6、查询出的数据量过大（可以采用多次查询，其他的方法降低数据量） 7、锁或者死锁(这 ...
分类：
数据库 时间：
2018-06-13 11:38:33
阅读次数：
192
在tcp编程底层都有拆包和粘包的机制 拆包 当发送数据量过大时数据量会分多次发送 以前面helloWord代码为例 打印 可以发现这里拆分成了2次发送 粘包 当发送数据量过小时会组合成一次发送 可以发现有时多条发送的数据会组合成一条发送 解决方案 netty提供了解码器来解决拆包和粘包的问题 Lin ...
分类：
Web程序 时间：
2018-06-06 23:48:21
阅读次数：
234
因为目前使用的工具是chainer，所以就用里边的简写了。 batchsize 128 一次迭代修改参数所使用的数据个数 epoch 100 一次epoch是把所有训练数据过一遍的过程，一共要过100次。当数据量过大时，可以把一次epoch规定为n次迭代。 snapshot 10 每迭代10次，保存 ...
分类：
其他好文 时间：
2018-05-21 18:01:34
阅读次数：
195
分页一 因为数据量过大，而又想直观便捷的查看数据，进而通过分页显示就可以完成这项工作 app中views.py html文件 li.html 分页二 ...
分类：
Web程序 时间：
2018-05-17 19:55:32
阅读次数：
226
在我们用WCF传输数据的时候，如果启用默认配置，传输的数据量过大，经常会出这个错误。 WCF包含服务端与客户端，所以这个错误可能出现在服务端返回数据给客户端，或客户端传数据给服务端时。 1. 服务端返回数据给客户端报错 在客户端配置文件中，主要是配置maxReceivedMessageSize <s ...
分类：
其他好文 时间：
2018-04-23 15:38:36
阅读次数：
130
这篇文章我们针对上篇链路跟踪的遗留问题进行改造升级 一、将追踪数据存放到MySQL数据库中 默认情况下zipkin将收集到的数据存放在内存中(In-Memeroy)，但是不可避免带来了几个问题： 在服务重新启动后，历史数据丢失。 在数据量过大的时候容易造成OOM错误 在服务重新启动后，历史数据丢失。 ...
分类：
编程语言 时间：
2018-04-14 00:35:52
阅读次数：
889
