摘要： 1 shuffle原理 1.1 mapreduce的shuffle原理 1.1.1 map task端操作 1.1.2 reduce task端操作 1.2 spark现在的SortShuffleManager 2 Shuffle操作问题解决 2.1 数据倾斜原理 2.2 数据倾斜问题发现与 ...
分类：
其他好文 时间：
2017-10-07 18:45:55
阅读次数：
141
一、服务器资源 服务器所能提供CPU、内存、硬盘的性能对处理能力有决定性影响。Tomcat性能可以通过提升服务器的性能来进行调优，但一般公司不会选择这种调优方式，而使用优化配置参数来调优。 二、配置参数调优 1. JVM参数调优，即Tomcat堆虚拟内存 2、禁用DNS查询，打开压缩 3、调整线程数 ...
分类：
其他好文 时间：
2017-09-10 21:39:12
阅读次数：
213
寻求redis大咖来我司进行培训1.基于linux的redis项目，高并发使用，监控管理及参数调优培训2.基于linux的redis项目客户端优先级、订阅发布队列优先级等接口的使用、存在的陷阱及实战经验3.redis的客户端基于C++的开发培训4.redis集群、复制、部署及优化和实践经验已有实践， ...
分类：
其他好文 时间：
2017-09-08 12:01:05
阅读次数：
164
JVM 常用参数详解： -server：一定要作为第一个参数，在多个 CPU 时性能佳，还有一种叫 -client 的模式，特点是启动速度比较快，但运行时性能和内存管理效率不高，通常用于客户端应用程序或开发调试，在 32 位环境下直接运行 Java 程序默认启用该模式。Server 模式的特点是启动 ...
分类：
其他好文 时间：
2017-09-07 13:35:02
阅读次数：
156
前段时间安装好的redis，今天用脚本安装的时候突然出现版本异常的问题，所以更新一篇为大家提供参考 本次安装在CentOS6.5，采用的redis-3.2.10，最新的redis-4.0.1安装同样适用，不过由于4.0.1版本的redis改动较大，大家自己选择即可。, 1.基础环境配置，上传安装包 ...
分类：
其他好文 时间：
2017-09-05 15:53:51
阅读次数：
441
模型性能评估的常用指标 真阳性（True Positive，TP）：指被分类器正确分类的正例数据 真阴性（True Negative，TN）：指被分类器正确分类的负例数据 假阳性（False Positive，FP）：被错误地标记为正例数据的负例数据 假阴性（False Negative，FN）：被 ...
分类：
其他好文 时间：
2017-08-24 13:33:05
阅读次数：
411
##############################2017-08-08笔记一、优化部分1.操作系统参数调优2.数据库参数调优3.防火墙设置等#############################二、安装部分1.创建用户和组#groupaddmysql#useradd-gmysqlmysql2.创建数据库安装目录、授权#mkdir/mysql/mysql/data/mysql/log#chow..
分类：
数据库 时间：
2017-08-08 12:22:27
阅读次数：
667
一、关于一个SQL的简单的工作过程 1、工作前提描述 1、启动MySQL，在内存中分配一个大空间innodb_buffer_pool(其中log_buffer) 2、多用户线程连接MySQL，从内存分配用户工作空间(其中排序空间) 3、磁盘上有数据库文件、ib_logfile、tmp目录、undo ...
分类：
数据库 时间：
2017-07-20 21:00:58
阅读次数：
802
首先续上篇测试： 经过上一篇文章中对代码及参数的修改，Hbase的写入性能在不开Hlog的情况下从3~4万提高到了11万左右。 本篇主要介绍参数调整的方法，在HDFS上加上压缩卡，最后能达到的写入性能为17W行每秒（全部测试都不开Hlog）。 上篇测试内容： 详情 http://blog.csdn. ...
分类：
其他好文 时间：
2017-07-04 20:25:08
阅读次数：
229
一般优化linux的内核，需要优化什么参数 ...
分类：
系统相关 时间：
2017-06-23 19:31:42
阅读次数：
222
