XGBoost参数调优完全指南(附Python代码):http://www.2cto.com/kf/201607/528771.html https://www.zhihu.com/question/41354392 【以下转自知乎】 https://www.zhihu.com/question/4 ...
分类:
编程语言 时间:
2016-12-02 18:40:13
阅读次数:
773
Doc1: /proc/sys/net目录 所有的TCP/IP参数都位于/proc/sys/net目录下(请注意,对/proc/sys/net目录下内容的修改都是临时的,任何修改在系统重启后都会丢失),例如下面这些重要的参数: 参数(路径+文件) 描述 默认值 优化值 /proc/sys/net/c ...
分类:
系统相关 时间:
2016-11-24 15:03:43
阅读次数:
391
摘要: 1 shuffle原理 1.1 mapreduce的shuffle原理 1.1.1 map task端操作 1.1.2 reduce task端操作 1.2 spark现在的SortShuffleManager 2 Shuffle操作问题解决... ...
分类:
其他好文 时间:
2016-11-11 17:25:49
阅读次数:
270
资源参数调优 了解完了Spark作业运行的基本原理之后,对资源相关的参数就容易理解了。所谓的Spark资源参数调优,其实主要就是对Spark运行过程中各个使用资源的地方,通过调节各种参数,来优化资源使用的效率,从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数,每个参数都对应着 ...
分类:
其他好文 时间:
2016-11-08 11:36:54
阅读次数:
376
摘要 1.num-executors 2.executor-memory 3.executor-cores 4.driver-memory 5.spark.default.parallelism 6.spark.storage.memoryFraction 7... ...
分类:
其他好文 时间:
2016-11-04 01:13:27
阅读次数:
443
关于php-fpm.conf参数调优,只对重要的参数进程调优.其它可参数前辈的. http://php.net/manual/zh/install.fpm.configuration.php (官方的) http://www.cnblogs.com/argb/p/3604340.html http: ...
分类:
Web程序 时间:
2016-09-29 20:40:30
阅读次数:
2497
xgboost入门非常经典的材料,虽然读起来比较吃力,但是会有很大的帮助: 英文原文链接:https://www.analyticsvidhya.com/blog/2016/03/complete-guide-parameter-tuning-xgboost-with-codes-python/ 原 ...
分类:
编程语言 时间:
2016-09-26 15:59:45
阅读次数:
212
tomcat的性能的优化是一个综合性的技术。对于tomcat默认的参数配置,它只适用于开发环境,并不适用于生产环境;一般针对生产环境tomcat服务器的配置主要从以下几个方面来考虑: 1. tomcat的内存优化(JVM参数调优) 2. tomcat线程池的优化 maxThreads : 最大处理请 ...
分类:
其他好文 时间:
2016-08-31 00:45:50
阅读次数:
225
1. page cache linux操作系统默认情况下写都是有写缓存的,可以使用direct IO方式绕过操作系统的写缓存。当你写一串数据时,系统会开辟一块内存区域缓存这些数据,这块区域就是我们常说的page cache(操作系统的页缓存)。查看系统内存常用的命令有:vmstat、free、top ...
分类:
系统相关 时间:
2016-08-11 00:33:52
阅读次数:
381
Doc1: /proc/sys/net目录 所有的TCP/IP参数都位于/proc/sys/net目录下(请注意,对/proc/sys/net目录下内容的修改都是临时的,任何修改在系统重启后都会丢失),例如下面这些重要的参数: 参数(路径+文件) 描述 默认值 优化值 /proc/sys/net/c ...
分类:
系统相关 时间:
2016-08-08 14:34:50
阅读次数:
242