Spark应用程序处理的大数据多是运行于JVM上的，经常要面对GC优化问题。下面给出由于Linux系统原因导致的GC耗时异常的处理方式：打开Spark的GC日志，在spark-env.sh文件中的SPARK_JAVA_OPTS参数上添加-verbose:gc-XX:+PrintGCDetails-X...
分类：
其他好文 时间：
2015-02-11 00:30:58
阅读次数：
304
第四章：静态优化模型（微分法建模，求导得目标函数最优解）
现实世界中普遍存在着优化问题；静态优化模型指求解问题的最优解；重点是如何根据目的确定恰当的目标函数；一般使用微分法。
1. 存储模型：存在某种矛盾，寻找平衡最优点！
a) 问题描述：配件厂为装配生产若干中产品，轮换产品时因更换设备要付生产准备费，产量大于需求时因积压资金要付存储费，该场生产能力非常大，...
分类：
其他好文 时间：
2015-02-03 13:27:13
阅读次数：
165
周三去某在线旅游公司面试。被问到了一个关于数据量大的优化问题。问题是：一个主外键关联表，主表有一百万数据，外键关联表有一千万的数据，要求做一个连接。本人接触过单表数据量最大的就是将近两亿行历史数据（某运营商一业务一年数据）做查询，所有查询相关列必须做索引，而且还要保证不会出现全表扫描情况。也从来没有...
分类：
数据库 时间：
2015-02-01 10:49:31
阅读次数：
206
动态规划（Dynamic Programming）是算法的设计方法之一，通常用于最优化问题，此类问题可能有多种可行解，而我们希望找出一个最优的解（最大或最小）。动态规划的设计可以分为以下几个步骤：
1.描述最优解的结构
2.递归的定义最优解的值
3.按自底向上的方式计算最优解的值
4.由计算出的结果构造一个最优解
...
分类：
其他好文 时间：
2015-01-29 14:42:38
阅读次数：
182
LP(Linear programming,线性规划)是一种优化方法,在优化问题中目标函数和约束函数均为向量变量的线性函数,LP问题可描述为:min xs.t. A·x b Aeq·x=beq vlb x vub其中 ，...
分类：
其他好文 时间：
2015-01-25 06:30:17
阅读次数：
338
贪心算法的设计思想 贪心算法在解决这个问题的策略上目光短浅，仅仅依据当前已有的信息就做出选择，并且一旦做出了选择，无论将来有什么结果，这个选择都不会改变。换言之，贪心法并非从总体最优考虑，它所做出的选择仅仅是在某种意义上的局部最优。贪心算法对于大部分的优化问题都能产生最优解，但不能总获得总体最...
分类：
编程语言 时间：
2015-01-22 17:44:51
阅读次数：
189
https://www.mongodb.com/products/mongodb-enterprise-advanced1. 技术支持- 设计问题- 升级指导- 部署验证- 配置建议- 性能优化问题- 新特性演示- 获取开发工程师的帮助- ...2. 内置MongoDB管理服务(MMS)- 备份：p...
分类：
数据库 时间：
2015-01-16 12:48:27
阅读次数：
202
个人认为，增加Xlock进行查询，是为了有效的避免脏读，尽管增加pagelock的方式可以避免S锁的优化问题，但可能导致锁范围过大。
如果不存在普通S锁的查询，不添加pagelock提升锁级别，也是可以满足大并发需求的。
分类：
其他好文 时间：
2015-01-15 20:14:42
阅读次数：
127
1、问题描述： 萤石云系统允许用户修改视频加密密钥，出于安全性考虑，并不在服务器端保存用户的旧明文密钥，而是只保存了两次MD5值，同时，服务器记录了云存储录像和其对应正确密钥的两次MD5值，当用户登录时，会返回该对应关系，用户需要查看老的云存储录像时，通过匹配输入的明文密钥的两次MD5值和服务器返回...
分类：
其他好文 时间：
2015-01-13 19:38:27
阅读次数：
182
