最近老大让用Spark做一个ETL项目，搭建了一套只有三个结点Standalone模式的Spark集群做测试，基础数据量大概8000W左右。看了官方文档，Spark确实在Map-Reduce上提升了很多，可是官方明确提出了在Interactive Data方面性能提升最大。但是做ETL的数据之间是平...
分类：
其他好文 时间：
2015-04-24 00:48:02
阅读次数：
142
2004年毕业的时候，听说Java程序员工作比较好找，就这样开始与Java结缘。一晃10几年过去了，做了很多项目，也发布了一些Java方面的技术性文章，总的来说，这10年时间一直都在与一个永恒的话题纠缠—“性能优化”。
回想一下，我的大多数时间都被花在了处理整个大型系统的性能提升方面，遇到的问题很多情况下是本可以使用O(log N)算法，结果我却使用了O(n2)算法，此外，一直在纠缠于GC性能优...
分类：
编程语言 时间：
2015-04-18 07:34:57
阅读次数：
174
与Apache 2.2.x相比，Apache 2.4.x提供了很多性能方面的提升，包括支持更大流量、更好地支持云计算、利用更少的内存处理更多的并发等。除此之外，还包括性能提升、内存利用、异步 I/O的支持、动态反向代理设置、与时间驱动的Web服务器相当或更好的性能、更强大的处理资源分配能力，更便捷的...
分类：
Web程序 时间：
2015-04-17 19:58:45
阅读次数：
138
原文：http://www.cocoachina.com/ios/20150225/11163.html1.NSDateFormatterNSDateFormatter对象本身初始化很慢，NSCalendar也是。一半比较好的方式是通过添加属性（推荐）或创建静态变量保证对象只被初始化一次，多次复用。...
分类：
移动开发 时间：
2015-04-17 15:30:24
阅读次数：
238
本文描述了RSS以及在DPDK中如何配置RSS达到性能提升和统一分发。 > DPDK 1.8.0 ## 什么是RSS RSS(Receive Side Scaling)是一种能够在多处理器系统下使接收报文在多个CPU之间高效分发的网卡驱动技术。 * 网卡对接收...
分类：
其他好文 时间：
2015-04-01 20:25:55
阅读次数：
1790
JDBC当使用INSERT INTO....VALUES()语句批量插入的时候，应该使用JDBC的PreparedStatement的批量操作方法，而不是采用一条一条执行的方法。例如（来源：http://superjavason.iteye.com/blog/255423）：如上图，代码有3个关键的处理步骤：1）关闭自动提交2）addBatch3）executeBatch使用这种方法，SQLite...
分类：
数据库 时间：
2015-03-31 12:54:02
阅读次数：
143
编程从业5年总结的14条经验 - 博客 - 伯乐在线 排列不分先后： 1. 当性能遇到问题时，如果能在应用层进行计算和处理，那就把它从数据库层拿出来。排序和分组就是典型的例子。在应用层做性能提升总是要比在数据库层容易的多。就像对于MySQL，sqlite更容易掌控。 2. 关于并行计算，如果能避免就...
分类：
其他好文 时间：
2015-03-31 12:14:27
阅读次数：
133
前面介绍到了3个应用的安装，接下来是对其中一个应用做压力测试，后用xcache提供php加速功能,再来测试一下性能提升了多少，而后把mysql分离出来，做压测看能否提升性能。1.对wordpress做压力测试[root@smallpc~]#ab-c100-n1000http://192.168.20.163/wordpress/index.phpThisis..
分类：
其他好文 时间：
2015-03-20 18:55:23
阅读次数：
149
小蜜蜂网站监测-让网站运维变得简单网站性能_网站漏洞_网站安全_故障告警_网站性能优化_网站性能提升对于电商网站的迅速崛起，大家最担心的就是自己的信息被泄露，通过网络交易造成利益的损失。我们经常可以听到新闻曝光某某账户被盗，信息通过互联网或者某网站泄露，被攻击者攻击信息被窃取，导致财产损失等。如果商...
分类：
Web程序 时间：
2015-03-18 15:49:20
阅读次数：
206
对于Hibernate这类ORM而言,缓存显的尤为重要,它是持久层性能提升的关键.简单来讲Hibernate就是对JDBC进行封装,以实现内部状态的管理,OR关系的映射等,但随之带来的就是数据访问效率的降低,和性能的下降,而缓存就是弥补这一缺点的重要方法. 缓存就是数据库数据在内存中的临时容器,包....
分类：
Web程序 时间：
2015-03-16 12:33:33
阅读次数：
185
