码迷,mamicode.com
首页 > 其他好文 > 详细

性能优化——算法优化

时间:2014-06-14 15:06:57      阅读:234      评论:0      收藏:0      [点我收藏+]

标签:性能优化   算法   数据结构   linkedlist   hash   

背景

由于某种原因,我们系统需要记录另一个系统中一个表里的id但是,当我们记录完了以后,别人系统可能会删除那个表里的一些数据,这样的话,我们这边就多了一些无效数据,所以,我们必须的找到这些无效的id,然后将其删除。

 

开始,我们的实现是这样:我们将记录下来的所有id放在一个list里,然后传到另一个系统,他将他们已经删除的id返回。具体处理代码如下:

<pre name="code" class="java">public String findDeletedStuChooseCourseIds(List<String> stuChooseCourseIds) {
	List<String> delIds = new ArrayList<String>();
	// 循环遍历所有给定id,查看是否存在
	for (String id : stuChooseCourseIds) {
		StuChooseCourse stuChooseCourse = commonEao.get(StuChooseCourse.class, id);
		if (null == stuChooseCourse) {
			delIds.add(id);
		}
	}
	return JsonUtils.toJson(delIds);
}



开始的时候,数据量比较小,并没有感觉到这个方法有什么问题。但是随着时间的推移,数据量不断增加,最终达到十几万条数据,问题也就随之而来了。这个方法的执行时间已经远远超出了我们的忍耐极限,竟然5分钟都没有执行完,这个必须得优化。

分析一下执行慢的原因,很明显,循环里的查找数据费了时间,每循环一次,都需要去数据库中查找一次,这样能快就见鬼了。所以,必须减少与数据库的交互。于是代码变成了如下版本:

<pre name="code" class="java">public String findDeletedStuChooseCourseIds(List<String> stuChooseCourseIds) {
	//获取所有stuchoosecourse的ids
	String  nativeSql = "select id from tableName ";
	List<String> list = commonEao.executeGetNativeSQL(nativeSql);
	
	stuChooseCourseIds.removeAll( list );
	
	return JsonUtils.toJson(stuChooseCourseIds);
}



这样的话,只需要跟数据库进行一次交互,而且使用的jdk的removeAll方法(一般jdk实现的方法,效率都还不错),效率应该会提高不少。于是,我满怀希望的进行测试,但结果还是让人难以接受,效率似乎并没有提高多少。

分析一下原因,肯定是stuChooseCourseIds.removeAll(list )浪费了时间,因为我们使用的listarrayList,而arrayList在执行查找和删除操作时是比较费时间的。后来,我们换成了LinkedList,但结果还是一样。所以,我们必须换种思维方式了。于是,代码变成了如下版本:

<pre name="code" class="java">public String findDeletedStuChooseCourseIds(List<String> stuChooseCourseIds) {
	List<String> delIds = new ArrayList<String>();
	//获取所有stuchoosecourse的ids
	String  nativeSql = "select id from tableName ";
	List<String> list = commonEao.executeGetNativeSQL(nativeSql);
	//将list中的id放到HashSet中
	HashSet<String> dbSet = new HashSet<String>();
	for(String id : list){
		dbSet.add(id);
	}
	
	//将stuChooseCourseIds中的id放到dbSet中
	for(String givenId : stuChooseCourseIds){
		if(dbSet.add(givenId)){
			delIds.add(givenId);
		}
	}
	
	return JsonUtils.toJson(delIds);
}




这里使用HashSet来处理。首先,一旦用到Hash,查找效率定然会大幅度提升。其次,巧妙的利用了Set中元素不可重复的特性。这样一来,最终的执行效率提升了20多倍,原本五分钟都结束不了的方法,现在仅需要十几秒。这个结果还是让人比较满意的。

 

数据量小的时候,问题不明显,等数据量多了以后,问题出来了。这个问题也告诉我们,凡事都要用发展的眼光看问题。既然如此,那么让我们继续看最后一版的代码。

 

现在数据量是十几万,如果时间再向后推移,数据量变成百万,试想将百万的数据放在一个list里,暂且不说效率的问题,请问你的内存受得了吗?答案是肯定的,内存会被撑爆。那么,这个问题必须解决。于是,最终的版本如下:

<pre name="code" class="java">public String findDeletedStuChooseCourseIds(List<String> stuChooseCourseIds,String schoolCalendarId) {
	List<String> delIds = new ArrayList<String>();
	//获取所有stuchoosecourse的ids
	String  nativeSql = "select id from tableName where schoolcalendarid='"+schoolCalendarId+"'";
	List<String> list = commonEao.executeGetNativeSQL(nativeSql);
	//将list中的id放到HashSet中
	HashSet<String> dbSet = new HashSet<String>();
	for(String id : list){
		dbSet.add(id);
	}
	
	//将stuChooseCourseIds中的id放到dbSet中
	for(String givenId : stuChooseCourseIds){
		if(dbSet.add(givenId)){
			delIds.add(givenId);
		}
	}
	
	return JsonUtils.toJson(delIds);
}




方法又加了一个参数——学年学期,每一学期产生的数据基本上是不变的,这样一来,无论多久之后,方法的执行效率都不会再受影响。

 

通过这次的优化,让我真正感受到了数据结构的魅力。骚年,有时间好好学习一下数据结构吧!

性能优化——算法优化,布布扣,bubuko.com

性能优化——算法优化

标签:性能优化   算法   数据结构   linkedlist   hash   

原文地址:http://blog.csdn.net/dreamcatchergo/article/details/30717637

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!