码迷,mamicode.com
首页 > 编程语言 > 详细

java之去重方式,以及效率问题

时间:2018-08-24 19:32:51      阅读:923      评论:0      收藏:0      [点我收藏+]

标签:utils   long   private   缩减   重复数   四种   user   com   相同   

之前面试被问到关于java如何去重的问题,当时没怎么留意,今天刚好项目中用到了,所以记录一下。

实体类:

/**
 * 用户类
 */
class User{
private String username;
private String password;

    public User(String username, String password) {
        this.username = username;
        this.password = password;
    }

    public String getUsername() {
        return username;
    }

    public void setUsername(String username) {
        this.username = username;
    }

    public String getPassword() {
        return password;
    }

    public void setPassword(String password) {
        this.password = password;
    }
}

 

测试类:

 public static void main(String[] args) {

        ArrayList<User> arrayList = new ArrayList<>();
        long currentTimeMillis = System.currentTimeMillis();
        int f = 100000;
        for(int i = 0; i < f; i++){
            arrayList.add(new User(""+i, "7878"));
        }
        Iterator<User> iterator = arrayList.iterator();
        Set<String> hashSet = new HashSet<>();
        LinkedList<User> newList = new LinkedList<>();

        //  第一种:set集合去重,不改变原有的顺序,根据username唯一标识去重
        while (iterator.hasNext()){
            User u = iterator.next();
            // 根据set不能存放相同值的特性
            if(!StringUtils.isEmpty(u.getUsername())){
                if (hashSet.add(u.getUsername())){
                    //  将其重新放入在LinkedList中
                    newList.add(u);
                }
            }
        }
        long currentTimeMillis1_1 = System.currentTimeMillis();
        System.out.println("第一种set集合去重,不改变原有的顺序:"+(currentTimeMillis1_1 - currentTimeMillis));

        // 第二种:遍历后判断赋给另一个list集合,利用List的contains方法循环遍历
        List<User> listNew=new ArrayList<>();
        for (User str:arrayList) {
            if(!listNew.contains(str)){
                listNew.add(str);
            }
        }
        long currentTimeMillis1_2 = System.currentTimeMillis();
        System.out.println("第二种:遍历后判断赋给另一个list集合,利用List的contains方法循环遍历:"+(currentTimeMillis1_2 - currentTimeMillis1_1));

        //  第三种:set去重
        Set set = new HashSet();
        List<String> listNew2=new ArrayList<>();
        set.addAll(arrayList);
        listNew2.addAll(set);

        long currentTimeMillis1_3 = System.currentTimeMillis();
        System.out.println(" 第三种:set去重"+(currentTimeMillis1_3 - currentTimeMillis1_2));

        //  第四种:set去重(缩减为一行)
        List<String> listNew3=new ArrayList<>(new HashSet(arrayList));

        long currentTimeMillis1_4 = System.currentTimeMillis();
        System.out.println("第四种:set去重(缩减为一行)"+(currentTimeMillis1_4 - currentTimeMillis1_3));

        //  第五种:去重并按自然顺序排序
       /* TreeSet treeSet = new TreeSet(arrayList);
        List tempList = new ArrayList();
        tempList.addAll(treeSet);
        //List<User> listNew4=new ArrayList<>(new TreeSet<User>(arrayList));

        long currentTimeMillis1_5 = System.currentTimeMillis();
        System.out.println(currentTimeMillis1_5 - currentTimeMillis1_4);*/

        //  第六种:双重for循环,去重
        for(int i = 0 ; i < arrayList.size() - 1; i ++){
            for(int j = arrayList.size() - 1; j > i; j --){
                if(arrayList.get(j).equals(arrayList.get(i))){
                    arrayList.remove(j);
                }
            }
        }
        long currentTimeMillis1_6 = System.currentTimeMillis();
        System.out.println("第六种:双重for循环,去重"+(currentTimeMillis1_6 - currentTimeMillis1_4));

        //  第七种:利用HashSet不能添加重复数据的特性 由于HashSet不能保证添加顺序,所以只能作为判断条件
        HashSet<User> set2 = new HashSet<>(arrayList.size());
        List<User> result = new ArrayList<>(arrayList.size());
        for (User str3 : arrayList) {
            if (set2.add(str3)) {
                result.add(str3);
            }
        }
        arrayList.clear();
        arrayList.addAll(result);
        long currentTimeMillis1_7 = System.currentTimeMillis();
        System.out.println("第七种:利用HashSet不能添加重复数据的特性 由于HashSet不能保证添加顺序,所以只能作为判断条件"+(currentTimeMillis1_7 - currentTimeMillis1_6));

        //   第八种:利用LinkedHashSet不能添加重复数据并能保证添加顺序的特性
        LinkedHashSet<User> set5 = new LinkedHashSet<>(arrayList.size());
        set5.addAll(arrayList);
        arrayList.clear();
        arrayList.addAll(set5);

        long currentTimeMillis1_8 = System.currentTimeMillis();
        System.out.println("第八种:利用LinkedHashSet不能添加重复数据并能保证添加顺序的特性"+(currentTimeMillis1_8 - currentTimeMillis1_7));


    }

控制台输出:

 

技术分享图片

提示:在数据量大的情况下,最好不要使用第二种和第六种,速度太慢了

 至于效率问题大家自己根据实际情况选择吧。

 

java之去重方式,以及效率问题

标签:utils   long   private   缩减   重复数   四种   user   com   相同   

原文地址:https://www.cnblogs.com/dqcer/p/9531337.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!