标签：
最近公司在做一个项目，需要对爬取到的数据进行去重，方法就是根据数据的id，去除掉id重复的数据。
下面是这个方法的演化过程。
// 去重 $arr_id = array(); $LeTVFeedList = array(); for ($i = 0; $i < count($arrFeedList); $i++){ if(!in_array($arrFeedList[i][‘id‘], $arr_id)){ $LeTVFeedList[] = $arrFeedList[i]; $arr_id[] = $arrFeedList[i][‘id‘]; } }
从上面的算法中可以看到，上面的算法用了两个数组，两个循环，所以它的时间复杂度为O(n^2)，空间复杂度为O(2n)。上面的算法，我们可以从in_array()入手，考虑下面的因素。
用数组的id作数组下标，来存储爬取到的数据值。
// 去重 $tmp_arr = array(); for ($i = 0; $i < min(count($arrFeedList),10); $i++){ $tmp_arr[$arrFeedList[$i][‘id‘]] = $arrFeedList[$i]; } $arrLeTVFeedList = array(); foreach ($tmp_arr as $key => $value){ $arrLeTVFeedList[] = $value; }
这里用了两个循环，两个数组，时间复杂度是O(2n),空间复杂度是O(2n).
后来又对循环进行了优化，变成如下代码：
// 去重 $tmp_arr = array(); $arrLeTVFeedList = array(); foreach ($arrFeedList as $key => $value){ if(!isset($tmp_arr[$key[‘id‘]])){ $tmp_arr[$key[‘id‘]] = $value; $arrLeTVFeedList[] = $value; } }
isset是速度要快于for循环，以上代码是最终版本
标签：
原文地址：http://www.cnblogs.com/tf-Y/p/5768901.html
