长度为N的数据流,要从中随机取得k个数据,N很大(可能大于你的内存和磁盘容量)且未知,只能遍历一次,求怎样可以取得完全随机的k个数据。
方法为:
1、定义一个长度为k的数组存储前k个数据
2、数据流流动,当输入的数据流的数据数量为i(k<i<N)时,取一个1到i的数字,如果生成的数字小于k,则把这个数字所对应的数组内的数字与i上的数进行交换。
完成这两步之后便可以实现在长度为N的数据流中取出k个随机数的目的了。
接下来将会证明对于N个数据,每个数据被取到的概率均为k/N。
证明:
采取数学归纳法证明对于输入i个数据(k<i<N)时,前i个数据被放入数组的概率都为k/i.
1、当i=k+1时,易得前i个数被放入数组的概率均为k/(k+1);
2、假设当i时,所有数据被放入数组的概率均为k/i.
3、证明当i+1时,所有数据被放入数组的概率均为k/(i+1)
首先对于第i+1个数据,显然它被放入数组的概率为k/(i+1)
对于前i个数据中的任意一个,它被放入数组的概率为k/i(由2),而它在输入第i+1个数据后仍然留在数组的概率应该为“它被输入到数组并且没有被第i+1个数据置换出来的概率”。
"被第i+1个数据置换出来的概率"此概率为((k/(i+1))*(1/k)=1/(i+1)
"没有被第i+1个数据置换出来的概率"此概率为1-1/(1+i)=i/(1+i)
“它被输入到数组并且没有被第i+1个数据置换出来的概率”此概率为k/i*(i/(1+i))=k/(1+i)
所以对于i+1个数据流,每一个数据被输入到数组的概率均为k/(1+i)
证明成功
原文地址:http://blog.csdn.net/class_brick/article/details/46576303