标签：
数据同步
1、靠记录中本身的时间戳来增量更新
分页获取必须排序（时间戳）， 排序后也会出错（会出现记录跳过的情况）,中途脚本停止更是会出错
非分页的会出问题，脚本中断更会出问题（时间戳不能保证是从低到高）
解决方法：
1、分页条数为1、并排序但效率不高
2、分页采用每次获取比当前时间戳大的的limit条数,再不断变化时间戳
3、数据一次性全部取出来排序处理(适用于小数据量情况)
2、时间戳存在缓存中，等全部处理完再更新时间戳
普通分页仍旧会出现记录跳过的情况
非分页的则不会出现问题（因为时间戳是最后才更新），脚本终端也不会出问题。
总结出来的方式：
1、时间戳存在缓存中
1、减少计算
2、最后才会更新时间戳感觉更不容易出问题，最多会重复处理
2、每次运行 缓存中的时间和脚本当时的时间，运行完成后设置当前时间到缓存，这样会减少重复运行的可能
3、遍历方式
1、分页采普通方式， 虽然某些情况下会出问题，但可以和全量更新公用一套，减少开发时间 （全量更新会弥补）
2、如果可以用其他维度的，更好，因为这样不会出问题
标签：
原文地址：http://www.cnblogs.com/siqi/p/4316992.html
