码迷,mamicode.com
首页 > 其他好文 > 详细

falcon 数据丢失处理方法参考

时间:2019-09-02 12:10:08      阅读:93      评论:0      收藏:0      [点我收藏+]

标签:数据   img   src   gre   控制   image   时间   数据量   文件   

背景:使用 netstat -ano | grep ESTABLISH | grep 11883 监控 send_Q 和 recv_Q 的值,由于单次推送数据量在1w条以上,导致falcon-agent处理不过来,造成数据丢失,图形断点.

1,为什么 falcon 图形会断点?

有如下两条原因:

  • tcp 连接断开,导致当前监控点无数值。
  • 数据丢失,空白点位时间段数据未上传。

2,验证数据丢失

  • 机器上找一个长连接进行监控,并用脚本打点到日志文件,与 falcon 图形比对丢失点连接是否存在。经过实际验证,发现数据确实是 丢失 。
    技术图片
  • test.sh
    技术图片
  • 结果:
    技术图片

3,为什么数据会丢失?

  • 因为我们的连接数在 5k~1w 之间,
    技术图片
  • 每分钟取值,并打两个指标上去,
    技术图片
  • 也就是每分钟我们会推送 1w~2w 条数据到 falcon,

  • 单线程执行总花费时间 37s 左右,

  • 多线程执行总花费时间为 0s

一开始我们怀疑是单线程执行慢的原因,担心数据未完成插入,被丢弃,所以采用了拉长推送时间,改为每2/3/5分钟尝试,结果都是失败。

后来尝试改为多线程,但是问题依旧,后来经过讨论以及请教其它同事,怀疑是不是因为短时间内推送数据过多(根据同事提供历史单次推送在2000条,没有数据丢失问题),导致 falcon-agent 处理不过来,所以丢弃了部分数据。

于是在原基础上,对数据推送进行切割,分批次推送(500/List)+ 延时(20ms,避免多进程执行过快),控制数据推送总花费时间在 15s 以内,完美解决了此次数据丢失问题。
技术图片
技术图片
技术图片

总结

原因: 短时间内推送数据量过大

解决办法: 分批次推送数据 + 延时

补充知识:

1??send_Q与recv_Q代表什么?

https://stackoverflow.com/questions/36466744/use-of-recv-q-and-send-q?noredirect=1&lq=1
https://milestone-of-se.nesuke.com/sv-basic/linux-basic/ss-netstat/

2??什么是tcp三次握手?

https://github.com/jawil/blog/issues/14

falcon 数据丢失处理方法参考

标签:数据   img   src   gre   控制   image   时间   数据量   文件   

原文地址:https://www.cnblogs.com/jonnyan/p/11445389.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!