标签：外包 blog alt 生产部 shadow 排错 配置 proc isp
网络工程师成长日记315-汉中某银行技术支持这是网络工程师成长日记的第315篇连载文章，记录网络工程师行业的点点滴滴，结交IT行业有缘之人
9/10随同老大到汉中市人民银行总行，对网络故障进行排查
主要是核心交换机上的VRRP热备份冗余出现不稳定状态，核心交换机光模块上的23/24口不停的出现UP/Down
时间紧迫，第2天早上，我们很早来到银行的机房，由于银行有重要的业务流量，只能对3层交换做一些简单查看，要对交换机问题进行仔细的排查，还需要等到晚上工作人员都下班后，这样我们先通过网管进行了解，问题的关键所在。
我们来到机房后，老大首先是对，master、backup交换机进行display cur 等等一些命令
由于是华3的设备，个人对命令不是很熟悉，在一旁看着老大熟练的敲击着键盘把敏感的信息存储起来
在日志里记录了很多，出错的提示，这些都是很有用的排错信息，经验很重要，接着就是查看网络的环境
由于没有拓扑的情况，我们和老大通过网络环境，粗略的画出了网络拓扑，我们就在机房里观察现象
等到中午一下班，我们就将在光模块上的接口接上同轴电缆，继续观察现象，接着一切貌似都正常着
等了1个多小时，接口稳定的工作着，一点都没有问题的现象，等着等着，不觉的肚子有些饿，银行的科长说先去吃饭......
吃过饭午饭，我们就只有一个小时的时间，为了不能耽误业务，我们回到机房，观察现象，交换机没有任何报错信息，老大说等等看，等上班有敏感流量了，问题来了，出现了VRRP不停的在Master和backup上切换，而且只要是生产部门和业务部门同时有流量，业务部就完全处于停滞状态，拔下23/24口的光缆业务部可以正常运作。
分析为什么会出现不停切换的原因，可能是VRRP上的配置问题或是流量大的缘故使得端口进行拥塞、ARP病毒的原因使得VRRP模拟出现了另一台路由器，Master和backup出现不稳定的情况。
为保证银行的正常的业务运转，不得不把23/24口的光缆取下来
我们的工作进度在一次延后，只能等到6：00钟，做一次整体的排查
通过以上的现象，老大和科长进行协商，需要生产部做触发流量，进行排查
通过5台直接与核心交换相连接的电脑，进行流量模拟，5台电脑不停的ping网关，结果出现时通时不同的现象
老大这个时候已经意识到问题的关键所在，这个时候，银行的上级领导耐不住寂寞、终止了我们的调试........
通过这次网络排查机会，随老大来到汉中，虽然工作的时候一波三折，在这样复杂的网络环境中进行排错
需要对问题的模块化、最小化，缩小问题的范围，一击必杀，解决问题的时候要有逻辑观念和稳定的情绪，排查问题的执着。
接触到这样的项目，我觉得是一种成长，在做老大的跟班时候，发现在排查网络错误的时候仅仅是学过NP、NA是完全不够的
这些只是理论和命令所必要的基础，在排错当中更重要的对网络环境的整体分析
这是一种经验，更是一种能力，需要机敏的头脑，迅速的反应，把问题细节化，这样在工作中才能事半功倍。
使我羡慕的老大就拥有着这样的品质。
经过这次技术外包，在老大身上不仅体现出要在技术上过硬、全局的分析能力
更重要的是经验，和与人沟通能力，值得我学习技术之外的知识。
要处理好人际关系，有沟通有协作这样问题才能快速的解决。
标签：外包 blog alt 生产部 shadow 排错 配置 proc isp
原文地址：http://blog.51cto.com/13448371/2066360
