一场关于异构平台通信的风波（粘包·大小端方式·网络字节序）

标签：

一.引子

      前段时间用StriveEngine做一个信息采集系统，服务器是Windows的，客户端是各种单片机，以及Unix等等平台。这些异构的平台，被我召集起来“加强对话， 扩大共识， 深化合作”。都说有人的地方就有江湖，讲真，机器世界也一样！这些异构的平台，平日里各自为政，井水不犯河水，倒也相安无事。如今群雄会盟，共商大计，如我所料，势必会上演一波真正的血雨腥风！

      就像新闻联播里常说的，“加强对话， 扩大共识， 深化合作”，首先得“加强对话”吧。

      看着各位爷陆续到场，我稍稍清了清嗓子，不揣冒昧，说道：

     “各路英雄好汉，这次把大家召集前来，是想让大家强强联手，搞一个大新闻！”

      场下变得安静，各个聚精会神。于是我继续说道：

    “到底是搞个什么呢？就是搞一个【信息采集系统】！”

      场下开始窃窃私语。我接着说：

    “大家有什么好的建议，有什么需要彼此沟通了解的，都请各抒己见，畅所欲言！”

      掌声响起。

      掌声落定。

      代表们开始争相发言。

      于是问题来了——他们都不讲普通话的好吗！——某型号单片机操一口湖南话，Windows服务器则操一口纽约腔——场面瞬时凌乱！更有一不可名状某终端，恕我孤陋寡闻，您讲的是......是爪哇话吗？怎么还一股孜然味儿？更有两位爷看上去是一言不合，准备动手！我还在纳闷，这两位语言都不通，是怎么一言不合的？！······场面逐渐失控，已容不得我多想！我大喝一声！30名侍卫持枪从侧门进场列阵台前，全场寂静！接着我一个响指，殿外快马加鞭，送上一红绸遮盖的大匾，全场注视。我手气绸落，鎏金大匾上赫然写着金闪闪明晃晃的几个大字：  

二.面向字节流的TCP通信

      这一切还得从TCP通信说起。

      TCP大家都不陌生，是网络协议栈中最重要的协议之一。StriveEngine通信引擎既支持TCP也支持UDP，我们根据业务场景的需要选择的是TCP。TCP是面向字节流的。

三.面向字节流通信所引发的问题 

      正是因为TCP通信面向字节流，同时也引发也一系列相关问题需要我们去着手解决。

1.粘包

      其中首当其冲的，也是大家最熟悉的就是粘包问题。

      字节流就跟水流一样，当两个消息一起读取时，你无法分别出二者的边界。 

2.字节序·大小端方式

       TCP是面向字节流的，这个字节流本质上来说就是内存片段。那么问题来了，发送主机与接收主机的存储方式可能不一样，也就是主机字节序不一致。

      打个简单的比方吧，以前中国的书都是从右往左读写的，而现在都是从左往右读写的。假使现代人按照现在的习惯去读过去的书，就会因为【主机字节序】不一致而出现问题。

      就如同读写可以从左往右，也可以从右往左，马路可以规定靠左侧行驶也可以规定靠右侧行驶——存储方式也有两种——【大端方式】和【小端方式】。

      《格列佛游记》中记载小人国中形成了两派政治势力，一派主张吃鸡蛋时要从大端开始剥，另一方则主张要从小端开始剥，一言不合就兵连祸结，烽火频年。

        计算机科学借用了这个典故来命名两种存储方式：

      遗憾的是大小端方式的分歧在计算机世界里也未能达成一致，因此就造成了异构平台通信过程中主机字节序列不一致的问题。 

四.如何解决？

     首先要明确一点，这些问题都是【应用层】的问题！因为传输层，或者整个底层通信所肩负的职责就是【通信】，其他的事情不该管也管不了！特别是TCP通信，我们知道TCP是可靠传输——发送方发的啥我保证原封不动的给你送到，至于你收到一看，哎呀，包粘在一起了我怎么分得清楚？哎呀，这发过来的数据我解析出来怎么是乱码？——这都不关TCP通信的事！这是你程序员要做的消息处理的工作，消息传输TCP帮你干了，而且TCP是出了名的"铁齿金不换，诚实可靠小郎君"，已经仁至义尽，处理消息、解析消息的工作就要靠身为程序员的你来大显身手了！

1.粘包问题

      StriveEngine通信引擎提供了两种解决方案： 

             文本协议模式

             二进制协议模式 

      其中更为根本的是二进制协议模式。二进制协议通过给消息加上报头，从而为消息定界。

    // 摘要:
    //     二进制协议助手接口。
    public interface IStreamContractHelper
    {
        // 摘要:
        //     消息头的长度。
        int MessageHeaderLength { get; }

        // 摘要:
        //     从消息头中解析出消息体的长度（注意，不是整个消息的长度，而是不包含消息头的Body的长度）。
        //
        // 参数:
        //   head:
        //     完整的消息头，长度固定为MessageHeaderLength
        int ParseMessageBodyLength(byte[] head);
    }

    这个接口是需自己来实现的。接口只要求了两件事：1.消息头长度是多少？2.如何从消息头中取出消息体长度，从而间接取出消息体。至于具体的协议如何设计，这个并没有一定之规。

2.字节序问题

      字节序的问题就更简单了。已经说过，通信负责把数据原封不动的从端到端进行传递，现在数据交给我了，我发现字节序不一致。不一致怎么办？转换呗！ 

 void tcpPassiveEngine_MessageReceived(IPEndPoint serverIPE, byte[] bMsg)
 {
     ······
 }

       这个字节数组就是收到的数据，该怎么转换在方法体里面做就是了。而且这些转换都早已被封装成API，因此并没有什么难度，本文就不赘述了 。

———————————————附项目源码下载地址——————————————————— 

五.言归正传

      为川者决之使导 ，为民者宣之使言。从那以后，那些机器之间的交流日益加深，有些还建立了深厚的友谊。我时常训导他们，你们虽然是机器，但是也要有人味，要放下那些所谓的成见，求同存异。大家的思维方式、文化背景、受教育程度也许都不尽相同，但是只要大家以一颗开放的心去彼此了解，彼此沟通，交换立场，推己及人，就能开展合作，就能超拔出个人的小生命，而进入到一个更大的生命中。要完成一个数据采集系统，你们其中的任何一个都不能单独胜任，只有靠大家群策群力。而要做到群策群力，就要兼收并蓄，不能各执一端。比如你是小端方式存储，就非要排斥搞大端方式的，视他们为异端，恨不得消灭殆尽，这是最危险的！一定要相互理解相互包容，要尝试去了解对方，学习对方的话语。还有些高级些的系统瞧不起单片机，觉得跟他们没有共同语言，这也是不对的。尺有所长寸有所短，要优势互补才对。管子讲：“和合故能习，习故能偕，偕习以悉，莫之能伤也”，只有和合偕习，才能真正强大！

      后来陆续有机器私信给我，说学到了很多做人的道理。为此我倍感欣慰。 

一场关于异构平台通信的风波（粘包·大小端方式·网络字节序）

标签：

原文地址：http://www.cnblogs.com/aoyeyuyan/p/5644160.html