具体实施：由于手术间需要视频交流、视频录制 。考虑到节约系统成本、实现资源利用最大化、在后端需要部署录播服务器。录播服务器可以将手术室中的所有视频画面分别录制存储下来。
3.1.3信号接收
主要负责从网络接受前端录播服务器发送的视频流解码后输出给各中显示设备。为了满足用户不同的收看需求我们将为用户提供的显示方式有，PC、平板电脑、智能手机等。播放设备可以直接连接液晶电视、大屏投屏、投影仪等显示设备。通过遥控器、鼠标、屏幕面板即可操控。非常适合会议室、示教室等使用。
PC、平板电脑、智能手机客户端无需安装任何插件即可通过网络或者  无线wifi用浏览器接受手术视频直播、点播、只要客户端能使用Inter网络访问远程手术服务器就可以接收手术直播、点播。

具体实施：在示教室或者需要看直播的术室配置播放器，与现场的设备连接上，音频和音响系统对接并连接上服务器，确保网络通畅。在整个观看过程中全景摄像机、术野摄像机、各种腔镜、C臂机、CT机、监护仪等设备的画面和数据画面统一展示也可局部放大进行单独远看。
3.1.4远程控制
操作人员通过发出命令短消息，手术室值守的模块接收到命令后发送给主机(单片机)，主机通过对命令的处理，把命令通过红外传输到相应的分机(单片机)上，分机对命令处理后，启动相应设备，完成操作人员给出的命令并向主机回复应答，主机收到应答后，通过模块发出回复短消息，报告用户完成命令。若在规定的时间内(这里定时60s)主机没有接收到分机的回复信息，即把该操作认为无效，回复操作无效短消息给操作端，要求操作人员重新发出命令。若收到的短信息有误，主机便立刻回复该操作无效，请求操作人员重新发出命令。

3.2主功能概述

3.2.1视频采集
网络摄影机是视频采集的主要设备，其主要部件CCD和CMOS，随着技术的发展，CMOS传感器的性能正在得到快速的提升，CMOS传感响应速度要比CCD传感器的速度要快很多。因此更适合更适应高清监控的大数量特点，因此本系统中的网络摄像机采用CMOS传感器来采集工作，多视频流编码器的芯片是用来处理视频数据的核心部件，多视频流处理的核心是由专门的编码解码功能的DSP和ASIC组成。
 
3.2.2音频采集
话筒是网络摄像机采集音频的主要设备，音频服务器的芯片是用来处理音频数据的核心部件，音频服务器核心是由专门的编码解码功能的DSP和ASIC组成。
 
3.2.3视频编码
由视频采集模块采集到视频数据被传送到编码模块对其进行压缩编码。常用的两种编码方式为H.264编码方式和MPEG-4编码方式。H.264采用帧间和帧内预测的混合编码方式，但是多了一个环内滤波功能，提高了图像质量。在本系统中，视频部分将采用H.264的编码方式。
 
3.2.4音频编码
由音频采集模块所采集到的音频数据被传送到音频压缩编码模块，MP3作为目前最为普及的音频压缩格式，其应用场合十分广泛，能够广泛应用到语音通讯、语音录制等环境中，故本系统音频部分将使用MP3编码方式。
 
3.2.5多视频流模块
多视频流系统将采用双视频流编码以及双双视频流的网络传输，其将采集到的视频数据通过两路编码器通过两路进行编码。一路是质量较低采用实时传输协议的实时流，另一路是质量较高不采用实时传输协议的高质量流。
双视频流编码以及双视频流的网络传输的另一种应用是将采集到的视 频数据通过两路编码器进行两路编码一路是质量较低的视频流，另一路是质量较高的视频流，在传输时，系统会根据具体的网络带宽有选择的发送视频流，当网络环境好时发送高质量视频流，当网络环境差时发送质量低的视频流。
 
3.2.6双向语音通讯模块
本系统具备了双向语音通讯功能，其采用多线程技术使得摄像机两端能用过语音设备进行实时的语音交流、通讯。
 
3.2.7网络功能
网络模块描述了音频视频数据通过网络传输功能，将编码压缩后的音频视频数据经过打包，添加头文件后进行网络传输，采用实时传输协议RTP协议对打包的数据进行实时的网络传输以实现实时观察，实时通讯等功能。
3.2.8存储功能
采用非实时传输的方式将双路视频流编码中的高质量视频流通过网络传输到客户端，并在客户端设备中分配存储空间创建视频文件，将接受的视频流保存到客户端新建的视频文件中。
3.2.9媒体流加密
   SRTP（Secure Real-time Transport Protocol，安全RTP协议）通过对RTP/RTCP报文的有效负载进行加密，实现对RTP/RTCP报文的加密、认证以及报文重传保护。

3.3传输技术

本系统需要完成音频采集编码；视频采集，多视频流编码，远程控制等功能；而为了实现视频信号良好的实时传输，以及语音双向通讯功能，我们要用到 实时传输协议，RTP协议，实时传输控制协议，RTCP协议以及实时流媒体协议，RTSP协议。在本系统对音频数据处理过程中，我们必须了解其中的视频编码技术，同时为了实现网络实时通讯功能，双向视频语音通讯技术也是本系统核心技术之一。
3.3.1影响实时传输因素
      在网络电话，视频会议等应用领域，为了满足应用的需要和使用着的需求，我们要保证视频数据的流畅性和双向语音通讯的服务质量，而影响视频流畅性以及语音通讯质量的因素主要来源与网络层的延时，抖动等，下面详细介绍网络层影响传输的几个因素。

• 处理延时：在网络中转发帧的设备会造成延时，在网络中，处理延时会造成一定的影响，这种影响在分组网络环境中尤为重要，数字信号处理器每10ms产生一个语音样本，两个语音样本被放在一个包中，每个包的延时是20ms。

• 队列延时：分组还有其他原因的延时，其中的两个是将分组移动到输出队列的所必须时间和序列化延时。当一个包因为输出接口阻塞而停止在队列中而造成的延时，称为队列延时，其实在某段时间内发送的包超过了接口的处理能力，在进行双向语音视频通讯中，由于要同时处理和发送音视频数据，因此会产生队列延时。
• 抖动：是指包到达时间不规律，是分组网络的一个问题，在分组语音环境下，发送者希望语音包以稳定的间隔到达，但是这些包在网络上传输时可能不会以同样的时间间隔到达接受站点，分组期望和实际达到的偏差就是抖动。

   由于实时传输协议RTP协议提供具有实时特征的，端到端的数据传输业务，并且在RTP报头中包含装在数据的标识符，序列号，时间戳等信息，因此为了解决以上影响实时传输的问题，尤其是双向语音通讯的抖动问题，本系统采用实时传输协议RTP协议以及和RTP协议配套使用的实时传输控制协议RTCP协议来进行视频流以及语音数据的实时传输，用以保证视频流的流畅以及语音通信的顺利进行。
前向纠错简称FEC，英文全称Forward Error Correction，是通过提前采取措施来对抗网络损伤。丢包重传主要针对丢包的情况下，有针对性地对丢失的数据包进行高效率的重传。准确来说，它们的直接目的不是为了降低延迟，而是为了对抗网络损伤。在不可预测的网络环境中，能很好地处理网络抖动带来的负面影响，间接也会降低了延迟，同时保证了稳定性和流畅性。
3.3.2实时流媒体协议RTSP
      实时流媒体协议RTSP是TCP/IP协议中的一个应用层协议。该协议定义了应用程序如何有效的通过IP网络传送多媒体数据。RTSP协议是类似于HTTP协议的流程协议，他们都是用纯文本来发送信息，而且RTSP协议的语法也类似HTTP语法协议，和HTTP协议相比较RTSP协议所不同的地方是，RTSP协议是由状态的协议，而HTTP是无状态的协议。RTSP协议的默认端口为554，默认承载协议是TCP。RTSP协议中只是定义了对流媒体的控制，并未提供对实时音视频数据流的传输功能，因为他需要和实时传输协议RTP，实时传输控制协议RTCP配合使用，完成音频数据的网络传输。
    RTSP特性：

• 流控分离：从控制逻辑上来说RTSP和FTP相似，控制流和数据流是完全分开的。
• 可拓展性：因为RTSP协议是基于文本的协议所以其具有较强的可拓展性。
• 安全：RTSP使用安全机制。

3.4编码技术

     在本系统中，压缩编码是非常重要的一个环节，以352*288像素的视频为例，采用4：2：0的格式，单帧画面数量为1.2Mbit，采用4：4：4的格式，单帧画面数据量为2.4Mbit，对于25帧/s的码流，即使采用4：2：0的格式，码流可以达到30Mbps，这是网络环境根本无法支撑的，因此视频压缩是必须的，并且我们可以根据不同的环境、不同的场合对食品质量的不同要求来采用不同的编码标准以便合理的利用宽带和保证视频传输的实时性。
3.4.1多视频流编码
  目前对视频交流监控系统主要由两方面的要求：一是实时性的的需求，以便观察实时场景，用以及时交流。另一个是高质量的需求，以便在后期进行细致研究。在网络和宽带的限制之下很难满足上述两个方面的需求，因此我们系统同使用多视频流编码来解决这个问题。
  多视频流编码是对统一视频源进行双路编码产生实时的视频流以及高质量的视频流，其中实时流视频用作实时观察，对传输的实时性要求较高，而对图像的质量要求相对要低一些，实时流视频要求在编码之后立即传输到客户端；而高质量的视频流用作后期的调查，对图像的质量要求较高，而对传输的实时性要求低一些，只需在特殊的事件发生之后的一段时间内传送给主机端即可。
   另一种多视频流编码的应用实在编码模块采用双路编码，编码产生双路视频流，一路是质量较好的视频流，另一路是质量较差的视频流，再根据网络环境，在网络环境好的时候实时的传输质量好的视频流，在网络环境较差的时候实时传输质量较差的视频流，合理有效的利用宽带。
3.4.2双向语音通讯
本系统考虑在某些场合和一些特定的环境中，仅仅采集实时的视频流和音频流是不够的，在这些场合中，我们还需要系统在两端能够相互狗沟通、交流，比如通过摄像机观察手术时，专家可以观察到手术的动向，听到医生的交流，但是有话要说需要沟通指导的时候，就需要观察者发出声音能够让手术室内的医生听到等等。在很多场合我们也需要双方都可以听见声音。这就需要双向语音通讯技术了。
双向语音通讯技术就是作为主机的一端同时作为客户，作为客户的一端同时作为主机端，两端通过多线程技术在发送信号的同时监听对方传输过来的信号，用以做到两端实时通讯交流。如图所示。双向语音通信的核心是多线程技术的应用，利用多线程技术，在主机和客户机两端分别建立监视和呼叫线程，在两端连接成功之后又利用多线程主机和客户机两端分别建立发送语音数据流程和接收语音数据流程。

3.5软件设计

3.5.1软件结构

1. 操作系统：采用Linux操作系统，具备开源、高效、内核可裁剪、可移植、网络适应性强等优点。
2. DSP库：平台中具备音频采集函数库以及H.264、MPEG-4、MPEG-2、MJPEG和VC1/WMV9编码解码库，为系统开发提供便利。
3. 驱动和应用：本系统平台为上层软件操作底层硬件提供    统一接口，主要提供以太网控制器，音频输入、输出设备等，其应用层同时支持使用者根据需要自行开发编写应用程序，用为多视频流语音双向通信系统提供多解决方案。

   多视频流语音双向通讯远程手术系统采用了标准的多线程技术，一共有9个独立的线程。

• 主线程/控制线程：主线程完成初始化工作、创建其他线程，并为其他线程传递命令行相应的参数，最后转化为控制参数。
• 保护线程：保护所有线程进行通讯。
• 仪器数据采集线程：采集手术设备（C臂、CT设备、监护仪、各腔镜、超声成像等）数据用以及时展示。
• 视频采集线程：采集摄像头捕获的数据，传输给视频编码线程。
• 音频采集线程：采集语音输入设备获取的数据，传输给音频编码线程。
• 视频编码线程：对视频采集线程捕获的视频数据进行H.264视频流的双路编码处理。
• 音频编码线程：接收来自服务器语音接受设备传输来的语音信号，传输给音频解码线程，音频解码线程经过修改系统中的Audio等参数，对语音信号进行编码处理。
• 网络发送线程：将编码后的压缩数据通过网络协议发送。
• 双向语音通信线程：分为单向语音通信线程和多线程双路单向语音通讯线程。

①　单向语音通信线程：音频输入经过音频编码后的数据打包后通过网  络发送线程输出：其操作采用Linux下的Socket网络连接，首先利用Socket网络编程中的所提供的函数对音频输入端和接收端进行网络连接，利用修改后的Live555库函数对音频信号进行基于RTP以及UDP的网络传输。
②　多线程技术：由于要实现双向语音通信功能，因此要在单向通信的线程基础上进行拓展，由于单向语音通信只是发送语音，为了实现双向语音通信，还要在接收端搭建语音采集设备并建立语音编码线程并将语音数据打包通过网络发送线程输出，而在源发送端建立语音解码线程，将接受到的来源于网络的语音数据经过解码传送到扬声器进行播放。又由于双向语音通信的语音接受和语音发送是实时的。因此利用多线程技术在两端建立两个Socket网络连接，做到双方同时发送和接收实时语音数据。
 

视频采集线程与编码线程之间的数据交互通过管道FIFO实现。采用一对阻塞调用函数fifi_get()、fifo_put()将采集端的缓存数据输出到编码端，编码端返回缓存到采集端。视频编码过中使用内存储空间是由CMCE模块分配的连续存储单元，同时还采用了DMA对数据进行操作，采用连续的存储空间和DMA操作视频数据可大大缩短对数据的读写时间，提高了编码效率，增强了 实时性能。视频采集线程完成的视频采集及处理主要是DM365视频处理子系统中视频处理前端实现，其主要操作如下：

1. 创建一个视频捕捉实例。
2. 获取/释放缓存。
3. 采集视频。
4. 关闭视频采集，关闭视频输入设备。

  DM365处理器中的视频编解码是通过调用编解码引擎（Codec Engine）来实现。利用编解码引擎（Codec Engine），可以实现基于达芬奇平台的视频编解码，通过这种机制，ARM端的程序就可以通过Codec Engine提供的VISA（Video,Image,Speech,Audio）API接口调用，在DSP端执行编解码算法。视频编码线程执行流程为：

1. 打开编码引擎。
2. 配置编码参数。
3. 创建H.264视频编码器。
4. 编码一帧H.264视频数据。

 
3.5.3多视频流设计

1. 多视频流结构一

    实时流：实时流对视频传输的实时性要求高；相对地实时流对视频的图像质量要求相对较低。实时流必须在编码后立即传输至客户端。
    高质流：高质流视频对于图像质量要求较高；相对的，高质流对视频传输的实时性要求较低，只需在事件发生之后一段时间内传输完毕即可。
    该双流传输方法的系统结构如图所示，包括视频发送端，网络信道和视频接收端。
    发送端包括：实时流编码器，高质流编码器，实时传输模块，非实时传输模块。实时流编码器和高质流编码器用于将采集到的视频数据通过编码变为实时流视频码流和高质量视频码流；实时传输模块用于实时流视频流的封装传输。非实时传输模块用于高质流视频码流的封装传输。
    接收端包括：实时流编码器，存储模块；接收到的实时流码流经由实时流解码器解码，最终子终端设备所提供的网络播放器上实时播放，供操作人员实时观察；存储模块则是在操作人员的终端设备申请一块空间，建立H.264存储文件，将接收到的高质量视频流保存在操作人员所建立的H.264文件中以便于后期观察。如图：