音视频编解码原理
IP4中,设备在各自的内网,需要p2p打洞
音频降噪和回声消除
信令服务器:
设备连接的socket服务器
传递各个设备之间的信息:传递各个节点的sdp信息,传递ice信息
包含业务功能:如加入、离开房间等
打洞服务器:
为什么打洞?
IP4中,设备在各自的内网,各自的内网不能通信,而想要通信,就需要突破内网限制;
如果用服务器中转,则会加大服务器开销和增加延时;
若不用中转,就需要点对点(p2p)打洞,来实现通信;
NAT
网络地址转换
设备若想链接公网,需要经过路由转换,将私有IP转换为公网IP
在设备和路由中存在IP端口映射表NAPT
如:
设备A的某个应用私有IP端口为:192.168.1.10:9000;
设备A连接的路由器L的公网IP为:200.180.190.11;
那么在路由器L中会有一个端口映射设备A: 200.180.190.11:21111;
200.180.190.11:21111就是设备A的某个应用的公网IP地址和端口的映射;
SDP:
描述了客服端到服务端通信的各个网络地址及端口等信息;
ps:一段文本,就像一个列表,记录了客户端到服务端,中转次数及各个中转点的路由信息;
两个设备实现通信要求:
设备A、设备A的路由AL、设备B、设备B的路由BL;
设备A若想给设备B发消息,AL需要知道B在BL中的IP和端口映射;
同理,设备B若想给设备A发消息,BL需要知道A在AL中的IP和端口映射;
打洞流程:
角色:信令服务器、打洞服务器、设备A、设备A的路由AL、设备B、设备B的路由BL;
通过信令服务器(socket服务器)将设备A到打洞服务器的各个sdp发送给设备B;
通过信令服务器(socket服务器)将设备B到打洞服务器的各个sdp发送给设备A;
设备A尝试发送一条消息到设备B,这条消息是发送不过去的;因为BL里没有A和AL的映射IP和端口;
但是此时AL会在自己的NAPT表中记录B和BL的映射IP和端口;
设备B发送一条消息给设备A,这条消息时可以发送到的。因为AL的NAPT表中有B和BL的映射IP和端口;并且BL会在自己的NAPT表中记录A和AL的映射IP和端口;
此时A和B就可以直接互相发送消息了,不再需要服务器了;
整个过程就是序号1->2->3->4->5->6->7->8>9
过程一:1->2
此过程为用户B向服务器请求向用户A打洞
过程二:3->4
此过程为服务器相应用户B的打洞请求,告诉用户A用户B想与你打洞(数据包中包含用户B的地址信息)。
过程三:5->6
用户A主动发一条信息给用户B,目的是为了使得路由器A中能够有一条关于路由B的IP的路由信息(注意不是用户B,用户B是私有IP),就如图所示,这条信息会被丢弃的,因为路由B的路由表中没有路由A的IP的信息。
过程四:7->8->9
用户B再发一条信息给用户A,因为此时路由A的路由表中有关于路由B的IP的路由信息,此时路由A就能路由给用户A了,至此,用户A就能直接收到用户B发的信息了。注意,此时用户A发给用户B不需要打洞,因为路由B中已经有关于路由A的IP的路由信息了。
webrtc业务流程:
音视频一对一通话、多对多会议都是基于房间进行;
角色:信令服务器S、打洞服务器T、设备A(被请求)、设备A的路由AL、设备B(主请求)、设备B的路由BL;
第一种情况
设备A进入房间时,没有其他设备;
设备A进入房间,信令服务器S给设备A返回设备A的唯一标识符socketId;
设备A开启本地预览:设置视频源、音频源、渲染到surface;
等待获取其他设备发送的请求offer...
准备sdp交换
设备A收到信令服务器S发送来的设备B的socketId和sdp;
设备A请求信令服务器,信令服务器返回设备A到打洞服务器的网络节点各个sdp
设备A设置本地sdp、设置收到的远端sdp;
设备A使用信令服务器S通过收到的socketId将自己的sdp发送给其他设备B;sdp交换完成
开始打洞:ICE交换
设备A通过异步消息获得打洞服务器返回的自己的ICE信息;
设备A通过信令服务器S将ICE信息发送给设备B;
等待设备B连接;
ICE交换完成后
获取远端设备B的视频流、音频流,进行解码播放;
第二种情况
设备B进入房间时,已有其他设备,如:设备A...;
此时设备B需要主动去呼叫设备A;
设备B连接信令服务器S;
设备B进入房间,信令服务器S给设备B返回设备B的唯一标识符socketId,和其他存在的设备的socketId列表;
设备B开启本地预览:设置视频源、音频源、渲染到surface;
开始sdp交换
设备B请求打洞服务器T,获取设备B到打洞服务器T的网络节点的各个sdp
设备B设置自己的sdp;
设备B使用信令服务器S通过socketId列表将自己的sdp发送给其他设备A;
设备A收到sdp后,设备A使用信令服务器S通过设备B的socketId,将自己的sdp发送给其他设备B;
设备B设置收到的远端sdp(可能有多个);sdp交换完成
开始打洞:ICE交换
设备A通过异步消息获得打洞服务器返回的自己的ICE信息;
设备A通过信令服务器S将ICE信息发送给设备B;
设备B根据收到的ICE信息去发送一个请求;此时设备B链接的路由器BL里就有了设备A在路由AL的IP和端口映射信息;ICE交换完成
设备B链接其他设备的视频流、音频流,进行解码播放;