专访 | 千视CEO左振宇：NDI 5--面向互联网、远程制作的新一代音视频IP技术

NDI作为现在应用最火热的视频IP技术，已经升级到了第五代，升级后的NDI 5成为面向远程、互联网及后期制作的新一代音视频IP技术，那和SRT相比，两者在使用上应该如何选择呢？而升级后的NDI 5优势和痛点分别体现在什么地方？NDI 5未来的发展趋势优势又会如何？针对这些问题，我们邀请了千视电子总经理左振宇先生与我们一起交流探讨。

• 升级后的NDI 5相较于之前的NDI技术，您认为影响最深远的是哪个方面？

对于NDI 5，首先，我认为最有深远影响的改进之一就是对RUDP的支持。或者说，从NDI 5开始，NDI的传输方式发生了翻天覆地的变化。我们知道，在NDI 5之前，NDI默认采用的是multi-TCP的传输方式，也是官方最推荐的传输方式（虽然它也支持UDP和Multicast传输，但是这并不是官方推荐的，我们已知它们存在很多问题）。TCP的传输方式虽然可靠，但是它对网络带宽的利用效率是比较低的；这在无线网络、Internet等传输稳定性较差的环境下，TCP传输的效率是非常低的——这会带来很多的问题，最典型的是传输的实时性会受到影响。

NDI 5引入了新的RUDP传输机制--QUIC。RUDP在传输稳定性较差的网络环境下，表现要优于TCP——它基于UDP，所以它具备UDP的简单、低延时等特点，又因为它采用了与TCP相似的拥塞控制/数据重传机制，它又具备TCP一样的传输可靠性。因此，这是一次具有革命性的改进。从直观的感受上，我们会发现，采用RUDP传输的NDI SDK在传输上更稳定、实时性更强了。

• 升级后的NDI 5首次支持Apple系统，您认为这在NDI未来的应用上有何意义？

NDI 5真正做到了全平台（Windows, Linux, MacOS, Android ...）的统一和运行在不同架构的CPU上（虽然到目前为止，它还存在这样那样的一些小问题，但这不影响NDI统一全平台的“野心”）。这意味着，NDI既可以运行在x86架构的Windows/Linux/MacOS平台上，也可以运行在ARM架构的基于M1的Mac Mini/Mac Book上，以及iOS和Android之上，以及各种基于ARM的嵌入式系统之上……总之，NDI全平台统一了。这是非常令人兴奋的，NDI既可以运行在高端的服务器上，也可以运行在普通的嵌入式设备上。我们可以预期到无数多种可能，未来在市场上将会出现各种各样形态的NDI产品和设备。

• 那除了引入新的传输机制和支持接入Apple系统，您认为NDI 5还有哪些其他优势？

NDI 5正在向我们传递一个非常重要的信号：NDI 5正在面向互联网、面向远程视频传输和制作。我们知道NDI 5提供了Bridge工具、Remote工具，同时也改进了传输协议、做了一系列的传输优化、还有就是持续在改进NDI|HX。这一切都在告诉我们，未来，NDI将不再只是适合于局域网内的视频传输，它正在积极在面向互联网传输、面向远程制作、面向Web。

这里还有一个大家没太留心的问题已经得到了改进，那就是安全性问题。在第一点我们提到，NDI5的传输方式改成了QUIC，而QUIC是天生具有较高等级的加密能力的。这一点非常重要，特别是面向互联网的应用。当然，必须很坦率地说，NDI在安全性方面还需要有一些加强，就算是NDI5，这也还是一个问题。

NDI 5在音频的部分做了很多的改进，通过NDI® Audio Direct，可以将NDI源兼容到几乎所有的音频软件、应用程序，并且还允许客户自定义选择、接收和生成接近零延迟的多通道音频，让您摆脱麻烦的硬件混音器。然而很坦率地说，Kiloview在音频部分的研究不是很深入，所以我们还不能说出太多的所以然来。但是NDI完全可以实现一个完整的基于IP的音频体系——谁说不能呢？我也很期待和大家进行交流。

• 另外，NewTek除了发布NDI 5之外，还推出了NDI|HX3，你可以给我们介绍一下吗？

是的，NDI 5新发布了NDI|HX3标准。这是一个具有长远意义的事情。我们知道NDI High-bandwidth具有很好的实时性，然而画面质量以及带宽消耗却一定程度上不那么理想；而NDI HX/HX2采用H.264/H.265的编码，可以很好地解决带宽问题，然而延时和色彩质量又受到了制约。

现在，NDI|HX 3似乎在影音传输质量与带宽之间找到了一种平衡。NDI|HX 3 仍然采用H.264/H.265编码，但是它建议H.264/H.265编码的GOP为1或2——也就是说，它建议最好是每一帧都是H.264/H.265的关键帧，或者最多隔一帧就产生一个关键帧。这样一来，它就和NDI High-bandwidth相似，它可以很好地对抗网络丢包带来的影响。通俗地说，网络丢包？没关系，我放弃丢失的这一帧，下一帧我还能马上恢复图像！

这样看来，NDI|HX3与NDI High-bandwidth的图像压缩机制非样相似。但是，H.264/H.265的帧内编码的效率会比NDI High-bandwidth高许多——因为H.264/H.265的帧内编码包括帧内预测、子（宏）块运算处理等能力，这是NDI High-bandwidth压缩算法所不具备的，它带来的直接好处就是（和NDI High-bandwidth相比）在同等图像质量下，压缩率更高、码率更低；反之，在同等码率条件下，图像质量比NDI High-bandwidth高不少。

采用H.264/H.265编码算法，在图像质量上还一个优势是它的去块效应滤波能力。这是H.264/H.265标准的组成部分。在码率较低、或者画面运动剧烈的场景下，视频画面容易“起马赛克”，这是我们很多人都有过的直观感受。NDI High-bandwidth算法为了达到它的“简单快速“的目的，缺少去块效应滤波环节，因此，在像4K这样的高分辨率条件下，我们很容易观察到NDI High-bandwidth的马赛克现象；然而使用NDI|HX3，这种情况会得到有效的避免，进一步提升了视频的主观质量。

• 除了NDI优势之外，那您认为NDI 5还有哪些需要改进的地方呢？

如果要说NDI5一些不尽如意的地方，我想主要有以下几点：

一、NDI High-bandwidth的画面质量，尤其是在4K分辨率下，还是略微差了一点。这似乎是一个很大的挑战，甚至说未来要从NDI|HX3上去找答案。

二、安全性。我们知道NDI是即插即用的，在视频的连接、获取过程中是完全没有鉴权机制的。如果在一个专有的局域网内，这或许不是太大的问题。然而随着它越来越开放、要面向互联网的应用场景，这个问题需要得到很好的解决才行。

三、使用软件进行NDI编码的性能，相对于解码来说，它还是差了很多。这当然有它自身的技术实现的原因，但这制约了我们不少的实际应用。这特别表现在ARM处理上，在很多的嵌入式ARM处理器上，它实现了NDI的软件编码，仍然还是很吃力的。在实际的（大的）生产环境中，因为这会涉及到很多的环节，所以，我们不能简单地理解：NDI5能帮助我们搞定一切吗？——不，这不太现实。这需要一个生态，需要一系列的产品来加以支撑。这些产品可能来自于NewTek，也可能需要来自于许多的第三方产商，甚至有的产品到目前为止还没有面世呢，由它们来共同来支撑整个制作过程。

• 您刚刚也介绍了，NDI 5现在支持面向远程、互联网，那它是如何实现的呢？

NDI 5提供NDI Bridge和NDI Remote等工具，并且改进了传输协议，NDI Bridge能够帮助用户通过简单的网络设置，实现在世界上任何地方的NDI信号源互通。这将意味着，制作团队能最大程度地节省视频传输的时间成本和设备成本，获取最新鲜的的原生态视频画面，搭建真正的“远程工作间”。

NDI Remote能够帮助用户通过共享链接与所有的远程用户进行实时互动，并可通过互联网随时接收世界上任何地方的音视频源到制作端的所有硬件设备或软件程序。这一切都在告诉我们，未来，NDI将不再只是局限于局域网内的视频传输，它正在积极在面向互联网传输、面向远程制作、面向Web。

• 同样是面向远程、互联网，在SRT和NDI 5两者之间，我们应该如何权衡选择呢？

如果仅仅从技术的角度上去看待NDI和SRT，那么它们各有千秋、都是一些非常棒的技术。它们也都拥有非常广泛的支持者、具有很大的影响力。在面向互联网应用这一个角度上，SRT甚至具有一些鲜明的优势，比如说极低的延时、更好的安全性、更灵活的握手/连接方式、很好的可靠性、多路径(multi-path)传输……等等。

当然我想各位一定会从一个更高的层面上去看待问题——用户在使用NDI或者SRT，肯定会根据各自的工作模式及使用习惯，去思考哪个技术生态更完整？产品更丰富？体系更成熟？支持这项技术的厂商更多、推动力更强？作为使用者，在这其中哪个能让我们更加受益？从这一角度来分析，我想大家就会有答案了。

• NDI|HX 3相对于以前的NDI技术来说，在画面质量和带宽之间达到一种趋于完美的平衡，那压缩的画面质量与哪些因素有关呢？

NDI在1080p或更小一些的分辨率下，画面质量是比较不错的。不过，请大家一定要理解，NDI是有损压缩的。在约束的bitrate条件下（典型的1080p在130Mbps左右，4K在250Mbps左右），画面质量会受到诸如画面内容的复杂程度、运动的剧烈程度、噪点、内容变化的程度等很多条件的影响，打个比方，就像你用Photoshop这样的软件处理一张图片，如果你约束一张图片的大小必须是1MBytes，那么图片细节越丰富、越复杂的照片，保存的图片可能就会越模糊、细节丢失越多；反之，图片背景简单、色彩变化不大的照片就会越清晰。NDI的压缩是相同的原理。—— 在大多数的情况下，NDI视频的质量都是不错的；但在面向一些细节特别复杂、运动十分剧烈的场景下，NDI图像质量也会有一些不足，这是一个事实。

• 对于大多数用户来说，都十分关心视频传输的延迟性，那NDI 5在延迟、图像质量等方面的真实测试结果是什么，可以给我们介绍一下吗？

延时在开启Low latency模式的时候，大约在80ms左右、在视频源为60fps帧率的条件下实测结果。这取决于视频源的帧率，如果帧率越低，延时可能会更大一些。

理论上说，NDI的延时还可以更低一些，但这受到NDI同步机制的影响，所以80ms是一个比较真实的结果。市面上有一些厂商会宣传说，他们的延时可以低到2~3 帧，那只是一些假设或特定条件下的特定结果，并不具有代表性。

• 你认为NDI 5未来的发展趋势会怎样，您能跟我们分享一下吗?

一、面向互联网和远程制作，这一定会是未来的趋势。在这条路上，NDI还需要解决一些实质性的问题，比如说连接握手的机制、安全性、身份验证、防火墙/NAT穿透，等等。

二、在面向互联网的远程制作的这条道路上，NDI|HX (包括HX2和HX3）将会显得格外重要，因为只有采用H.264/H.265压缩，才有可能让码率降下来、适应互联网环境下的带宽条件。

三、NDI还需要更开放、吸引更多的厂商和用户加入这个生态；NDI所面向的行业，也应该从广播电视、中小型工作室等领域拓展到其它更多的领域，比如说数字标牌、KVM、医疗、智能家居……等等。这是完全有可能的，但NDI的官方也需要更加开放。

四、NDI极有可能成为一种面向云端视频业务的基础的Video&Audio I/O标准。我们知道，在面向桌面的视频制作系统中，视频采集卡、视频输出卡，这是基带视频信号进入制作系统的必须的基础I/O设施；那么，在云端，一切变成虚拟化，视频的I/O没有别的选择、它只能基于网络。因此，NDI完全可以成为基于云端网络的视频I/O的标准规范——这一方面，千视Kiloview已经进行了很多的尝试，它表现得非常棒。