16
回答
高手问答第 184 期 — 视频通信背后有着怎样的技术支撑?
【腾讯云】校园拼团福利,1核2G服务器10元/月!>>>   

OSCHINA 本期高手问答(1 月 3 日 - 1 月 9 日)我们请来了武俊敏和大家一起探讨音视频通信领域的相关问题。

武俊敏,上海交大博士,图鸭科技CEO,前 Simpleeye Lab 负责人,曾带领团队开发出三套算法:表情迁移、视频通讯美颜以及图片压缩算法。于 2016 年 8 月创立图鸭科技,在 2017 年 12 月,对旗下的视频通信技术进行开源和免费。

技术在迭代发展的同时,移动网络也在悄无声息地快速进步着,同样的,视频通信已经不声不响地占据了互联网流量市场的主体地位,我们日常的通信习惯也被潜移默化地改变了,从电话、短信,到语音聊天,再到现在的视频聊天,甚至各种直播类 APP 的流行,现在用户不会再过于担心使用移动网络时产生的流量。其实这一切的背后除了移动网络的进步,音视频通信技术的迅猛发展也占了重要的一席之地。

对于音视频通信领域,相信大部分开发者都十分关注传输、压缩和延时方面的问题。本期高手问答邀请到了图鸭科技CEO武俊敏,将会和大家一起探讨音视频通信领域的相关问题。

本期问答内容

  • 视频通信
  • 音视频压缩和传输
  • 如何搭建视频通信系统
  • 视频通信与结构化存储系统
  • 延时问题的解决思路、方案

OSChina 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家就相关问题向武俊敏提问,请直接回帖提问。

举报
局长
发帖于4个月前 16回/3K+阅
共有16个答案 最后回答: 3个月前

@图鸭科技研究员

请问图鸭所用的视频和音频各采用了什么编码算法, 传输码率大概多少, 跟现在广泛公开使用的算法相比有哪些改进? 

--- 共有 5 条评论 ---
dwing0 回复 @图鸭科技研究员 : 关键是SDK里带了GPL的x264和x265, 按GPL协议的要求应该是整个软件包全部开源才行吧. 4个月前 回复
图鸭科技研究员 回复 @dwing0 : 我们目前更改了开源协议,不是GPL,是Apache 4个月前 回复
图鸭科技研究员 回复 @dwing0 : 专利费的部分,是国际组织自己收的,我们不负责专利费用。不过,很多设备里有硬件编码器,这部分专利已经有人给买过单了。 4个月前 回复
dwing0 回复 @图鸭科技研究员 : 客户端如果用了x264,x265去压缩编码,会不符合GPL开源协议吧? 另外如果用了H.264,HEVC是不是要交专利费呢? 4个月前 回复
图鸭科技研究员音频我们没有太多的改进,我们使用的opus,g729,视频上,除去现有的x264,x265,我们还增加了是私有的编码协议,使用deep learning做视频码流和质量的自适应优化,压缩算法上,我们增加了更多的编码模式,使用dl 增加后处理等等。 4个月前 回复

@图鸭科技研究员

想知道视频通信与结构化存储系统有关内容?

--- 共有 2 条评论 ---
稻草人11223摸摸 4个月前 回复
图鸭科技研究员视频通信,是一方或者多方的对话,我们想要把这个通信的内容存储下来,并且方便以后的搜索,查看,这里面,实际上涉及到三件事情,视频的摘要(包含文本和图像),方便迅速查看;视频的检索,方便查找视频的内容;视频的时间检测,方便视频的深入理解。 4个月前 回复

@图鸭科技研究员 视频的防盗链是怎么处理和实现? 我看有些网站在播放的时候是一小段, 一小段获取和播放

--- 共有 1 条评论 ---
图鸭科技研究员一般一个视频网站的视频地址都是当次会话有效的,严格的会有两个ID,一个token,一个事件ID。而这些token应该会跟用户cookie,mac地址,ip信息等有关系。以优酷举例吧,你可以看到FLV后面有一堆的参数。这个链接都是服务器生成后返回的。 4个月前 回复

@图鸭科技研究员 开源项目在哪呢?是哪个项目?

--- 共有 2 条评论 ---
图鸭科技研究员开源的是服务器的代码,名字叫Tucodec, 其中sdk是免费使用的,实用的地址是,tucodec.com。完成的功能是视频的传输,可以用来做视频的通信,视频的会议,视频的直播等。 4个月前 回复
局长帖子已经关联项目了哦,名字是 Tucodec 4个月前 回复

@图鸭科技研究员 请问下图像美颜啊,智能识别啊这些算法如何入门如何学习呢?感觉机器视觉是未来发展的一个方向。

--- 共有 1 条评论 ---
图鸭科技研究员图像美颜简单入门的化,建议先学会双边滤波,双边滤波可以做到磨皮,市面上大部分的算法都是基于这个滤波器。建议好好学一下数字图像处理,模式识别的课程。现在智能识别用的deep learning比较多,但是,工业圈里,还是建议先用dl 跑效果,然后用传统方法逼近,这样更容易商业化。 4个月前 回复

@图鸭科技研究员 问题: 1. 视频传输中对出现的延时,抖动, 失真等如何优化?2. 你认为目前前景比较好的视频传输架构有哪些?

--- 共有 2 条评论 ---
xiaoaiwhc1如果udp, 那重传/纠错也要自己处理了, 不然关键帧丢失,可能导致体验不好,你们是如何处理的呢? 4个月前 回复
图鸭科技研究员传输延时,使用udp协议,udp能到的极限就是你的系统极限了,当然,编解码器效率的优化也需要做。用了udp之后,需要实时测试网络的抖动,丢包,网络速度,然后调节编码器,使得编码器适应网络。 目前的比较好的我觉得是webrtc+ffmepeg+x264+x265+opus,这个组合之后,可以做成一个比较不错的系统。 最直接的方法是使用我们的开源系统tucodec, 这样,和视频相关的一系列操作都可以 4个月前 回复

@图鸭科技研究员 你好 请问5G时代结合MEC的视频通讯这块您是怎么看的?

--- 共有 2 条评论 ---
xiaoaiwhc1 回复 @图鸭科技研究员 : 是的,5G估计要2020年才商用,5G时代不仅速率增加,延时也大大减少(对于实时要求高的应用有好处),解决了用户最后一公里的问题。 4个月前 回复
图鸭科技研究员5G加快的是终端到基站的速度,但是,在公网上,速度如果不增加,对企业来说,成本并没有下降,只是对应用的普及更有好处了,比方说,视频社交,这样耗流量的产品,会更普及。 4个月前 回复

@图鸭科技研究员 你好,可以说说“使用deep learning做视频码流和质量的自适应优化”的具体思路吗?

--- 共有 2 条评论 ---
xiaoaiwhc1这个是开放动态的学习过程吗?如果是,大数据量时PSNR/SSIM等计算比较耗时耗资源吧。 4个月前 回复
图鸭科技研究员你可以得到输出向量:网络抖动状态,丢包状态,延时状态,给出对应的码流,码流里优化的是QP,帧率,分辨率等,目的是使得图像的整体质量(PSNR, SSIM)最佳,这样,你就可以得到一个网络,至少是match当前网络的可行解,然后再做求导,优化就好,设计的时候,要考虑把问题转换成凸的。 4个月前 回复
顶部