高手问答第 209 期 — 深度学习如此火热,你了解得怎么样了?

局长 发布于 08/21 18:08
阅读 2K+
收藏 7

OSCHINA 本期高手问答(2018 年 8 月 22 日 — 8 月 28 日)我们请来了@玉来愈宏 为大家解答关于深度学习方面的问题。

张玉宏,电子科技大学博士,美国西北大学访问学者,现执教于河南工业大学。中国计算机协会(CCF)会员,CCF YOCSEF 郑州 2018-2019 年度副主席,ACM/IEEE 会员。著有《深度学习之美》、《品味大数据》。主要研究方向为大数据、人工智能。发表学术论文 20 余篇,国内外学术作品 7 部。

深度学习带来的技术革命波及甚广,学术界同样早已从中受益,将深度学习广泛应用到各个学科领域。深度学习源自“古老”的神经网络技术,既标志着传统神经网络的卷土重来,也借由 AlphaGo 碾压人类围棋一役,开启了 AI 爆炸式发展的大幕。机器学习为人工智能指明道路,而深度学习则让机器学习真正落地。深度学习的重要性,从近来国内外互联网巨擘对未来的展望中可见端倪 —— 在深度学习照耀下的人工智能技术,毫无疑问是下一个时代的主角和支柱。

本期问答内容:

1.深度学习为什么这么火?

  • 人工智能的本质是什么?
  • 深度学习为什么会一枝独秀?

2.深度学习的本质是什么?

  • 深度学习中国的“学习”是什么意思?
  • 深度学习的理论基础在何处?

3.要想入门深度学习,必须知道的认知模块有哪些?

  • 为什么深度学习要“end-to-end”?(一种哲学视角)
  • 深度学习的网络结构到底是“胖”好还是“深”佳?
  • 为什么激活函数在神经网络中是一个必需的存在?
  • Hinton 的神经胶囊里装的到底是什么“药”?

或有其它关于深度学习的问题,也欢迎大家积极提问!

为了鼓励踊跃提问,@博文视点 会在问答结束后从提问者中抽取 5 名幸运会员赠予《深度学习之美:AI时代的数据处理与最佳实践》一书。

购买链接:京东

OSChina 高手问答一贯的风格,不欢迎任何与主题无关的讨论和喷子。

下面欢迎大家就深度学习问题向@玉来愈宏 提问,请直接回帖提问。

加载中
0
博文视点
博文视点

高手问答第 209 期 — 深度学习如此火热,你了解得怎么样了?

@AmCoder  @久永  @momisabuilder  @赤脚小子  @jasonwu24  

恭喜以上五位网友或获得《深度学习之美:AI时代的数据处理与最佳实践》图书一本 

请私信 @博文视点   告知快递信息(格式:姓名+电话+地址)! 

3
玉来愈宏

引用来自“赤脚小子”的评论

@玉来愈宏 有个真实的笑话,一个项目客户说我有数据,我要大数据分析,然后开发的公司是做了大数据分析,但是分析出来的结果对不对他们也不知道,客户也不在乎或者没法验证对不对。

机器学习火了,深度学习也会面临这样的窘境吗?学习的结果,除了跟人类的能力比对,还能怎么体现出来?客户是真的关注,还是只是别人有我就要有的这种心情?

这个问题很好,具有典型性。如其说它是个技术问题,不如说是个社会问题。我简单给出我的一点理解,不一定正确。

分析出来的结果对不对他们也不知道,客户也不在乎或者没法验证对不对。”

这在哲学上叫做“不可证伪性”。波普尔说,凡是不可证伪的,都不是科学问题。如此说来,更不是技术问题,也不是机器学习问题,而是一个伪问题。

上面说的有点扯高了。说具体一点,要吐槽一下为公司开发大数据分析系统的工作人员,他们可能不是一个好的算法工程师。 有人说,有明确的量化目标函数,正是科学方法区别于玄学方法、神学方法的重要标志。我认可这个观点。一个明确的目标函数,当然是可验证的。

机器学习火了,深度学习也会面临这样的窘境吗?

深度学习是机器学习的一个分支。算法是人类思维物化的一种形式,人性不变,问题会一直保持的。

 学习的结果,除了跟人类的能力比对,还能怎么体现出来?

 人类把自己不擅长的记忆力和计算力,外包给计算机,然后留下创造力,自己折腾。这是目前人工智能和人类智能的主要区别吧

 

客户是真的关注,还是只是别人有我就要有的这种心情?

面子是部分人永恒的需求,吹牛也是部分人快乐的G点。你剪不断,理还乱。

很多客户的需求,仅仅是最基础的SVM就能搞定,他非要搞个DL出来,不然显得太low啊。

 

2
玉来愈宏

引用来自“AmCoder”的评论

@玉来愈宏 大多数的互联网公司或者其他小企业基本是用不到人工智能,但是一听人工智能这种高大上的东西感觉很牛x,我想问的是如何使得深度学习在公司业务中得到普遍的适用?换句话说,什么样的公司,在什么样的业务场景下才需要适用深度学习来训练模型?

其实我在上个问题中,也给出了类似的回答。

面子是部分人永恒的需求,吹牛也是部分人快乐的G点。你剪不断,理还乱。

很多客户的需求,仅仅是最基础的SVM就能搞定,他非要搞个DL出来,不然显得太low啊。

人工智能,其实不是万精油。并非什么业务都能揩点油。

深度学习,目前看来,是个黑箱模型,也就是解释力不足的模型。是没有办法精确建模而又想整出点好结果的拟合算法。而且它还是一个数据饥渴型算法,数据量少了,还不如传统的机器学习算法。

因此,图灵奖得主Judea Pearl(提出贝叶斯推理的老爷子)就吐槽说,

all the impressive achievements of deep learning amount to just fitting a curve to data(几乎所有的深度学习突破性的本质上来说都只是针对数据的曲线拟合罢了)

 

所以我个人觉得,只有数据量巨大(比如国内的BAT,国外的谷歌、脸谱网等),而且不容易建模的情况下,在拥有强大计算力的公司,能跑出有价值的洞察。否则,可能就是跑跑demo自嗨一下。

当然,为了宣传需要,另说。

1
玉来愈宏

引用来自“灵风fly”的评论

@玉来愈宏 张老师您好,我想请教您:对于给定的一些数据,比如说音频信号数据或者图像数据,如何设计机器学习算法或者深度学习算法的框架来识别数据中的特征?

在传统的机器学习任务中,性能的好坏,很大程度上取决于特征工程。特征工程往往是非常耗时耗力的,在图像、语言和视频中提取有效特征更是难上加难。工程师们要提取有用的特征,通常要在特定领域摸爬滚打很多年,对领域知识有非常深入的理解。举例来说,对于一个海葵鱼的识别,就需要经过“边界”、“纹理”、“颜色”等特征的抽取,然后在经过“分割”和“部件”组合,最后构建出一个分类器。

相比于传统的图像处理算法,深度学习算法避免了对图像进行复杂的前期处理(即特征抽取)。它能够直接从原始图像(音频信号)出发,经过非常少的预处理,就能从自动图像中找出视觉规律(也就是特征提取和分类器设计合二为一),进而完成识别分类任务,其实这就是端到端(end-end)的含义。

更多信息,可以参考《深度学习之美》第12章,或我的知乎专栏

 

灵风fly
灵风fly
谢谢张老师的回答,您的回答对于我的理解有很大帮助,谢谢。
1
玉来愈宏

引用来自“xiaoaiwhc1”的评论

@玉来愈宏 啥时候深度学习的门槛可以降下来,变成普惠的技术?也就是中小企业也可以无门槛使用?现在感觉深度学习还处于风口中,各种架构(硬件/软件)都在快速迭代中,只有各方面比较稳定了,出现强者通吃的生态(各方面成本都已经下降,同时生态生成完毕),才有普惠的基础。

这是一个有意思的话题。

深度学习的门槛说高也高,说低也低。说高是指,深度学习的原创性算法比较难,即使强如商汤科技,也多是在别人(老外)原创算法(好比是从0到1的创新)上的修修补补。

说低是指,对于普适性的算法,我们能做的很好,特别是在开源技术的辅佐下。换言之,在算法(特别是非原创性算法)层面,门槛已经不高。

由于深度学习算法都是“数据饥渴型(data hungry)”算法,我倒是觉得,深度学习的门槛在于数据。

吴恩达有个比喻,深度学习好比一艘火箭,算法是引擎,而数据是燃料。普适性的算法,我们中国人可以通过paper和开源代码,很快掌握,然后完成从1到100的创新。

而数据,只有中国有市场,有环境采集如此多的数据(百度李彦宏不是说中国人不太重视隐私吗?客观来讲,他是对的!)。目前,美国把持算法,而中国把持数据,可以达到与美国分庭抗礼的地方。这就是特朗普这么忌讳中国人工智能发展的原因。

玉来愈宏
回复 @xiaoaiwhc1 : 预测未来,总是件不靠谱的事情。就我个人的知识体系来判断,未来的硬件依然走通用和专用两条路。通用的CPU,其地位难以撼动。专用的领域,一定是群魔乱舞,我个人看好TPU(Tensor Processing Unit)张量处理单元,原因并不复杂,它背后的老板谷歌家大业大,人才济济。
玉来愈宏
个人观点(不一定正确):就目前的发展而言,我倒是觉得算法(软的方面)是深度学习的瓶颈。深度学习依赖大数据,这病得治。
xiaoaiwhc1
xiaoaiwhc1
目前的硬件会是当前深度学习的瓶颈吗?您觉得未来哪个是主流方向?比如SOC, FFPG, TPU等。
1
玉来愈宏

引用来自“久永”的评论

@玉来愈宏 最近正好在摸索人工智能这块,特别对于无监督学习很感兴趣。

你能说下有关无监督学习方面的特点吗?

以及做监督学习和其它的学习方式的区别。

因为我做的东西面临的是可能没有固定或者确定分类的东西,目前的设想是能训练一个模型出来,将数据能自动按照相似的归类(但是哪些相似,或者可以归到哪些类无法预知),所以想用无监督学习,应该是用这个模型没有错吧?

这是个基础问题。其实我在《深度学习之美》第三章专门讨论了这个问题。

下面我简单回答这个问题(摘录书中的部分内容)。

用数据挖掘领域大家韩家炜教授的观点来说,所有的监督学习,基本上就是“分类(classification)”的代名词。它从有标签的训练数据中学习模型,然后给定某个新数据,利用模型预测它的标签(given data, predict labels。这里的标签(label),其实就是某个事物的分类。

图3-1  监督学习

 

与监督学习相反的是,非监督学习所处的学习环境,都是非标签的数据。韩老师接着说,“非监督学习,本质上,就是‘聚类(cluster)’的近义词。”

如果说分类学术点的定义是指,根据数据的特征或属性,划分到已有的类别中。通过对已知分类的数据进行训练和学习,找到这些不同类的特征,再对未分类的数据进行分类。那么,聚类的含义就是,一开始并不知道数据会分为几类,通过聚类分析将数据聚成几个群。聚类不需要对数据进行训练和学习。

简单来说,给定数据,从数据中学,能学到什么,就看数据本身具备什么特性了(given data, learn about that data)。对此,于剑老师也总结到4,“归哪类,像哪类。像哪类,归哪类。”但这里的“类”也好,“群”也罢,事先我们并不知情的。

 

 

图3-5 非监督学习

 

 ---------

综上,你所提及的问题,归属于非监督学习范畴,是没有错的。

更多详情,可以参考《深度学习之美》第三章。

 

玉来愈宏
回复 @久永 : 我们常说,“天下没有免费的午餐”。这不光是个普世化的认知,而且在计算机科学领域,有科学家甚至还给出“没有免费午餐定理(No Free Lunch)”的理论证明。用通俗的话来说,如果两个模型搞一次多回合的比武,每个回合用的数据集不同,而且数据集没什么偏向性,那么最后的结果,十有八九是双方打平。 因此说,没有最优的算法,只有最优的应用场景。看人下菜是功夫,看数据下算法,也是!
玉来愈宏
回复 @久永 : 对于非监督算法,有这么的描述:“Because we don't give it the answer, it's unsupervised learning”。 由于非监督算法只处理“特征”,不操作监督信号。它从分布中采样、学习从分布中去噪、寻找数据分布的流形或是将数据中相关的样本聚类。  常见的算法有k-均值聚类、PCA(主成分分析)一种压缩数据(数据降维)的方式。
久永
久永
非常感谢! 真是行家一出手,就知有没有。 贪心的想多加追问一下一个具体的问题: 对于非监督学习,目前改用什么模型最好? 以及没有没有什么具体的开展的例子可以介绍下让我们后来者参考?
1
jasonwu24
jasonwu24

@玉来愈宏 是否应该像机器学习那样必须使用大量数据来训练深度学习模型?迁移学习能否彻底解决这个问题?另外,使用GPU构建深度学习模型的优势体现在何处?谢谢!

tuo_
tuo_
简单来说,迁移学习是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。通常,源领域数据量充足,而目标领域数据量较小,迁移学习需要将在数据量充足的情况下学习到的知识,迁移到数据量小的新环境中。 因为即使目标领域数据量较小,我们也不能简单的将迁移学习视为小数据学习问题。一方面,源领域的数据量可能是巨大的,为了更好的学习到数据内在的结构等信息,需充分利用
玉来愈宏
问题1:的确需要大量数据。不然模型的性能可能不好,或者会陷入欠拟合。 问题2:迁移学习可以部分缓解大量数据的问题,它可以利用已经训练好的模型,稍加训练,即可适应新环境,目前是前沿研究方向之一。 问题3:GPU的优势在于,它提供了大量的并行计算能力,大大减少了训练时间。
0
赤脚小子
赤脚小子

@玉来愈宏 有个真实的笑话,一个项目客户说我有数据,我要大数据分析,然后开发的公司是做了大数据分析,但是分析出来的结果对不对他们也不知道,客户也不在乎或者没法验证对不对。

机器学习火了,深度学习也会面临这样的窘境吗?学习的结果,除了跟人类的能力比对,还能怎么体现出来?客户是真的关注,还是只是别人有我就要有的这种心情?

张金富
张金富
最终的结果肯定还是要人来检验 毕竟技术是为人服务的
MGL_TECH
MGL_TECH
人什么思维机器可能就是什么思维 你觉得人做的事情肯定是对的吗 ? 有些事情人都分辨不了对与错 有些定性的东西自然谁都可以判定
0
AmCoder
AmCoder

@玉来愈宏 大多数的互联网公司或者其他小企业基本是用不到人工智能,但是一听人工智能这种高大上的东西感觉很牛x,我想问的是如何使得深度学习在公司业务中得到普遍的适用?换句话说,什么样的公司,在什么样的业务场景下才需要适用深度学习来训练模型?

0
clouddyy
clouddyy
很多人认为我有几个T的数据就算是大数据了?
玉来愈宏
我写过一本《品味大数据》,里面专门谈到这个问题。很多人有个误解“big data = data big”.其实大数据至少有4个V特征,这些特征,就像多层网络,把很多“伪”大数据过滤掉。 此外,舍恩伯克也说了(在《大数据时代》里),“大数据=全数据”。如果数据很全了,那怕总容量不过几个M,也可以算得上大数据。而非就是几个T,才能叫大数据。
MGL_TECH
MGL_TECH
大数据是很笼统的概念
返回顶部
顶部