北京物流信息联盟

AI 三大教父齐聚深度学习峰会,讨论尖端研究进展

2022-04-06 09:28:19

来源;re-work.co、新智元

编译:闻菲,胡祥杰


昨天,在RE•WORK蒙特利尔深度学习峰会上,“AI三巨头”Geoffrey Hinton、Yoshua Bengio和Yann LeCun有史以来头一遭,不仅出现在同一个活动中,而且聚集在同一个panel里,分享了他们对前沿研究进展的展望,并讨论了加拿大人工智能和深度学习生态系统的格局。

 


以下是现场讨论实录:

 

能谈一下现在和上世纪八九十年代研究深度学习,在深度学习领域工作的区别吗?

 

Bengio:在那时,你可以全身心投入研究,一点干扰也没有。当时的环境跟现在完全不同。当我们几个遇到彼此的时候,情况跟现在还是有一些类似的,但神经网络还是边缘研究,才开始了5到10年的样子。上世纪90年代初,神经网络火过一阵子,企业也是真的大力投入,有过一些炒作,所以跟现在还是有些类似的。但是,现在神经网络是真的能用了。

 

LeCun:我认为神经网络在当那时候也能用啊!但是,60年代研究感知的人认为神经网络不是一个有价值的方向,所以他们开始各种改名字改叫法,按他们的方式去做,造成了巨大的实际影响。

 

Hinton:他们都太年轻啦,根据不记得这回事!

 

LeCun:现在的AI教科书里,还有很多那时候的东西,上世纪90年代的神经网络,早就过时了,但现在还被当做参考,它们是有用,但是它们不是通往AI的路径。很多我们今天使用的技术,也将以同样的方式广为传播,也将以同样的方式传给下一代、下下一代,除非我们找到让这些技术能够继续有用、往前发展的下一步,否则现在的很多技术也将会死亡。

 

Hinton:同意Yann的观点!

 

在你的众多论文中,有什么是我们应该注意但却忽略了的吗?


Hinton:比h-index少一个引用数的那篇吧(笑)。我在2008/9年写了一篇文章,使用矩阵来对关系(relationship)和概念(concept)建模。给定3个东西,你要根据前两个推断出第3个。我在2000年初做了很多工作,基本上是早期的嵌入。有人说我该放弃这项工作,因为整篇论文中只有一个非自我引用!我的想法是,不是用向量表示对象,矩阵表示概念,而是用矩阵来表示这两者,这样就能表示关系的关系。我们教它 3 + 2 等于 5,然后教它 2 和 + 在一起是 +2,系统产生的输出从来没有见过“+”这个概念,所以它必须学习自己。这篇论文得了个 2、2、3的评分(满分10分)。后来,我把论文发给认知科学那边,他们也不喜欢,说:“如果我对论文的理解是正确的,那这篇论文真是太棒了,但我认为我们的读者不会对这个感兴趣!”

 

Bengio:我都没有提交我的论文,因为我知道肯定会被拒!那篇论文的想法是,为了学习我们需要其他人的指导,这里就不多说了。

 

随着时间的推移,你们几位取得的共识似乎越来越多。现在你们被称为“深度学习三巨头”,但还有什么是你们彼此之间存有巨大分歧的?


Bengio:这是坑吗?我不跳哦!

 

Hinton:!。

 

LeCun:相比问题本身,或许我们对解决问题的方法有不同的意见。有段时间,Geoff用概率……

 

Bengio:凡是有关概率的事情,Yann一点都不想知道,他把Geoff叫做概率警察。

 


现在有很多人在做深度学习和神经网络,深度学习会在AI里一直存在吗,还是说其他领域会兴起?

 

Bengio:我们绝对需要在现有基础上发展新的想法。这些想法将受到我们现有技术和概念的启发,并将成为创造新东西的基础。

 

LeCun:这些概念将被参数化并且继续发展——它们不会消失,但光是现在这样显然是不够的,所以我们需要考虑新的架构——很多人都在积极探索动态架构(dynamic architecture),自然语言处理也有很多有趣的事情发生。我们还需要更多的训练超大规模学习系统的方法——这可能不是最终的答案,还可能有旧的想法再次火起来。接下来还会出现这样一些方法,那就是将深度学习和推理这样更离散的东西连接起来。

 

Bengio:我们需要找到方法,让ML和DL重新拿起目标函数,并用新的方法来训练和教育这些目标函数,这对AI来说是至关重要的。

 

Hinton:Yann和Yoshua还认为——最大的困难并不是找到一个无监督学习的目标函数。我在92年发表了一篇将空间一致性作为目标函数的论文。有了这个以后,我们能够学习更多的层,了解更多的东西。我们还能训练自编码器。

 

虽然具体解决时间我们还不知道,但你们认为下一个挑战和我们会解决的下一个问题是什么?

 

LeCun:在Facebook,有一个团队是做星际争霸的。这个游戏比围棋更难,因为它使用战略,有多个智能体,各种技术——你不知道你的同伴在做什么,在韩国星际是职业竞技的一种,非常具有挑战性。现在有一些玩星际的bot,但都不在人类的水平。Facebook和DeepMind的团队正在使用机器学习玩星际,我认为我们会在这方面看到一些进展。但是,下一个真正改变人类生活,并且我们可以解决的问题,是如何训练一辆汽车自动驾驶——有没有办法做到完全自动并且安全?

 

Bengio:我实际上最近也在做这样一个项目。一个AI游戏,里面有一个人和一个AI婴儿。人需要使用自然语言来教育这个AI,告诉它什么是什么,总之做所有一般父母都会做的事情。这些都在虚拟环境中发生。这个游戏是为了让人用最好、最快捷的方式来训练AI,而不必担心其他太多问题。这个项目很棒,因为是游戏,对于参与的人而言很有趣,也有助于收集大量的数据,让我们了解如何使用强化学习来确定自然语言和环境之间的相关性。

 

在AI中,有没有一些问题,让你觉得如果把它们都解决了,你就可以退休了?

 

Bengio:有一些真正困难的问题还有待解决,这很有趣!我想知道机器如何发现高表征(High Representations)来解释世界。关于解释世界,现在有一些通用的假设,它们短期内在统计学意义上是有效的,这非常简单,但是要真正解决起来就没那么简单了。

 

Hinton:对我来说,会产生影响的一个特殊的事情是自然语言处理和语言理解。有一些句子,像“奖杯放不到手提箱里,因为它太小了”或者“奖杯放不到手提箱里,因为它太大了”,在第一个是“它”指手提箱(太小),而后面的“它”指奖杯(太大了)。因为语言结构的原因,我们能推断出这一点,但如果你把这些句子翻译成法语,还有其他一些因素要考虑:机器是否正确区分和使用了阳性和阴性词?所以它必须理解背景。如果一台机器可以成功地完成这些翻译,那么就说明它们真正了解发生了什么。但是我认为,这需要比现在的机器翻译大约大1000倍的性能才能正常工作。如果我们能够做到这一点,机器会掌握所有的常识。它会说服那些固守传统的人,AI的成功并不是偶然,而是机器真的了解发生了什么。我认为可能在10年内可以做到这一点。

 

Bengio:我想我们应该让机器学习解释什么是睡觉和为什么要睡觉。我觉得很奇怪,人们不会质疑为什么我们要把生命的三分之一以上的时间花在睡觉上。但如果你剥夺了人们睡觉的权利,他们会发疯的!我们喜欢8个小时的睡眠,但是我们却不知道为什么。我强烈地认为,睡觉会这一活动会告诉我们,究竟人们是如何进行学习的。

 

LeCun:我们如何让机器获得常识?无监督学习?代表空间的目标函数?可能需要10或20年,我们不知道。

 

Hinton:又或者只需要一周的时间。

 

抛开技术问题,谈谈伦理——哪些伦理方面的问题最有可能让你夜不能寐?

 

Bengio:对我来说,是对AI 和我们所开发的产品的错误使用。例如,我对在智能武器装备中使用AI特别敏感,这可能是非常危险的。我认为政府应该签署条约。此外,以操纵AI的方式进行广告宣传,对民主来说可能是真正危险的。最后,AI落在错误的人手中的问题真的很麻烦。

 

LeCun:如果被心怀恶意的用户使用,这可能是非常糟糕的。事实上,机器学习方法确实可能会被用在一些糟糕的场景中,造成损害。例如,当你使用有偏见的数据训练机器时,机器会有偏见,当你训练系统时,会复制训练它的人的行为。这是技术问题,也是道德问题——我们如何消除偏见?AI在公众中的形象可能会因此变得黯淡,所以我们必须积极主动做出改变。我正在与“ThePartnership in AI”合作,我们一起提出了部署测试的指导纲要,以保证安全。

 

对于从事AI工作的年轻人,有什么建议?

 

Hinton:如果你有一个强烈的直觉,认为自己有一个很好的主意,但其他人都说“不”。那么注意,它不是一个坏的想法,它实际上是一个原创的想法。然后想想,你应该好好研究你的这个“好主意”吗?如果你有良好的直觉,那么就在你的想法上开始工作。如果你没有良好的直觉,你做什么都不重要!

 

Bengio:我的建议是,听Hinton的。

 

LeCun:我们三个人非常直观,我们通过直觉提出了概念和想法,虽然有时其他人告诉我们这是不可行的。所以一些最有趣的想法不是最复杂的,但是要实现它的方式可能是。令人惊讶的是,人们需要这么长时间才能认识到一些事情是好的想法!


相关链接


深度学习概念:源于人工神经网络的研究,由Hinton等人于2006年提出。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。


应用领域


一、金融:深度学习融入量化分析,人脸识别助力身份验证

 

人工智能目前在金融领域的应用主要集中在身份验证、客户服务、市场分析、客户关系管理、内容分析、风险控制和商业智能等。人工智能在金融领域的已有应用。

 

量化分析:在传统的投资研究中,基金经理及研究员对财务、交易、市场等数据进行建模,利用回归分析等传统方式作出交易策略,而在人工融入量化分析之后,这些工作均由计算机完成。而人工智能运用于量化投资,在规避市场波动下的非理性选择、回避非系统性风险、获取确定性收益方面等更胜一筹。

 

深度学习和图像识别推动人工智能进入量化分析领域。人工智能在量化分析领域的应用主要分为两种模式:第一,深度学习算法建立模型或模仿专家决策辅助预测,代表公司主要有 Rebellion Research、Castilium 和Alpaca;第二,图像识别辅助分析外汇交易图表,代表公司主要有 Alpaca。

 

人脸识别支付 :人脸识别支付系统是基于脸部识别系统的支付平台,,支付时不需要钱包、信用卡或手机,只需要面对 POS 机屏幕上的摄像头,系统会自动将消费者面部信息与个人账户相关联。

 

二、无人驾驶

 

深度学习在无人驾驶领域的应用主要包括几个环节:

 

1、人车交互:自然语言处理(包括语音识别、语义理解等)

 

目前,深度学习算法已经在语音识别领域得到广泛应用,目前语音识别的准确率高达 90%以上,甚至接近 100%,主要得益于深度学习算法的应用。而深度学习在语音处理领域的应用主要在于机器翻译以及语义挖掘等方面。我们认为,深度学习算法的应用加快人与车高效交互的实现。而目前我们已经看到四维图新联手普强已经开发出一款前装语音助手产品。普强的汽车语音产品基本经历了三个阶段:第一步实现车内自然语音识别和理解;第二步成为更接近自然对话的语音助手,可以多轮对话和随机打断;第三步做多模态人机交互。

 

2、环境感知环节:计算机视觉

 

视觉摄像头通过不断获取周围环境图片来实现对环境的感知,而对图片的计算处理能力的提升很重要的一个途径就是采用深度学习的算法,目前卷积神经网络算法(CNNs)已经大规模应用在图像识别领域,算法已经相当成熟。另外,通过其他传感器获取的环境大数据,同样可以使用深度学习算法来提高数据计算能力,这也是 IBM 沃森在无人驾驶中重大价值体现。

 

3、路径规划&路况处理:机器学习让汽车像人一样思考

 

人们追求的无人驾驶最终效果是,车辆能够像车主一样在面对复杂路况、复杂交通环境时,做出像正常车主一样的理性判断和处理。这就需要无人驾驶系统具备自我学习能力,不断根据与外界交互的数据进行自我反馈、自我学习,最终达到真正的无人驾驶。而这需要无人驾驶车辆不断积累各样的交通状况数据、不停的学习各种突发状况的处理。例如,谷歌的无人驾驶汽车目前每天都在接受训练,目前已经累计行驶 265 万公里。除此之外,谷歌也会通过本身数据中心资源,以软件形式让无人车系统持续以模拟路况方式学习正确驾驶模式,以及在不同状况如何迅速应对等。

 

三、医疗:深度学习助力制药与治疗,图像识别融入医学影像

 

人工智能在医疗健康领域的应用分为八类,分别是健康管理、医疗风险分析、虚拟护士助理、药物挖掘、诊断、医学研究和营养学。从 2015年医疗健康领域人工智能的投资分布来看, 健康管理、医学影像、医疗风险分析是人工智能与医疗健康融合最受资本关注的三大领域。


药物挖掘:深度学习助力药物挖掘。人工智能与药物挖掘的结合极大地提高研发效率,降低企业成本。目前在北美地区已经出现了数家技术领先的初创企业借助深度学习,与默克等传统药企及医药研究机构合作,在心血管药物、抗肿瘤药物等多领域取得新突破。

 

医学影像:医学影像领域人工智能的核心技术为图像识别,即利用人工智读懂医学影像的内容。借助图像识别技术,医师可以更高效地做出专业判断,患者能够更快速地获得医疗服务,而医疗机构也可节省成本。在分级诊疗的大背景下,人工智能与医学影像的市场空间在不断增长。

 

虚拟医生:自然语言处理与深度学习使虚拟医生成为可能。2015 年 12月,生物制药公司诺和诺德将与 IBM 旗下沃森健康(Watson Health)合作为糖尿病人开发“虚拟医生”,为患者提供胰岛素用量等治疗建议。2016年初,谷歌 Deep mind 首席执行官向英国的初创公司“巴比伦”投资 2,500万美元。巴比伦正在开发医生或患者说出症状后,在互联网上搜索医疗信息、寻找诊断和处方的人工智能 APP。





本文仅代表作者个人观点,不代表本公众号立场,且我们对信息的准确性及完整性不作任何保证。本公众号转载此文仅出于传播更多资讯之目的。如有侵权或违规请及时联系我们,我们将立刻予以删除。

联系方式:atop_capital@163.com



友情链接

Copyright © 2023 All Rights Reserved 版权所有 北京物流信息联盟