对未来的又一次探索。”

方卓这种看法的表达还是赢来了不少掌声与直播间的好评。

对于许多人来说，这场热闹也就看到这里了，但对从业者、研发人员来说，真正的部分才刚刚开始，不论易科还是谷歌都在深度学习dl领域有很深的研究，这种围棋对弈只是展露出的表象，内里的运转与思考才是更让人重视的。

吴恩达作为易科“venus”项目的负责人之一，与谷歌旗下公司的席尔瓦就dl的模型逻辑进行了交流。

不管太白还是阿尔法，它们都是基于卷积神经网络的发展而来，这一基础是类似的，而它的突破源于2012年alex、ilya和hinton合作发表的关于alexnet深度卷积神经网络的论文，也正是在这之后，相关的研究出现了爆炸式的增长。

吴恩达与席尔瓦谈的是在alexnet之后的架构创新，是将传统的搜索算法与深度学习模型的有效整合，以及，整个团队在局部感受野、参数共享与稀疏连接、平移不变性这些方面做出的努力。

这种易科与谷歌以及场下嘉宾的交流极其愉快，也让方卓颇为满意，他虽然不懂，但瞧着这样的场面就觉得知识被塞进了脑子里。

只是，等到第二天，当吴恩达提出团队在研发上的困惑时，激烈的辩论到来了。

易科是有“siri”这样的语音助手作为人工智能的实践，而吴恩达的团队不仅在做卷积神经网络cnn的研究，也在做循环神经网络rnn的研究，他们认为后者更适合与语音助手相结合，但效果并不算很好，完全达不到想要的成绩。

问题出在哪里？

吴恩达表述了困惑，也谈了谈易科内部的解决方向。

参会的一部分人赞同易科的解题思路，但谷歌方面却出现了不同的声音。

“为什么非要使用循环神经网络？”谷歌的乌思克尔特本来正在休假，但因为对dl的交流感兴趣便报名过来，“为什么不试试自注意力self-attention？我认为它对nlp领域将会有更优秀的改变。”

“self-attention可以进行更好的并行计算能力，而不是像rnn那样进行顺序处理，它还能直接比较序列中任意两个位置的向量表示，这样就能更有效的捕捉和利用长距离依赖关系，但rnn不行！”

“rnn虽然理论上也能捕捉长距离依赖，但实际上往往因梯度消失或爆炸问题而难以实现！”

乌思克尔特研究的是谷歌的机器翻译改进方法，他的父亲就是计算语

本章未完，请点击下一页继续阅读！ 第3页 / 共6页