深度学习“见顶”不等于AI寒冬

尽管新的算法模型正在推动人工智能向前发展，但这并不意味着它们的前景是可预测的，也不意味着深入学习是“无望的”。

这是我们的记者赵广利·龚晓利

在当前的第三次人工智能浪潮中，深度学习算法被认为是迄今为止“最重要的人工智能革命”。这种说法可能有些夸张，但深入的学习确实促成了这轮人工智能的爆发。然而，近年来，关于深度学习算法是否“触顶”和“触底”的讨论逐渐增多，“人工智能将再次进入冬天”的争论也已经持续了一段时间。真的是这样吗？

通过搜索和采访，《中国科学》记者了解到，类似的说法可以追溯到2018年6月初，当时许多行业媒体转发了文章《人工智能冬天即将来临》，作者的信息在移动互联网平台上显示为“FilipPiekniewski，KohYoungTechnology公司首席人工智能科学家”。本文从深度学习的三个角度得出结论:“动力大大减弱”、“不可扩展”和“自动驾驶事故继续”深度学习将会大大降温,“预测人工智能冬天就像预测股市崩盘——不可能准确预测它何时会发生，但几乎可以肯定它会在某个时间点发生。"

最近一篇关于“深度学习是否已经触底”的文章来自一个名为“走向数据科学”的媒体平台。1月中旬，一篇署名托马斯·尼尔森(ThomasNield)，标题翻译为“历史总是在重演，人工智能冬天还是会再来”的文章提到了“人工智能冬天”，争论再次指向“深度学习的天花板”。在这篇文章中，作者认为“我们真的需要降低期望值，停止提升‘深度学习’的能力”。否则，我们可能会发现自己在另一个人工智能的冬天”。

在被推到神圣世界的深度研究之后，你怎么会突然“生出”这么多缺陷？

深度学习确实有先天缺陷。

在指出深度学习在自动驾驶领域的局限性之前，人工智能科学家、零点创始人兼首席执行官余凯首先肯定了其贡献，“深度学习在自动驾驶行业的作用一目了然”。

“业界现在强调的是，深入学习并不是唯一的事情。”在接受《中国科学》采访时，余凯表示，在自动驾驶领域，深度学习的局限性在于它只起到感知的作用，但在处理异常情况时的应用效果并不理想。

不仅仅是自动驾驶，在过去的两年里，在热门的“人工智能+医学”领域，深度学习算法也遇到了难以进一步深入的困难。

"目前，在深入研究解决临床问题的基本思路方面还没有重大突破."科大迅飞医疗信息技术有限公司总经理陶晓东对《中国科学报》表示，这一波人工智能过于依赖数据，忽略了许多数据以外的信息，“尤其是在医疗领域”。

"许多医学理论，如基本解剖学信息，并没有用于深入学习的框架中。"陶晓东认为，这导致人工智能在没有完整数据的情况下无法从更多维度接近真相，“你不可能有像ImageNet这样的训练数据”。南京大学计算机科学与技术系主任、人工智能研究所所长周志华认为，与上述行业应用中的问题不同，深度学习(或称深度神经网络)从学术理论本身来看有其固有的缺陷。

"神经网络有许多缺陷."周志华在2018年分享的主题“关于深度学习的一点思考”中明确提到，“任何使用过深度神经网络的人都知道调整参数需要很大的精力，因为这是一个巨大的系统。这将带来许多问题。首先，在调整参数时，经验很难分享。这就把我们带到了第二个问题——无论是科学研究还是技术发展，我们都希望结果能够重复，而在整个机器学习领域，深度学习的可重复性是最弱的。”

他说，例如，通常情况下，一组研究人员报告了一个结果，但是其他研究人员很难重复它——即使是用相同的数据和相同的方法。

这可能不需要深入学习。

深度学习是成功的，满足以下三个先决条件是不可忽视的:更多的数据、更强大的计算设备和许多有效的培训技能——这有助于人们使用高度复杂的模型。深层神经网络只是一个方便且高度复杂的模型。

周志华解释说，这背后的逻辑是，当选择使用深度模型时，结果很容易“过度拟合”，因此有必要使用足够的数据来训练模型，以便通过它获得的“规则”符合一般规则。这不仅需要训练技能，还需要考虑到这样做会导致非常高的系统计算开销，因此需要强大的计算设备，如GPU。

“深层神经网络最重要的是什么？答案可能是学习能力，这非常重要。”周志华认为，随着学习的深入，人们不再需要手工设计特征，从一端输入和输出数据，中间的所有特征都可以通过“学习”完全解决，这就是所谓的特征学习或表达学习。“与以前的机器学习技术相比，这是一个巨大的进步，我们不再完全依赖人类专家来设计功能。”

“学习或特色学习的关键是什么？循序渐进。”因此，周志华认为，这也是深度神经网络成功的内因:首先，它应该逐层处理，其次，它应该“具有内部特征转换”。“当我们考虑这两件事时，我们会发现深度模型实际上是一个非常自然的选择。有了这样一个模型，我们可以轻松完成上述两件事。”

该算法模型可以逐层处理，具有内在的特征变化，具有足够的复杂性，被周志华认为是“深层神经网络成功的关键原因”。从这个角度来看，周志华认为，如果满足这些条件，就没有必要只使用深层神经网络。“神经网络是选项之一，只要这三个点同时实现，其他模型也可以使用。”

“虽然神经网络非常受欢迎，也很成功，但在许多任务中，最好的表现不一定是深入的神经网络。”以周志华为例，备受关注的卡格尔竞赛(世界上最大的机器学习竞赛社区)存在各种各样的实际问题，比如订票和商品推荐。许多赢家不是深层神经网络，而是像随机森林这样的模型。

“神经网络通常在图像、视频和声音等典型任务中获胜，但在混合建模、离散建模和符号建模方面，神经网络的性能比其他模型差。”周志华说，他的研究小组提出了一种“深林”算法。该算法模型在许多不同的任务上获得了与深层神经网络非常相似的结果，而在其他一些任务上，尤其是交叉任务上表现非常好。同一组参数可以用于不同的任务，并且该模型具有自适应的复杂性。

此外，记者了解到，最近出现了一些新的算法概念，如小数据学习、对抗网络、胶囊网络技术等。，也有望成为深度学习短板的有效补充。

“冬天”这个说法不客观

值得一提的是，尽管新的算法模型正在推动人工智能向前发展，但这并不意味着它们的前景是可预测的，也不意味着深入学习是“无望的”。例如，余凯告诉《中国科学日报》关于自动驾驶领域的应用。下一步，深入学习应该基于规则并结合贝叶斯网络。“从感知到决策阶段，尤其是决策层，贝叶斯网络规则的引入尤为重要”。

事实上，深度学习已经如此流行并经历了长期的发展。周志华说，从卷积神经网络开始发展到这种算法在工业上真正实现，需要30年的时间。

“我们实际上没有任何真正颠覆性的技术。所有的技术都是逐步发展的。今天我们有新的探索可以解决一些问题，但从长远来看，经过多年和许多人的进一步努力，今天的探索应该为未来的技术奠定更重要的基础。”周志华说。

从这个角度来看，人工智能的寒冷冬天理论似乎没有客观性，至少余凯是这样认为的，“风口或寒冷的冬天只是近年来大量没有真正从事人工智能的人的参与所产生的噪音和炒作。真正的人工智能专家都知道，深度学习是人工智能的一个重要课题，但它远远不是整体”。

深度学习及其衍生技术是对机器识别、仿生模式感知和机器理解的改进。在改进的过程中，大量的技术公司进行了投资，国家和政府进行了跟进，为商业想象和人工智能与各种行业结合的可能性开辟了巨大的空间。虽然与市场需求相比，这些技术的渗透率仍然很低，但不可能得零分，因为它们不是满分。退一步说，即使技术方面的深度学习不再继续增长，释放工业潜力也需要很长时间。

人工智能的创始人之一，被誉为“深度学习之父”的杰弗里·辛顿，作为人工智能冬季的前见证人，对这一波“人工智能冬季理论”作出了更直接的回应。他说，“不，不会有人工智能冬天。因为人工智能已经渗透到你的生活中。在过去的冬天，人工智能不是你生活的一部分，但现在它是。”