一种新的方法迫使机器学习模型在学习任务时关注更多的数据，以便获得更可靠的预测。
如果你的优步司机走捷径，你可能会更快到达目的地。但如果机器学习模型走了一条捷径，它可能会以意想不到的方式失败。
在机器学习中，当模型依赖数据集的一个简单特征来做决定时，就会出现一个捷径，而不是学习数据的真正本质，这可能会导致不准确的预测。例如，一个模型可以通过关注照片中出现的绿色草地，而不是更复杂的形状和图案来识别奶牛。
麻省理工学院的一项新研究探索了一种流行的机器学习方法中的捷径问题，并提出了一个解决方案，通过迫使模型在决策中使用更多数据，可以防止捷径的出现。
通过去除模型关注的简单特征，研究人员迫使它关注数据中更复杂的特征，而这些特征是它没有考虑到的。然后，通过让模型用两种方法解决同一个任务——先使用那些更简单的特征，然后再使用它现在已经学会识别的复杂特征——它们降低了捷径解决方案的趋势，提高了模型的性能。
这项工作的一个潜在应用是提高机器学习模型的有效性，用于在医学图像中识别疾病。在这种情况下，快捷解决方案可能导致错误诊断，并对患者产生危险的影响。
“仍然很难解释为什么深层网络会做出这样的决定，尤其是这些网络在做决定时选择关注哪些数据。如果我们能进一步了解人工智能是如何找捷径的，我们就能进一步回答一些基本但非常实用的问题，这些问题对试图部署这些网络的人来说非常重要。”计算机科学与人工智能实验室(CSAIL)的博士生、该论文的第一作者约书亚·罗宾逊说。
理解捷径的漫漫长路
研究人员将他们的研究集中在对比学习上，这是一种强大的自我监督机器学习形式。在自我监督机器学习中，模型是使用没有人类标签描述的原始数据训练的。因此，它可以成功地用于更多种类的数据。
自我监督学习模型学习有用的数据表示，这些数据被用作不同任务的输入，如图像分类。但是，如果模型采用了捷径而未能捕获重要信息，那么这些任务也将无法使用这些信息。
例如，如果一个自我监督学习模型被训练来对来自多家医院的x光片中的肺炎进行分类，但它学会了根据识别扫描所来自医院的标签进行预测(因为一些医院的肺炎病例比其他医院多)，当提供来自一家新医院的数据时，该模型就不会有很好的表现。
对于对比学习模型，我们训练了一种编码器算法来区分相似输入对和不同输入对。这个过程以一种对比学习模型可以解释的方式对丰富而复杂的数据进行编码，比如图像。
研究人员用一系列图像测试了对比学习编码器，发现在这个训练过程中，它们也会陷入捷径的陷阱。编码器倾向于关注图像的最简单特征，以决定哪些输入对是相似的，哪些是不同的。研究人员说，理想情况下，编码器在做决定时应该关注数据的所有有用特性。
因此，该团队增加了区分相似对和不同对的难度，并发现这改变了编码器会根据哪些特征来做出决定。
“如果你让区分相似对和不同对的任务越来越难，那么你的系统就被迫从数据中学习更有意义的信息，因为如果不学习这些信息，它就无法解决任务。”
但是增加难度导致了一种权衡——编码器在关注数据的某些特征方面变得更好，但在关注其他特征方面变得更差。罗宾逊说，它似乎忘记了更简单的特征。
为了避免这种权衡，研究人员要求编码器以原来的方式，即使用较简单的特征区分数据，并在研究人员删除它已经学到的信息之后，再对这些配对进行区分。以两种方式同时解决任务，使编码器在所有特征方面都得到了改善。
他们的方法被称为隐式特征修改，它自适应地修改样本，以去除编码器用来区分成对的更简单的特征。这项技术不依赖于人的输入，这一点很重要，因为真实世界的数据集可能有数百种不同的特征，它们可以以复杂的方式组合在一起。
从汽车到慢性阻塞性肺病
研究人员使用车辆的图像对这种方法进行了一次测试。他们使用隐式特征修改来调整颜色、方向和车辆类型，使编码器更难区分相似和不同的图像对。该编码器同时提高了对纹理、形状和颜色这三个特征的准确性。
为了验证该方法是否经得起更复杂的数据，研究人员还用慢性阻塞性肺病(COPD)医学图像数据库中的样本对其进行了测试。同样，该方法使得他们评估的所有特性同步获得了改进。
虽然这项工作在理解捷径解决方案的原因和努力解决它们方面取得了一些重要的进展，但研究人员表示，继续完善这些方法，并将它们应用于其他类型的人工智能自我监督学习，将是未来进步的关键。
（独家编译：科幻世界）
最热文章
人工智能写科幻小说，和作家写科幻小说有什么不一样？
德国概念设计师Paul Siedler的场景创作，宏大气派。
《静音》是一部 Netflix 电影。尽管 Netflix 过去一年在原创电影上的表现并不如预期，但是《静音》仍让人颇为期待
最近，美国最大的经济研究机构——全国经济研究所（NBER，全美超过一半的诺奖经济学得主都曾是该机构的成员）发布了一份报告，全面分析了 1990 到 2007 年的劳动力市场情况。\n
坏机器人制片公司最新的一部电影名为《霸主》（overlord），背景设置在二战时期，很可能是一部在半遮半掩中秘密制作的科洛弗电影系列。
我们都知道，到处都在重启；我们也知道，如果有钱，啥都能重启。所以，会不会被重启算不上是个问题，只能问什么时候会被重启。自然而然地，世界各地的各种重启现象衍生出了一个有趣的猜猜游戏：哪一部老作品会是下一个接受这种待遇的？\n
京ICP备11000850号-1 
京公网安备11010502039775号
信息网络传播视听节目许可证0111611号
国家科技基础条件平台
© 2011- 版权所有：中国数字科技馆 未经书面许可任何人不得复制或镜像
京公网安备11010502039775号 
添加官方微信了解最新资讯
微信
新浪微博
QQ
QQ空间
