图片来源：Pixabay
2020年，一个既能够读懂文章又能对问题作出反应并且能够自主形成新的写作范例，代号为GPT-3的庞大语言学习模型引起了国际媒体的关注。这个模型由加州的一个非营利机构Open AI发布，该机构致力于开发通用人工智能系统，GPT-3除了具有模仿人类的写作能力之外，值得注意的还有其庞大的规模。为了建造它，研究人员收集了1750亿组参数（一种计算单位）以及源于Common Crawl、 Reddit,、Wikipedia和其他来源的超过45兆字节的文章，然后在一个由数千个处理单元组成的系统中花费上千小时对其进行训练。
GPT-3论证了人工智能更广泛的发展趋势。深度学习成为了近几年来制造AI的先导技术，它通过使用大量的数据和计算能力实现造就复杂、精准的模型。然而，大公司和精英大学中的研究人员才更容易获取到这些资源。因此，西方大学的一项研究表明，AI已经出现了“去民主化”：能够为尖端科技发展做出贡献的研究人员数量正在不断地减少。这缩小了能够为这一具有社会意义的关键技术确定研究方向的人的范围。它甚至可能助长AI发展所面临的一些伦理挑战，包括隐私侵犯、带有偏见和大型模型导致的环境影响。
图片来源：Pixabay
为了克服这些困难，研究人员们正在尝试找出用更少资源做更多事情的办法。最近就有一项这样的发展，叫做“不到一次”——射击训练（LO-shot练习），这个项目由滑铁卢大学的 Ilia Sucholutsky和Matthias Schonlau开发。LO-shot学习背后的原则是让人工智能在学习时能够“举一反三”。这是当代人工智能系统面临的一个主要障碍，因为它通常需要数千个案例来学习区分对象。从另一个角度解释，即人类总是能对已有的案例进行抽象，以认出新的未曾见到过的物品。例如，当向一个孩子展示不同形状时，他总是能够很容易地区分这些例子，并识别之前看到的物品与新形状之间的关系。
研究团队首先通过一个叫做软蒸馏的过程引入这一学习功能。由国家标准和技术研究所运行的一个名为MNIST的图像数据库，其中包含60000个从0到9的书面数字的例子，被总结成混合了不同数字特征的五幅图像。在学习了这五个案例后，滑铁卢大学的这一系统能够准确对数据库中其余92%的图像进行分类。
在最新发表的文章中，该团队又扩展了学习原则以表明，理论上，LO-shot技术允许AI在只给出少量的数据集，甚至在只有两个案例的条件下也具备学习的潜能。这对于传统的深度学习系统来说是一项重大的突破，这种系统对数据的需求将会随着需要区分更多的对象呈指数的增长。目前，LO-shot的小数据集需要细心地设计，以提取不同类对象的特征。但是Sucholutsky正试图通过研究现有小型数据集中已经捕获的对象之间的关系来进一步发展这项工作。
图片来源：Pixabay
实现AI在相对少的数据条件下学习是十分重要的，主要有以下几个原因。首先，强制系统生成其未经学习的分类，能够更好地压缩实际学习过程。通过在抽象中构建捕获对象之间关系的方法，该技术还减少了产生偏差的可能性。目前，深度学习系统由于训练数据中存在不相关的特征而带有偏差。关于这个问题最典型的一个案例就是让AI识别雪天中狗的图像时，它总是会将狗辨别为狼——这是因为大多数狼的图像中都是以雪为背景的。能够专注于图像的相关方面将有助于防止这些错误。 因此，减少数据需求使这些系统不那么容易受到此类偏见的影响。
其次，系统所需要的数据越不广泛，优化算法时对人们（真实）信息的监视需求就越少。例如，软蒸馏技术已经开始对医学人工智能研究产生影响，医学研究中的数据训练集通常需要使用敏感的健康信息。最近发表的一篇文章中，研究人员们基于一个小型的、隐私保密的数据集，将软蒸馏技术应用在诊断X射线图像上。
最后一个原因，允许AI以不太充足全面的数据来进行学习，以此帮助人工智能领域的亲民化。通过使用小型AI模型，学术界内部的相互关联得以维持，并避免教授被工业界挖走的风险。LO-shot除了通过降低训练成本以及减少数据的需求来降低学习壁垒，还为用户创建新的数据集和用新的方法进行研究提供更多的灵活性。通过减少在数据上和建造工程上花费的时间，想要利用AI的研究者们能花更多的时间在其需要解决的实际问题上。
撰文：Ryan Khurana
翻译：仇艳菲
审校：董子晨曦
引进来源：科学美国人
本文来自：中国数字科技馆
特别声明：本文转载仅仅是出于科普传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者如果不希望被转载或其它相关事宜，请与我们接洽。
[责任编辑：环球科学]
京公网安备11010502039775号
