（图片来源：Pixabay）
和其他发现一样，NIST的测试也揭示了，与识别白人面孔的准确度相比，许多算法在识别黑人或中东人的面孔时存在10倍到100倍不等的错误率。在数据库中搜寻某张特定的面孔时，大部分算法在识别黑人女性时选择错误图像的比率明显高于在识别其他人群时选错的比率。
这一报告是NIST最新推出的人脸识别供应商测试（FRVT）项目的第三部分，该项目旨在评估不同面部识别算法的能力。《科学美国人》采访了NIST图像组负责人克雷格·沃特森（Craig Watson），以了解其团队如何进行评估工作。沃特森表示：“我们成立该项目是为了引起有意义的讨论，并且为决策者、政策制定者和终端用户提供经验数据，以知晓该技术的准确度、用处、能力和局限性。我们希望终端用户和政策制定者能看到这些结果，然后自行做出决策。”
什么是人脸识别供应商测试？
这是人脸识别能力的核心算法测试。第一部分考察一对一识别的准确度，即算法如何判断两张图像中是不是同一个人？你的手机就是一个应用案例：当你要用人脸识别来解锁手机时，你要将脸对着手机。它会判断：“你是不是有权限解锁这部手机的人。”
第二部分是一对多识别。那是在未知图像库中进行搜索，如果在库中找到了匹配的图像，算法能否准确返回呢？一对多搜索可以用于对设施进行访问控制：理想情况是，人们在访问时出示他们的生物学信息，算法将该信息与可访问对象比较后自动授予其权限。这也被应用于执法部门，可查看某人是否在潜在犯罪数据库中。要指出的是，从算法中返回的所有内容通常都会经过人工审查。
然后，第三部分将研究一对一和一对多应用程序的人群差异，来看算法在数据集中对不同人群的判断是否有差别。
第三部分的结果是什么？
我们报告的错误分为两类：假阳性和假阴性错误。假阳性错误是指，算法将实际上不是同一个人的两张照片判定为同一个人。假阴性错误是指，算法将同一个人的两张照片判定为两个不同的人。当你试图解锁你的手机并进行人脸识别时，它不给你权限，这就是假阴性错误。这种形况会造成不便，你得再识别一次来获得权限。而假阳性错误在设施访问控制中会引起系统所有者的担心，因为它可能会让没有权限的人进行访问控制。另外，如果从执法的角度来看，这会把待查人员放到他可能压根就不该出现的名单上。
我们的一项发现是，大多数提交的算法都显示出某种程度的人口统计学差异。我们发现假阳性率普遍高于假阴性率。它们在某种程度上存在于大多数算法中，但却并不是所有算法。在一对一识别中，误差范围很大。有些算法对某种人群识别的错误率可高达其他人群的100倍。这是最糟糕的情况。但是，也有一些算法表现得很好。因此，问题的症结是算法在表现上确实存在很大差异。我们强烈鼓励每个人在制定决策时都了解你的算法、数据以及应用程序。
亚洲国家开发的算法似乎在识别非白人面孔中更出色，该报告对此如何解释？
具体来说，这是在说亚洲国家开发的算法没有针对亚洲面孔的人口学差异，这表明，算法有望通过数据训练改善这些问题。我们不知道算法具体是在什么方面训练的。我们只是在某种程度上假设，比起其他算法，亚洲国家开发的算法更多地是在亚洲面孔上的训练。
那么为什么美国的开发商们不让他们的算法针对更多样的面孔进行训练呢？
当你训练这些深度学习和卷积神经网络时，你需要大量数据和这些数据的访问权限。那可能不是小事。
NIST从哪里获得这些测试的照片和数据？
我们还有其他机构提供大量的匿名可操作数据。在本项测试中，我们有四个数据来源，包括有FBI（联邦调查局）提供的国内犯罪入案照片、移民福利申请照片、国务院提供的签证申请照片和国土安全部的入境旅客照片。我还要指出，这些数据在分享给NIST之前经过了人力审查、法律审查和隐私审查。
这是非常庞大的数据量。在本项目中，可供我们进行测试的大约有1800多万张图像，800多万个受试对象。这些数据带有各种元数据，例如，对于FBI的入案照片，他们的种族类别分为黑人或白人。然后，我们就可以使用这些元数据来分析这些人口统计学差异。对于国土安全部的数据，我们有出生国的信息，我们用国别来代替种族，可以大致把数据分成世界上七个不同的地区。我们还得到了年龄和性别的大部分数据，使我们能进行该分析。
这些数据被隔离在美国，我们不共享这些数据。我们所做的是开发一个应用程序接口（API）来驱动测试。所以我们拥有NIST所有的硬件。我们在这一端编译驱动程序，它会链接到相应软件上，这样我们就能在硬件上运行。该API仅用于控制负载如何分布在我们的硬件上，即我们如何访问图像。所以这是对测试的控制，也是对数据的控制。
翻译：廖铭璐
审校：施怿
作者：索菲·布希威克（Sophie Bushwick）
引进来源：科学美国人
本文来自：环球科学
特别声明：本文转载仅仅是出于科普传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者如果不希望被转载或其它相关事宜，请与我们接洽。
[责任编辑：环球科学]
京公网安备11010502039775号
