亚马逊在发现他们的实验性人工智能（AI）招聘工具歧视女性后，决定关闭该招聘工具。亚马逊公司发明该工具的目的是在互联网上寻找潜在的求职者，并对他们从1到5星评分。但是该算法学会了系统性地对投给技术岗位（如软件开发）的女性简历评更低的分数。
没能找到一个能让它的算法变得性别中立的方法。不过亚马逊的失败提醒了我们，AI可以因为多种的原因发展出偏见。虽然人们普遍认为，算法不应该具有任何影响人类决策的偏见或歧视，但事实上算法可能会从大量不同的来源中习得偏见。用来训练它的数据中包含的所有东西、使用它的人，甚至是看起来毫不相关的一些因素，都可能导致AI的偏见。
人工智能算法被训练来观察大数据集中的模式，以帮助预测结果。在亚马逊的案例中，它的算法利用了过去十年里投递给公司的所有简历，来学习如何找出最优秀的求职者。和大部分技术型公司一样，亚马逊的女性员工比例较低，因此算法很快发现了男性在其中的主导地位，并认为这是成功的一个因素。
因为这个算法使用自身预测的结果来改善自己的精准性，所以它陷入了一个歧视女性求职者的模式中。此外，因为用来训练它的数据也是由人类生成的，所以这就意味着该算法继承了一些不讨喜的人类特质，比如偏见和歧视这类多年来的招聘难题。
有些算法也用来预测并推送用户想看到的内容。这种情况最常见于社交媒体或线上广告，在这些地方展现给用户的都是算法认为能和他们产生互动的内容和广告。相似的模式也出现在了招聘行业中。
一个招聘者报告说，在使用专业社交网络寻找求职者时，AI学会了给他推送与他一开始接触的人最相近的结果。这样的结果是，有一整个潜在求职者群体都被系统地从招聘流程中排除了。
然而，偏见也来自于其他无关原因。近来一个关于算法推送STEM工作广告的研究发现，男性更可能看到这些广告不是因为他们更可能点进去，而是因为推送给女性的成本更高。公司对面向女性的广告定价更高（70%-80%的消费行为由女性做出），而该算法的目的是在保持低花费的同时优化广告推送，所以该算法选择向男性投放更多的广告。
但如果算法只是反映了我们提供给它的数据中的模式、它的用户的喜好，以及它的市场中发生的经济行为，那么责怪它延续了我们最糟糕的属性不就是不公平的吗？我们自发地期待算法可以做出不带任何歧视的决策，但我们自己却很少能做到。即使算法有偏见，它也比我们的现状更好。
为了在使用AI的过程中充分受益，我们有必要调查清楚让AI在没有人类介入时作出决策的后果。2018年的一项关于保释决策的研究探讨了这个设想，它使用了罪犯的历史数据来训练算法，以预测再次犯罪的可能性。
然而这个研究所强调的收益只会在算法确实要负责每个决策时才会出现。这在现实世界中不太可能发生，因为决策者决定了要不要使用算法的推荐。即使算法设计得很好，人们不依赖于它的时候它也变得多余。
我们很多人在许多日常决策上都会依赖算法，比如观看Netflix上的哪些内容，或从亚马逊上购买什么。但研究显示，和人类比起来，人们在看到算法犯错时更容易失去信任，即使算法总体表现更好。
举例来说，如果你的GPS建议你另选一条路以避开交通拥堵，结果你花了比预计更长的时间，那么你更可能在将来不再依赖你的GPS。但是如果换条路走是你自己的决定，你很有可能会继续相信自己的判断。一个关于克服算法厌恶的追踪研究甚至显示，如果有机会自己修改算法的话，人们会更可能使用算法并接受它犯的错误，即使这样会让算法表现得不完美。
人类对有缺陷的算法也许会很快失去信任，但如果它们具有人类的特征，那我们很多人则会更信任机器。根据对自动驾驶车的研究，如果车辆的增广系统有自己的名字、明确的性别以及人类的嗓音，那么人们会更可能信任这辆车，并认为它可以表现得更好。然而，如果机器变得太像人类，但又不完全一样，那么人们常常会觉得它们很惊悚，对它们的信任程度也受到影响。
就算我们不喜欢算法所反映的我们社会的情形，我们似乎仍然热衷与它们共存，并使它们的外表和行为都与我们相似。如果是这样的话，那算法当然也会犯错了吧？
作者：
Maude Lavanchy
洛桑管理发展学院（IMD Business School） 研究助理。
公开声明:
Maude Lavanchy不为任何可能从本文获益的公司或组织工作、咨询、持有股份或接受资金，除学术聘任外，和这些公司并无其他关系。
洛桑国际管理发展学院(IMD Business School)作为The Conversation UK的一员提供资金支持。
翻译：杜佳蔚
审校：戴晨
京公网安备11010502039775号
