图片来源：Pixabay
如果你使用Facebook和Twitter这种社交媒体网站，你可能偶尔会看到一些标有虚假信息警告的帖子。目前来看，不论有无标记，大多数虚假信息针对的都是普通民众。倘若虚假信息（错误或误导性信息）出现在网络安全、公共安全和医药等科学技术领域，又该怎么办呢？
由于发表科学文献甚至在同行评议研究论文时普遍存在的偏见和做法，人们越来越担心虚假信息在这些关键领域传播。作为研究生和从事网络安全研究的教员，我们研究了制造科学界虚假信息的新方法。研究发现，人工智能系统可以在医学和国防等关键领域生成足以骗过专家的虚假信息。
一般的虚假信息通常是为了破坏公司或名人声誉，但专业知识领域的虚假信息则会产生可怕的后果。如向医生和病人提供错误的医疗建议，这可能会造成生命危险。
为了测试这种威胁，我们研究了在网络安全和医学界传播虚假信息会产生怎样的影响。我们用人工智能模型（我们叫它们转换器）生成有关网络安全和新冠病毒医学研究的假新闻，并将那些虚假信息交给网络安全专家进行测试。结果发现，由模型生成的虚假信息能够骗过网络安全专家。
转换器
大多用于识别和管理虚假信息的技术都由人工智能提供动力。AI能帮助计算机科学家快速核查大量错误信息，假如没有技术协助，单靠人类肉眼，怕是要干到地老天荒。尽管人工智能帮助人们发现虚假信息，但具有讽刺意味的是，近年来AI也被用来制造虚假信息。
像谷歌的BERT和OpenAI的GPT这样的转换器会使用NLP（自然语言处理）来理解文本并生成翻译、摘要和解释。它们还能讲故事和回答问题，显示出了与人类相似的文字能力，突破了机器在文本生成方面的界限。
图片来源：Pixabay
这些转换器帮助谷歌和其他科技公司改进他们的搜索引擎，也帮公众解决了一些类似于灵感枯竭的常见问题。
转换器也可用于制造麻烦。Facebook和Twitter这样的社交网络已经面临AI制造的跨平台假新闻的挑战。
关键错误信息
我们的研究显示，转换器也会对医学和网络安全构成虚假信息威胁。为了证明这个情况有多严重，我们基于有关网络安全漏洞和网络攻击信息的公开在线资源微调了GPT-2转换器模型。网络安全漏洞是指计算机系统的弱点，网络安全攻击是利用漏洞趁虚而入。例如，如果漏洞是一个保护力薄弱的Facebook密码，黑客就会找出你的密码并侵入你的账户。
之后，我们在模型中植入来自实际网络威胁情报样本的句子或短语，并让模型生成剩余的威胁描述。我们把结果发给网络威胁猎手，他们会筛选大量有关网络安全威胁的信息。这些专业人员通过阅读威胁描述来识别潜在的攻击并调整他们的防御系统。
结果让我们感到惊讶。我们生成的网络安全虚假信息能骗过对各种网络安全攻击和漏洞都了如指掌的网络威胁猎手。这是我们在研究中生成的一份涉及航空业的网络威胁情报的主要部分。
APT33正在探索针对关键基础设施的物理破坏性网络攻击。攻击者在基于网络的航空公司管理界面上添加了各种漏洞。一旦成功，攻击者就能拦截并提取敏感数据，获得对CMS实用程序未经身份验证的访问。
这条误导性的信息包含了关于航空公司受到敏感实时飞行数据网络攻击的错误信息。这些错误信息将网络分析师的注意力转移到虚假的软件漏洞上，从而阻碍他们解决系统中的真实漏洞。如果网络分析师在真实世界里只处理了虚假漏洞，那么所涉及的航空公司就可能会面临一次严重的攻击，而攻击利用的就是那个真正的、未解决的漏洞。
类似的基于转换器的模型也可以在医学领域生成信息，并可能欺骗医学专家。在新冠疫情大流行期间，那些未经严格审查的研究论文预印本不断被上传到medrXiv这样的网站。不仅媒体会报道它们，公共卫生决策者也会将它们作为参考。请思考下面的内容，这些内容是我们基于一些新冠相关论文对预设的GPT-2模型进行最小微调之后，用模型生成，并不真实。
接种BNT162b2和ChAdOx1新型冠状病毒疫苗后的全身和局部副作用均在接受第二剂疫苗24小时内发生。第一次接种后的副作用包括发烧、头痛、呼吸困难、胸痛和腹痛。第二剂可恢复正常组织氧合水平，但可能伴有头晕、缺氧和呼吸困难。本研究采用以人群为基础的队列研究方法，系统地采集血液标本，观察疫苗接种后红细胞交换和宿主细胞释放(ES)的mRNA输入过程。
该模型能够生成完整的句子，并写一个摘要，宣称介绍了新冠疫苗接种的副作用和他们的实验。这既困扰着需要依靠准确信息来做出正确决定的医学研究人员，也困扰着依赖公共新闻来了解关键健康信息的普通民众。如果错误信息被当成准确信息，可能会误导从事生物医学研究的科学家，从而危及生命。
图片来源：Pixabay
一场源于AI虚假信息的军备竞赛？
尽管我们研究中的这些例子可以被核查，但转换器产生的虚假信息阻碍了医疗保健和网络安全等行业用人工智能解决信息过载的问题。例如，自动化系统正在训练从网络威胁情报中提取数据再用这些数据识别潜在攻击的能力。如果这些自动化系统处理那些虚假的网络安全文本，它们检测真实威胁时的效率就会降低。
我们认为，当始作俑者为了让他们的虚假信息躲避技术识别，进而开发出制造虚假信息的更好的方法时，这可能就变成了一场军备竞赛。
网络安全研究人员正在不断研究不同领域检测错误信息的方法。了解如何自动生成错误信息有助于识别错误信息。例如，自动生成的信息往往有一些微妙的语法错误，而系统可以通过训练来发现这些错误。系统还可以交叉关联来自不同来源的信息，并识别缺乏其他来源实质性支持的信息。
归根结底，每个人都要学会辨别哪些信息才是值得信赖的，要意识到黑客就是在利用人们会轻易相信别人来传播虚假信息，如果这些信息不是来自可靠的新闻来源或已发表的科学成果时，尤其要提高警惕。
撰文：Priyanka Ranade，马里兰大学巴尔的摩分校计算机科学与电气工程系博士生；Anupam Joshi，马里兰大学巴尔的摩分校计算机科学与电气工程教授；Tim Finin，马里兰大学巴尔的摩分校计算机科学与电气工程教授。
翻译：张乃欣
审校：曾小欢
引进来源：theconversation
本文来自：中国数字科技馆
特别声明：本文转载仅仅是出于科普传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者如果不希望被转载或其它相关事宜，请与我们接洽。
[责任编辑：环球科学]
京公网安备11010502039775号
