RSAC 2024 创新沙盒「认知安全」夺得冠军意味着什么？

5月6日开幕的RSAC2024上，备受瞩目的创新沙盒大赛10强决赛，从事认知安全领域的Reality Defender拔得头筹。

• 生成式人工智能，如大型语言模型和图像生成模型，带来了一系列认知安全问题。这些问题主要涉及信息的真实性和操纵风险，可以具体分为以下几个方面：
• 虚假信息生成：生成式AI模型可以创造逼真的文本、图像、音频和视频内容，这些内容可能会被用于制造虚假新闻、误导性信息，甚至用于伪造人物言论和活动，对公众意见和社会信任造成影响。
• 深度伪造技术：随着技术的进步，深度伪造（deepfake）技术变得越来越精细，难以与真实内容区分。这种技术的滥用可能用于政治操纵、诈骗和个人诽谤。
• 认知战与心理操纵：国家或组织可能利用生成式AI技术在心理战和信息战中播放定制化内容，影响人群情绪和行为，这在国际关系和国家安全领域尤为敏感。
• 自动化与扩展性：AI的自动化能力使得制造和传播虚假信息的成本大大降低，同时速度和规模都得到了极大扩展，增加了控制和应对的难度。

在俄乌战争期间，认知安全问题尤其突出，涉及信息战、心理战和公众意见操纵等多个方面。以下是一些关键的认知安全问题：

在俄乌战争期间，双方在冲突中都被指控使用虚假信息和宣传，以塑造国际和国内的公众舆论。这包括对战场情况的夸大报道、对对方行动的误导性描述，以及对战争受害者的不实报道。技术的进步使得生成逼真的图像、视频和音频内容变得更加容易，这些内容可能被用来支持特定的叙事或抹黑对方。例如，利用深度伪造技术制作政治领导人的虚假讲话或行动场景。

对于这些认知安全问题，需要通过法律法规、技术手段和社会治理等多方面的努力来加以解决。

Reality Defender的创始人Ben Colman有在北京大学留学的经历。据RSAC创新沙盒现场参会的谭晓生反馈，Reality Defender主要对音频、视频、图片做鉴伪服务，金融机构、政府是其主要客户。

国内对认知安全高度重视，有不少学者在从事这个方向的研究，也有中科睿鉴等公司从事深伪鉴别、认知安全方面的工作。

官网：https://www.realitydefender.com