保障临床系统中的人工智能安全

人工智能（AI）在各个行业引入了大量的机遇和希望，开辟了未知的可能性。在临床系统和医疗设备中保障AI的安全面临着独特的挑战。保障个人健康信息（PHI）和患者安全至关重要，这将高度规范的行业带入了AI领域，其中患者安全通常依赖于临床AI代理。这些级联的临床代理通常较为松散地耦合，并由主代理管理，以增强临床从业者的能力。

数据投毒是一种对抗性攻击，涉及故意污染数据以损害机器学习（ML）系统的性能。这种攻击对临床系统和医疗设备可能是毁灭性的，直接影响患者安全。实时输入操纵攻击会更改AI系统输入。这些攻击涉及改变传感器读数、设置或用户输入，以操纵AI的响应或行为。这种攻击可能导致AI驱动的系统出现故障或做出错误决策，导致数据完整性受损，从而产生直接影响，可能引发误诊。

AI幻觉

AI幻觉是指生成式AI模型生成不准确或误导性的信息，仿佛其是正确的。例如，大型语言模型（LLM）可能会感知到人类观察者无法察觉的模式或对象。例如，一个在临床和患者健康信息（PHI）数据上训练的大型语言模型可能会生成一个包含患者从未有过的疾病或治疗的患者医疗史，或者提供错误的药物剂量建议。在医疗设备中，如果负责解释传感器数据的AI组件幻觉出一个未发生的危险故障，可能导致不必要的关闭或错误警报，从而中断患者护理。

使用基于训练数据的AI工具的客户也应考虑这种风险，因为如果AI工具使用或曾经使用受保护的数据作为训练基础，客户使用AI工具可能会侵犯知识产权。在临床系统和医疗设备中，当涉及AI工具时，隐私和知识产权（IP）威胁从多个漏洞中出现。即使直接标识符被移除，AI模型仍可能从所谓的匿名化临床数据集中重新识别个人。例如，如果保险公司获得重新识别的医疗保健数据访问权限，可能会利用私人医疗信息。这可能对患者隐私构成重大威胁，可能导致歧视或针对性营销。

基于个人健康数据创建详细个人档案的AI解决方案可能侵犯隐私。这种个人资料的创建可能引发对个人健康信息的使用、共享方式以及可能被滥用的担忧。临床系统中个人健康信息（PHI）和个人身份信息（PII）的高度敏感性质使数据泄露成为严重的隐私威胁。如果这些数据被窃取，可能对患者造成广泛的隐私侵犯，并对业务产生监管罚款。AI工具通常依赖大量的训练数据。如果这些数据包含受保护的作品（例如专利算法、受版权保护的医学图像或专有研究结果），使用AI工具的客户可能无意中侵犯知识产权。

这是因为临床系统和医疗设备的AI工具可能会纳入或复制受保护的健康数据元素。恶意行为者可以通过分析临床系统或医疗设备中使用的AI模型的输入和输出，对AI模型进行逆向工程。这使他们能够以较低的成本创建一个“相似”的模型，从而基本上窃取了原始模型设计和训练中嵌入的知识产权。这种威胁可能破坏开发创新AI驱动的医疗和临床解决方案的公司的竞争优势。现在，让我们探讨如何将临床AI威胁与网络安全的 CIA（保密性、完整性和可用性）三元组进行映射。

保密性对于知识产权数据、个人健康信息（PHI）和个人身份信息（PII）至关重要。如果数据保密性得不到维护，数据泄露和窃取的影响将是巨大的。数据投毒是完整性问题。如果你仔细查看上述威胁，大多数威胁实际上与数据完整性密切相关，但由于在ML模型中使用了庞大的数据集，影响是巨大的。这意味着需要保护的攻击面更大，架构更加复杂。保障端到端架构需要巨大的努力，因为架构的复杂性。在许多地方，事情可能会出错。

完整性

维护端到端的数据完整性需要安全的数据供应链，并在不同的开发阶段定期验证完整性。完整性漏洞可能会对隐私和知识产权构成重大挑战。ML/AI 模型的规模和范围在可用性和临床应用及医疗设备的范围方面提出了独特的挑战。分布式拒绝服务（DDOS）攻击通常影响患者安全。

此外，恢复时间目标（RTO）将更高，这对于影响患者安全的临床系统和医疗设备来说是至关重要的。网络安全一直是一个挑战，并将继续成为一个挑战，因为互联计算机系统的复杂性。因此，在临床系统和医疗设备中保障AI应用的安全需要在技术、法律和安全方面增加额外的保障措施。