欧洲工商管理学院(INSEAD)决策科学助理教授鲍里斯•巴比奇(Boris Babic)最近在《科学》(Science)杂志上发表了题为《医学监管锁定的算法》(Algorithms on regulatory lockdown In medicine)的最新文章。欧洲工商管理学院(INSEAD)决策科学与技术管理教授特奥佐罗斯•叶夫根尼乌(Theodoros Evgeniou);萨拉·格尔克,哈佛法学院皮特里-弗洛姆卫生法律政策、生物技术和生物伦理学中心研究员;哈佛大学法学院(Harvard Law School)教授、皮特里-弗洛姆中心(Petrie-Flom Center)主任格伦·科恩(I. Glenn Cohen)研究了监管机构在人工智能/ML这条陌生的道路上航行时面临的新挑战。
他们考虑的问题是:随着人工智能/毫升设备的开发和实施,我们面临哪些新的风险?如何管理它们?监管机构需要关注哪些因素才能确保以最小的风险获得最大的价值?
到目前为止,像美国食品和药物管理局(FDA)这样的监管机构已经批准了带有“锁定算法”的基于医疗AI/ ml的软件,也就是说,算法每次提供相同的结果,并且不会随着使用而改变。然而,大多数人工智能/ML技术的一个关键优势和潜在好处来自于它在模型对新数据的响应中不断进化的能力。这些“自适应算法”由于AI/ML而成为可能,它们创造了一个本质上是学习型医疗保健系统的东西,在这个系统中,研究和实践之间的界限是多孔的。
鉴于该自适应系统的重要价值,今天一个根本性的问题,监管机构是否应该仅限于授权的版本提交技术和评估是安全有效的,或者他们是否允许市场营销的一种算法,更大的价值是在技术学习和适应新环境的能力。
作者深入研究了与这个更新问题相关的风险,考虑了需要关注的特定领域和可以解决这些挑战的方法。
他们表示,加强监管的关键是优先考虑持续的风险监控。
报告作者表示:“为了管理风险,监管机构应特别关注持续监测和风险评估,而不是规划未来的算法变化。”
随着监管机构的进步,作者建议他们开发新的流程来持续监控、识别和管理相关风险。他们提出了可以帮助解决这一问题的关键元素,这些关键元素可能在未来通过AI/ML实现自动化——可能让AI/ML系统互相监视。
虽然这篇论文很大程度上借鉴了FDA在管理生物医学技术方面的经验,但在其他国家考虑如何塑造相关监管架构时,这些教训和例子具有广泛的相关性。对于任何开发AI/ML嵌入式产品和服务的企业(从汽车到保险、金融、能源,以及越来越多的其他行业)来说,它们也很重要,也很相关。在管理新的人工智能/ML风险方面,所有组织的高管都有很多东西要学,可以从监管机构如今对它们的看法中学习。
“我们的目标是强调医疗AI/ML系统在应对或适应其环境方面的意外变化可能带来的风险,”作者说,并警告称,“细微的、往往不被认可的参数更新或新类型的数据可能导致重大且代价高昂的错误。”
(转载:www.idcew.com)