随着计算的进步、数据可用性的提高，人工智能正在以前所未有的速度发展。人工智能的特征体现为它是集合了数据、算法和计算能力的集合；人工智能可以集成在硬件中，虽然它的行为在一定程度上受到开发人员的定义和约束，但仍然可以通过自我学习对人类确定的编程目标进行优化。

一、人工智能的机遇和风险

人工智能开始被广泛的应用于医疗保健、网络安全、交通运输、绿色农业、工业制造、机器人、以及能源和公共服务领域，极大的促进了社会进步和人类福祉。对公民而言，人工智能为大家提供了更好的医疗保健、更高效的运输系统、更好的公共服务；对于科技发展而言，人工智能促进了科技的进步、生产效率的提高，以及经济的可持续发展。对于公共服务领域而言，人工智能有助于提供监管的效率、执法的透明度，降低了公共服务的成本。

基于人工智能的特征导致的人工智能的不透明性，以及人工智能发展的不确定性，可能带来一系列的潜在风险，例如冲击现有的法律和社会伦理，侵犯个人隐私及其他基本权利，对政府公共政策、公共服务以及社会稳定带来潜在的风险。人工智能的法律监管正在受到国际社会的广泛关注。

产生这些风险的原因是基于人工智能技术本身的固有特质决定的，例如：（1）人工智能的所有参与者，包括人工智能产品的生产者、人工智能系统的开发者、或者提供通信服务的其他参与者，通过所掌握的海量数据，增加了跟踪和分析人类行为的可能性，这可能导致数据被违法使用、泄露，侵犯个人权利，带来人身、经济或精神上的损害；（2）人工智能在开发过程中，可能存在搜集的数据缺乏完整性或者充分性，或人工智能系统可能存在设计缺陷；（3）人工智能系统或者应用未能符合社会的公序良俗，或者公认的道德准则，导致违反社会公平、正义的基本价值观，或带来其他社会问题；（4）人工智能技术的不透明性、不可预测性，以及涵盖了机器自主学习的决策所导致的责任承担的不确定性；以及（5）对跨多行业领域的人工智能，人工智能参与者的责任承担的复杂性。

二、人工智能的监管目标和监管原则

现阶段并没有一部专门的关于人工智能的立法，然而很多国家对人工智能的监管均给予了高度关注，并且在某些方面达成了初步的共识。在2019年6月召开的G20国家《关于贸易和数字经济的G20部长声明》中，明确“通过数字化实现一个包容、可持续、安全、可信、创新性的社会”。我们可以把它理解为人工智能监管的一个终极目标。

为了实现对人工智能的有效监管，欧盟委员会高级别专家组提到了关于“对可信赖的人工智能的负责任的监管”的原则。专家组认为“可信赖的人工智能”包括（1）合法的人工智能；（2）符合道德准则的人工智能；以及（3）技术上安全的人工智能。

四、关于人工智能领域的监管研究及监管尝试

无论通过何种方式监管，人工智能的开发、使用应遵守所有现有法律，这是毫无疑问的。各国的立法在细节上会有诸多差异，但总体立法框架相近。对于传统意义上的产品或者服务而言，一般都受这些法律的管辖，诸如保护公民基本权利的法律、产品安全相关的法律、数据保护及网络安全相关的法律、消费者权益保护相关的法律，也包含与就业、职业平等待遇的法律或反歧视相关的法律，与责任承担和获得公平审判相关的法律，以及在特定行业领域例如医疗保健、运输、能源、电信领域的行业规范的特别要求。这些法律都适用于人工智能这一领域。除此之外，国际社会正尝试从以下角度尝试开展人工智能监管的研究及相应的立法。

1、监管机构通过风险判断及/或风险评估，确定对具体的人工智能的监管力度和监管标准。

值得注意的是，现有法律并不能解决或防范所有人工智能领域所带来的潜在风险，监管机构、司法机构以及人工智能参与者必须在某些方面达成一定的监管共识，实现可信赖的人工智能的监管目标，并最终促进人工智能行业的蓬勃发展。

首先，可以通过对人工智能所处的行业领域，分析对人工智能的监管力度和监管标准。通常情况下，那些与公共政策、公共服务相关的领域，一般会被认为“高风险”而被监管机构给予高度关注。例如我国卫生部办公厅针对通过人工智能施行医疗辅助诊断、以及医疗辅助治疗出台了相应的规范标准，这是对“高风险”类人工智能监管的一个示例。对于工业应用程序而言，由于其发生风险安全事件可能给公众造成的重大损害，一般也认为是“高风险”领域。

其次，通过对人工智能发生风险所损害的客体及损害程度，分析对对人工智能的监管力度和监管标准也是可资借鉴的方式。现阶段并没有通过此种方式要求对人工智能的强制性安全认证或等级保护的强制性规定，但在信息安全领域，我们注意到我国的《信息安全等级保护管理办法》中，就通过这种风险判定方式确定客户信息和数据保护的等级保护要求。当然，就人工智能涉及的数据和信息安全，我们理解当然也应受到信息等级保护要求的约束。

再者，还需要通过人工智能的具体应用及适用的用户群体来确定监管力度和监管标准。有些情况下，在“高风险”行业领域的应用并非是“高风险”的，例如公共交通领域的预约订票系统，虽然公共交通属于“高风险”行业，但在保证数据和信息安全的情况下，此应用对公众造成重大风险的可能性较小。同理，一些“非高风险”的行业领域的具体应用，可能存在较高的安全风险。例如针对儿童的智能穿戴设备，可能因系统缺陷，导致儿童被追踪或者权利受到侵犯，这款智能设备可能对儿童群体而言是高风险的。再例如，对于一些需要特殊照顾的老年人或者生活不能自理者，一些人工智能辅助设备在使用过程中可能由于忽略用户的特殊情况而导致较高的风险。这需要监管机构通过对行业领域、应用领域、受众、风险可能导致的损害程度综合确定分析适当的监管规则和监管标准。

对于那些存在“高风险”的人工智能应用，监管机构一般倾向于更加严格的法律监管和产品/服务的安全标准体系。例如，就车联网而言，我国工业和信息化部、国家标准化委员会在2018年出台了《国家车联网产业标准体系建设指南（总体要求）》、《国家车联网产业标准体系建设指南（智能网联汽车）》、《国家车联网产业标准体系建设指南（信息通信）》、《国家车联网产业标准体系建设指南（电子产品与服务）》的相关标准。

对于那些“非高风险”的人工智能应用，引进“自愿认证计划”可能成为监管的方向之一。欧盟委员会高级别专家组在其公布的《关于人工智能、物联网和机器人对安全和责任影响的报告》中，提到了对于一部分人工智能项目倡议开展“自愿认证计划”。我国对人工智能的强制性认证和自愿认证并未做出统一要求，但在某些领域，例如数据安全领域，正在开始“自愿认证”的监管尝试。在2019年6月10日国家互联网信息办公室公布的《数据安全管理办法》（征求意见稿）中，规定“国家鼓励网络运营者自愿通过数据安全管理认证和应用程序安全认证，鼓励搜索引擎、应用商店等明确标识并优先推荐通过认证的应用程序。”

2、 风险评估应贯穿于人工智能产品及其应用的整个生命周期。

对于传统的产品而言，产品的风险评估和测试在产品投放市场前就应当完成，而对于人工智能产品及其应用需要延至整个生命周期。这通常基于以下原因所带来的新的、未经测试的风险而做出的考虑：（1）产品所负载的智能系统在不断的更新；（2）产品负载的智能系统可能相较于上市时已经做了实质性的变更或添加了新的功能；（3）产品所负载的智能系统通过自我学习可能产生的新的决策过程；（4）产品本身与变更、更新的智能系统的交互过程等。当出现前述情况时，需要相关的人工智能参与者重新评估其风险，并确保针对潜在的风险有相应的解决措施或应对方案。

3、风险评估应围绕人工智能的关键性要求开展充分的评估。

欧盟委员会高级别专家组关于“可信赖的人工智能”提出了七个关键性的要求，包括（1）人事代理和监督；（2）技术坚固性和安全性；（3）隐私和数据治理；（4）透明度（5）多样性、非歧视性和公平性；（6）社会和环境福祉；（7）问责制。专家组的归纳具有一定的合理性和科学性，为我们开展人工智能风险评估提供了重要的参考。其中关于“人事代理和监督”部分，我国在现有的医疗领域或自动驾驶道路测试的相关规定中也做了类似的安排，即强调合资格的人士对人工智能的控制和有效干预。

基于人工智能领域的风险以及潜在的法律上的不确定性的风险，我们建议，人工智能相关企业在开展人工智能的研发和经营时，开展相应的人工智能法律风险评估及项目的道德准则评估。

4、人工智能的道德评价准则的重要性。

人工智能因其广泛的、充满未知的应用情景，以及对人的行为、思想的干预及潜在影响，必然引起伦理方面的讨论。无论是在国务院关于印发国发〔2017〕35号中《新一代人工智能发展规划的通知》中，还是在国际社会关于人工智能的讨论中，对人工智能的道德评价标准都是重要议题之一。在实践过程中，我们也会注意到一些人工智能应用，因不符合公认的道德标准而出现紧急下架的情况。从这个角度来说，对人工智能德道德评价标准是完全必要的。

现阶段尚没有生效的专门关于人工智能道德评价标准的国家或地区的专门立法。欧盟正在尝试制定在欧盟范围内的统一的关于人工智能的道德评价标准。我国虽未有专门立法，但在一些专门法规中已经开始涉及某些人工智能应用的道德评价标准。例如在《网络音视频信息服务管理规定》网络音视频信息服务提供者基于深度学习、虚拟现实等新技术新应用上线具有媒体属性或者社会动员功能的音视频信息服务，或者调整增设相关功能的，应当按照国家有关规定开展安全评估，并应当以显著方式予以标识。此外，也不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。

5 、亟待完善的人工智能责任体系。

人工智能、物联网和机器人正在改变许多产品和服务的特征，其责任判定也更加复杂。例如：某一人工智能自动驾驶车辆发生安全事件，除了因产品（车辆）本身的安全原因之外，也可能是因为车载的智能系统的设计缺陷，或者因为连接导致（通信服务的中断）的问题，或者因为智能系统的自我学习所产生的决策错误未能及时更正，或者智能交通系统的故障导致，也有可能是驾驶者发出的错误指令或者对人工智能的错误干预导致。一般而言，因产品引起的侵权责任，产品生产者就其提供产品及产品之上负载的智能系统所造成的损害承担相应的责任，之后可向其他有责任的参与方追偿。但在智能服务系统由独立第三方提供的情况下，是否也按前述情形处理尚不明确。此外，产品生产者在多大程度上对于网络完全漏洞导致的网络攻击风险事件承担责任也尚不明确。我们注意到，在国家互联网信息办公室公布的《数据安全管理办法》（征求意见稿）中规定，“第三方应用发生数据安全事件对用户造成损失的，网络运营者应当承担部分或全部责任，除非网络运营者能够证明无过错。” 该法适用于网络运营者和第三方应用之间的责任承担，是否也适用于人工智能领域的责任承担尚不明确。

由于责任的难以判定可能导致受害人难以获得迅速的赔偿，强制性保险制度可能被应用于“高风险”的人工智能应用领域。例如：在工信部、公安部及交通运输部联合发布的《智能网联汽车道路测试管理规范试行》的通知中，明确了测试车辆应办理不低于五百万元的交通事故责任保险或自动驾驶道路测试事故赔偿保函。

类似的复杂事件，使得受害人在此情况下证明某一参与主体的侵权行为与损害结果之间的因果关系更加困难。例如：在自动驾驶导致的交通事故中，可能需要完成更复杂的检测才能确定责任方。

因此，在人工智能产品或应用导致的侵权情境下，举证责任应该如何分配、是否需要改变传统的举证责任分配模式将是人工智能监管的一个重要议题。也有专家建议强制性的数据披露，以应对受害人举证过程中人工智能数据的不透明度问题。

最后，如何在保护公民免受伤害与促进企业创新之间取得平衡，这也是人工智能的责任需要解决的问题。