新智元报道
来源:Gizmodo等
编辑:克雷格、肖琴
新智元导读:谷歌与军方合作的Maven项目持续发酵,继数月前谷歌3000多名员工内部上书之后,十几名谷歌员工正在集体请辞以示抗议。同时,国际机器人武器控制委员会(ICRAC)也向佩奇、Pichai、Diane Greene和李飞飞发出了一封公开信,呼吁谷歌退出军方项目,并承诺不将其技术武器化。
谷歌首次迎来大规模辞职潮。
Gizmodo周一报道,有十几名谷歌员工正在辞职,以抗议公司继续参与军方的Maven项目。
同时,国际机器人武器控制委员会(ICRAC)也向Alphabet CEO拉里·佩奇、谷歌CEO Pichai、谷歌云CEO Diane Greene和李飞飞发出了一封公开信,呼吁谷歌退出军方项目,并承诺不将其技术武器化。
谷歌促进了一种开放的文化,鼓励员工挑战和讨论产品决策。但一些辞职的员工表示,高管们对有争议的商业决策的态度已经变得不那么透明了,他们似乎不太愿意听取员工的反对意见。
在“不作恶”和“做正确的事”之间,谷歌遇到了道德困境。
三个月前,近4000名谷歌员工发出一份内部请愿书,呼吁谷歌停止跟军方合作的Maven项目。
Maven项目是使用机器学习来识别无人机镜头中的车辆和其他物体,从而减轻分析人员的负担。
根据五角大楼的说法,Maven最初的目标是为军方提供先进的计算机视觉,能够自动检测和识别无人机全动态摄像机捕获的多达38种物体。Maven能提供跟踪来自不同地点的能力。
这个项目曝光后,谷歌发言人在一份声明中说,它向国防部提供用于机器学习应用的TensorFlow API,以帮助军事分析人员检测图像中的物体。同时也承认使用机器学习用于军事目的的争议性。该发言人表示,该公司正在围绕其使用开展“制定政策和保障措施”。
然而,来自近4000名员工的压力似乎没有影响谷歌的决定,谷歌声称它只向Maven项目提供开源软件,并且,“制定政策和保障措施”到现在也没看到进展。
更重要的是,五角大楼另一项价值上百亿美元的云计算JEDI项目(the Joint Enterprise Defense Infrastructure,联合企业国防基建项目)正在竞标,IBM和微软证实了他们对JEDI合同有兴趣,谷歌员工担心谷歌会参与项目招标。
谷歌遭集体反对的情况并不多,距离上次出现大规模反对或抗议的事件发生在2015年。
当时谷歌博客Blogger发布禁令,把所有含色情内容的博客强制转为私密状态。此举随后遭到大量用户的反对。最终,谷歌撤回了对Blogger色情禁令,决定只对“商业化”的情色内容进行限制。
这次十几名员工辞职,Gizmodo称是谷歌出现的第一次大规模离职潮,一些正在离职的员工表示,管理层对于有争议的业务决策变得不那么透明,并且似乎不像以前那样倾听员工的反对意见。
从历史上看,谷歌在内部推广了一种鼓励员工挑战和讨论产品决策的开放文化。但是一些员工认为他们的领导不再关心他们的担忧,而让他们直接面对后果。“在过去的几个月里,我对这种回应以及处理方式越来越失望。”一位辞职的员工说。
今天,国际机器人武器控制委员会(ICRAC)发布一封联名公开信,超过300位人工智能、伦理学和计算机科学等领域的学者公开呼吁,要求Google结束Maven项目的工作并支持禁止自主武器系统的国际条约。
这封公开信的两位发起人Peter Asaro和Lucy Suchman已经在联合国面前听证了自动武器报告; 第三位发起人Lilly Irani是位科学教授,同时也是谷歌前雇员。
Suchman告诉Gizmodo,谷歌参与Maven项目可能会加速完全自主武器的开发。她说,尽管谷歌位于美国,但它有义务保护其全球用户群,这比任何单一国家的军队都重要。
以下是公开信全文:
致
Alphabet CEO拉里·佩奇
谷歌CEO Sundar Pichai
谷歌云CEO Diane Greene
谷歌云首席科学家、副总裁李飞飞:
作为学习、研究、教授和发展信息技术的学者,我们团结一致地支持3100多名谷歌员工以及其他反对谷歌参与Maven项目的技术人员。
我们全力支持他们要求谷歌终止与国防部的合同,并且要求谷歌及其母公司Alphabet承诺不开发军事技术、不将收集的个人数据用于军事目的。军事资金对计算机研究和发展的驱动力不应该决定该领域的前进方向。我们还敦促谷歌和Alphabet的高管加入其他人工智能和机器人技术研究人员和技术高管的行列,一起呼吁签署一项禁止自主武器系统的国际条约。
长期以来,谷歌一直致力于组织和提高世界信息的有效性。除了在互联网上提供搜索相关的网页,谷歌还负责编辑我们的电子邮件、视频、日历和照片,并引导我们到到达目的地。和许多其他数字技术公司一样,谷歌收集了大量关于用户行为、活动和兴趣的数据。谷歌不能仅利用这些数据改进自己的技术和扩大业务,还应该造福社会。公司的座右铭是“不作恶”,这是众所周知的责任。
Maven是美国的一个军事项目,目的是利用机器学习来分析大量的无人机监控录像,并为人类分析员提供感兴趣的对象。谷歌不仅提供了开源的“深度学习”技术,还提供了工程专业知识和对国防部的帮助。
据防务周刊报道,联合特种作战部队“在中东”进行了初步试验,使用了一架小型扫描鹰侦察机的视频片段。该项目计划在明年夏天之前扩展到“更大、中等高度的Predator 和Reaper无人机中”,并最终应用到Gorgon Stare项目中,这是“一个复杂的高科技系列相机……可以俯瞰整个城镇。”通过Maven项目,谷歌与有受争议的、有针对性的杀戮行为有牵连。这包括所谓的“签名罢工”和“生活模式”攻击,目标人群不是基于已知的活动,而是基于从远程监控录像中得出的概率。这些行动的合法性受到国际和美国法律的质疑。同时,这些行动也暴露了在目标识别和罢工分析中,关于种族和性别偏见的重大问题(最臭名昭著的是,将成年男性作为激进分子的笼统分类)。这些问题不能依靠图像分析算法的准确性,只能通过对国际机构的问责和加深对实地地缘政治局势的了解来解决。
虽然目前关于项目Maven的报告强调了人类分析人员的作用,但这些技术将成为自动目标识别和自动武器系统的基础。当军事指挥官们认为目标识别算法是可靠的,它将会削弱甚至消除对这些系统的人类审查和监督。根据国防部的说法,国防部已经计划在无人机上安装图像分析技术,包括武装无人机。因此,我们距离授权自动无人机自主杀戮,而不需要人工监控,只需要一小步。
如果对科技公司而言,其道德行为需要考虑谁可以从技术中受益,谁可能受到损害,那么我们可以肯定地说,这个话题值得更冷静的反思——没有比目的是在远方瞄准、杀人,而且不受公共问责制约的技术风险更高。
我们还深切关注谷歌可能将人们日常生活的数据与军事监控数据结合,并将其联合应用于有针对性的杀戮。谷歌已经进入了军事领域,没有在国内或国际上进行公开辩论或审议。虽然谷歌经常在没有民主的公众参与之下决定技术的未来,但它加入军事技术这一行为更加凸显了信息基础设施的隐私控制问题。
如果谷歌决定将全球互联网用户的个人数据用于军事目的,那么它将侵犯公众的信任,因为它将用户的生命和人权置于危险之中。像谷歌这样跨国公司的责任必须与他们的用户的跨国化相匹配。根据谷歌所考虑的国防部合同,以及微软和亚马逊已经实施的类似合同,这样的做法标志着拥有大量全球敏感私人数据的科技公司与一个国家军队的危险联盟。它们还表明,谷歌未能与全球公民社会和外交机构进行接触,这些机构已经强调这些技术的道德风险。
我们正处于关键时刻。剑桥分析公司(Cambridge Analytica)的丑闻表明,公众越来越担心科技行业将拥有如此大的权力。这使得信息技术基础设施的风险越来越高,以及当前国家和国际治理框架不足以维护公众的信任。这种情况比从事裁决生命和死亡的系统更为真实。
因此,我们要求谷歌及其母公司Alphabet:
终止与国防部的Maven项目合同。
承诺不开发军事技术,也不允许其收集的个人数据用于军事行动。
承诺不参与或支持发展、制造、贸易或使用自主武器;并支持禁止自主武器。
公开信地址:
https://www.icrac.net/open-letter-in-support-of-google-employees-and-tech-workers/