自由与偏见的对抗：算法正在偷偷谱写人类的命运
—————————————
文丨 猎云网（ilieyun）张晓敏
3085字，约需10分钟以上阅读
—————————————
猎云网注：本文作者Ramin Skibba，曾是一位天体物理学家，后转为一名科学作家和自由撰稿人，现居住在圣地亚哥。他曾为《大西洋》、《Slate》、《科学美国人》、《自然》、《科学》等杂志撰稿。
算法在决定人们法律命运方面发挥的作用越来越大，这意味着偏见得以消除，但是，算法本身包含的偏见和对其不均衡的使用会引发新的不公平问题。
如果你在美国被指控犯罪，但是却没能力支付保释金，法官会一直拘禁你，直到你能确保自己可以出庭。你可以通过贷款来支付保释金，或者冒着失去工作、房子甚至孩子的风险，满怀羞愧的在监狱里等上几个月。
在加利福尼亚，一切都将改变。从明年十月份开始，州长Jerry Brown签署的一项用计算机程序取代保释系统的法令将生效，该计算机程序可以分析被指控人的背景并确定其在被释放后会逃离的可能性。法官将根据系统得出的逃离风险和公共安全风险“系数”来判断让被指控人入狱还是让其在自由的状态下等待审判。
新的法令旨在消除保释制度中存在的对穷人不利的偏见，司法系统在其日常办公过程中将逐渐采用各类软件，这只是其中的一种。仅仅是美国的法院就已经在不同辖区内使用了60多个类似的程序。
例如，法院会用软件评估一个在审判前被释放的人遵守规则或犯罪的概率。其中一些算法较为简单，另一部分算法则需要结合除犯罪史外更为复杂的数据，这些数据包括被指控人的性别、年龄、邮政编码、其父母的犯罪记录等，还需要收集各机构、社交媒体、物业账单以及相机的信息，甚至还会查询其在披萨店叫外卖的记录。
随着刑事司法系统自动化和数字化程度的加深，警察、检察官和法官将会掌握越来越庞大的数据集。一些批评家一再指出，目前的问题是不管算法如何被构建，或是法院如何使用算法，利用数据进行分析、解释甚至学习的算法本身就存在偏见。举个例子，美国公民自由联盟（ACLU）的Margaret Dooley-Sammuli起先支持加州法令，但她发现只有计算机程序的结果和法官的倾向一致时，法官才会依赖它们，因此，她开始反对这想法令。
前期数据证实了这一点，根据华盛顿特区非营利组织Upturn的分析师得出的结果，法官并不总是听从算法的建议，哪怕风险系数很低，法官也还是会选择拘禁被指控人。目前，德克萨斯大学奥斯汀分校和斯坦福大学分别以洛杉矶警察局和刑事法院所使用的算法为研究对象展开研究，这增加了人们对算法偏见的担忧。
斯坦福的社会学家AngèleChristin说道：“刑事司法系统的每一个步骤都会使用风险评估工具，预测工具会综合这些评估来得出结果。”这暗示着在加利福尼亚及其它地区，这些分层的偏见可能会更加难以察觉，反之，对警察来说，刑事司法系统对这些工具的使用也变得更加艰难。
算法的本质功能是通过分析数据向计算机发出运行指令，它最多能够利用好数据。为了仔细了解基层警察的数据收集情况，德州大学奥斯汀分校的社会学家Sarah Brayne扎根于洛杉矶、芝加哥以及纽约的警察局，查看他们对监控工具、大数据和算法的管理。
Brayne是普林斯顿大学的社会学博士，也是微软研究院的博士后，她在2013年至2015年期间对在其辖区或外出的警察进行了观察。这项田野调查包含了75次访谈，这有助于理清警察局在日常办公中如何使用数据。哥伦比亚特区大学的法学教授Andrew Ferguson认为这是一项史无前例的调查，他说：“我相信他们永远不会再犯一样的错误。”他曾写过《大数据警务的崛起：监视、种族和执法的未来》一书。
警察局对预测软件的使用主要包括两个方面：首先是基于地域的警务，软件根据犯罪数据将警察的巡逻范围定位至500平方英尺的热点地区，这些地区可能会有更高的犯罪风险。为此，洛杉矶警察局使用了美国最大的预测性警务公司之一——PredPol开发的软件。其次是基于人的警务，警察利用软件分析出犯罪概率较大的热门人物，进而生成“惯犯”和“目标人物”名单。针对这些功能，洛杉矶警察局选择了Operation Laser，该软件的部分功能由Palantir Technologies开发，这是一家在2003年由一位风险投资家和企业家Peter Thiel共同创立的公司。
Brayne希望洛杉矶警察局可以采纳新技术和监控方式。她说：“我开始觉得，信息才是权力，事实上，个别警察并不会收集所有的数据，行车记录仪、GPS及其它工具可用于监控警察自己的活动，这让他们感到紧张。例如，所有汽车都配有自动定位器，但在警察工会的抵制下，定位器并不会被开启，因为警察不希望他们的长官看到，他们在星巴克停留了20分钟。”（Brayne补充到，之后，定位器已被打开，至少在洛杉矶警察局中央局是这样的。）
即使警察收集全部数据，偏见也可能存在。比如说激光操作系统，该系统最初是为了根据被逮捕记录给嫌疑人打分，然后将他们纳入列表中并让每个警察去接触。Ferguson说：“该系统有一个缺陷，当警察接触到得分最多的人时，他们该瞄准谁？当然是他们接触过的人，警察不过创造了一个自我实现的预言。”
有一些方法可以避免这些偏见。洛杉矶警察局副局长Dennis Kato说：“我们正在修改这一系统，事实证明，它确实带有主观性，而且在评判接触对象方面没有统一标准。目前，我们不打算增加更多的接触人。”洛杉矶警察局每隔六个月都会重新评估激光区域，以确定这些地点是否仍旧需要警察的重点关注。Kato说：“人们不会盲目遵从计算机的指令，最终的决定权还在人类手中。”
其它的基层数据收集及使用情况仍然无从得知，例如，法院使用的大多数风险评估算法仍然属于内部程序，被告或其律师没有使用权。
德克萨斯州的亿万富翁Laura和John Arnold创建了一个基金会，该基金会开发了一个名为“公共安全评估”的公共软件包，该软件被应用于除洛杉矶外的其它各个城市，我们可以从中了解一些关于评估的信息。但这种程度的透明度也无法让我们得知影响风险评分的相关因素以及算法所分析的数据。在某些情况中，19岁这个年龄因素会增加一个人在三类攻击和家庭暴力方面的风险评分；如果单亲家庭或者监管严格的区域被纳入参考范围，黑人被告往往会被标记成高风险人物。
Megan Stevenson是乔治梅森大学安东宁·斯卡利亚法学院的经济学家和法律学者，该大学位于弗吉尼亚州阿灵顿市。她说：“这个工具是根据过去来预测将来，如果过去包含种族偏见以及历史上与犯罪相关的经济、社会劣势，人们将不得不担心他们会参与或者加剧种族和阶级差距。”
如果一个人被算法标记高风险，这个标签会在审判前跟随他们；如果他们被定罪，则直接判刑或假释。
旧金山公共辩护人Jeff Adachi说：“我们不得不担心，一旦使用通用工具进行决策，人们就可能面临被分层的风险。有人认为，这正是我们需要在刑事司法中的努力方向，每个人都应该被同等对待，但这种陈述也具有主观性。”（旧金山和洛杉矶的地区检察官办公室都拒绝了采访。）
斯坦福大学社会学家Christin在2015年至2016年间进行了实地考察，她在加利福尼亚州东海岸随机选了三个刑事法庭，对法官、律师、假释官、文员和技术开发人员等22人进行了访谈。Christin发现，在美国南部，一些法官和检察官会密切关注算法给出的建议，而另一部分人完全忽视算法。一位检察官在看到软件给出的关于被告的结果时表示：“我不相信这些。”Christin访问的法官也表示更愿意依靠自己的经验和判断力进行决策。她说：“我觉得这个现象很有意思，工具的使用方式可能会与其创造者的预想不一致。”
（目前，Brayne和Christin正在把他们的研究综合起来，然后提交给同行评审期刊。）
对于像加利福尼亚计划使用的这类审前风险评估工具，其使用记录也是复杂的。肯塔基州的强制性预审算法开始于2011年，其目的是关押更多可能犯罪的人并释放低犯罪风险的人。但根据Stevenson的研究，风险评估工具并未实现提高办公效率的目标。审判前被拘留的人数仅仅下降了4%，之后又上升了，因为没有出庭参加审判的人数略有上升，所以审前逮捕仍然保持不变。同时，Stevenson也指出大多数法官都支持审前入狱，如果他们释放的人继续犯罪，可能会影响到他们的政治生涯，而多拘留一个人则不会影响他们的连任。
尽管如此，Brayne和Christin仍旧表示他们希望在未来几年可以收集和处理更多不同来源的数据。警察的仪表板上可能弹出风险系数和地图，法官会对每个人的每个步骤和每种犯罪进行风险评估，这些都给人一种精确的印象。然而，从现实来看，警察对你或者你的邮政编码的任何失误或者偏见都会被放大为需要新的软件包了。目前，包括加利福尼亚州保释改革在内的法令均没有指出该如何平衡警察和法庭算法的功能。
Christin说：“计算机程序的更新速度太快，以至于监管机构和从业人员无法确定该如何合理地使用它们。虽然这项技术看起来更加‘客观和理性’，而且‘自由裁量权也得到遏制’，但事实并非如此，权力可能在一个不是那么明显的地方运行。”
- END -
推 荐 阅 读
未 经 允 许 严 禁 转 载
授 权 请 后 台 回 复 “猎云网”
春秋变换，万象更新，新的流量和入口接踵而至，我们迎来了前所未有的创业变革时代，创业者如何在坚韧的商业世界里照射进创新之光？企业如何面对挑战勇立潮头？资本又如何瞄准趋势突围成功？ 12月7日-8日，近百位知名资本大咖，独角兽创始人、创业风云人物，以及近千位投资人及创业者与您相约“聚势谋远 创变未来——2018年度CEO峰会暨猎云网创投颁奖盛典” 来自硬科技、智能、文娱、零售、医疗、教育、汽车等领域的创新者们将分享科技和产业的前沿观点，探讨创新潮流趋势，把脉未来新方向！
相关内容
微信扫码咨询专知VIP会员