-
大数据文摘:有些决策不能,也永远不该委托给机器
关键字: 大数据概念大数据算法大数据负面问题大数据公平问题大数据决策该算法是否公平?
缺乏足够的数据也可能使算法的应用缺乏公平。
例如,阿勒格尼县没有所有家庭的数据;其数据仅从使用公共资源的家庭收集——即低收入家庭。
这导致了一种只针对低收入家庭进行研究的算法,并且可能产生反馈循环,使得进入系统的家庭难以完全摆脱它所需的监管。这个结果冒犯了公平的基本概念。对受到不利影响的阿勒格尼县家庭来说肯定不公平。
算法公平有很多评判标准。
算法是采用相同的方法对待不同组还是对它们分别研究?系统是否为追求公平,公共安全,平等或有效资源配置而优化?
是否有机会让受到影响的社区参与并影响决策中关于算法设计,实施和使用的过程,包括关于如何衡量公平性?在算法造成任何不当损害之前,是否有机会让那些受到不利影响的人在受到实质性伤害以前能寻求有意义并且迅速的审查?
组织应该对所采用的公平标准保持透明度,并且应该让各种利益相关者参与公平准则的制定,包括(也是最重要的)将会直接受到影响的社区。如果算法没有通过,它就不应该是解决措施。在实施基于算法决策的系统的情况下,应该有一个持续的审查过程来评估结果并校正任何不当的影响。
资料图来源:视觉中国
结果如何真正被人类使用?
另一个组织必须考虑的因素是结果将如何被人类使用。
在阿勒格尼县,尽管该算法的“威胁评分”应该作为案件工作者在决定调查哪些家庭之前考虑的众多因素之一,但Eubanks观察到在实际操作中,算法似乎在训练参与的工作者。
根据以往经验,案件工作者的判断有助于消除隐藏的偏见。当利用算法来解决问题,并且个案工作者开始用算法的结果替代他们自己的判断时,他们完全放弃了他们的看门人角色,使得系统变得更加阶级化并且带有种族偏见。
算法决策往往因其超越人类本能的优越性而被吹捧。将机器学习视为客观和内在的可信趋势被称为“自动化的偏见”。当我们尝试做决策时,无疑会存在许多认知偏差;自动化偏见则又增加其中的复杂度。
正是因为我们是人类所以才存在这种偏见(也包括其他许多方面),如果算法的结果是做决策时考虑的唯一因素,组织机构必须构建一个能够控制自动化偏见的系统。
这包括设计算法来提供阐述性的报告而不是仅是一个分数,并确保决策者受过有关统计学以及那些他们要运用的特定算法的潜在缺点的基础培训。
在某些情况下,决策者会偏向算法的提供的答案的可能性足以阻止算法的应用。例如,这包括为了确定刑罚而预测累犯率。在威斯康星州,法院支持使用COMPAS算法来预测被告的再犯概率,法官是最终做出决定的人。认为法官的“本心”并未受到算法的负面影响的想法天真不靠谱的,因为人会本能地相信机器。
一项关于算法风险评估对肯塔基州法官的影响的研究发现,算法只在很短的时间内影响法官的决策,之后他们就按着以前的习惯行事,但是这些影响可能会因不同的法官群体而有所不同,而且即使是一个罪犯受到了影响,但由于这种影响使其失去了自由,这也是很严重的。
由于判刑这件事情过于重大,以及预测再犯率是一个严肃问题(该系统“基本上将黑人罪犯妖魔化,而认为白人罪犯是怀疑有罪”),在这种情况下使用算法是不适当,不道德的。
受这些决策影响的人会对系统产生影响吗?
最后,算法应服务于受其影响的群体,而不是不择手段地节省时间和资源。
这要求数据科学家考虑到被影响群体的恐慌和担忧。但是数据科学家通常远离那些算法影响的群体。
正如《数学性破坏武器》(《Weapons of Math Destruction》)的作者Cathy O'Neil在今年早些时候告诉Wired时说道:“我们完全阻隔了构建算法的人与受到它们实际影响的人之间的联系。”即使是最好的系统也会注定产生严重的意外反作用,无论何时都是如此。
Weapons of Math Destruction
在实施算法之前,必须要解决数据科学家,组织实施者和受影响群体之间联系断层的问题。
O'Neil建议数据科学家可以考虑那些受系统影响的所有利益相关者的关注点,来编制一个“道德矩阵”,以阐明所有这些相互矛盾的含义,动机和考虑因素,使得数据科学家考虑到他们的设计的深远影响。
“受影响的群体也应该有机会来评估,纠正和影响这些系统。”
正如卫报指出的那样,“不良意图下产生的不良AI是不需要的”。任何基于算法决策的系统都是如此。即使是最好的系统也会造成严重的伤害,特别是当一个组织不反省,也不考虑使用算法决策是否合乎道德的的时候。这些问题仅仅是起点,并不能保证在回答这些问题后算法就能产生公平的结果,但它们是所有组织在实施依赖算法的决策系统之前应该自问的问题。
相关报道:
https://www.eff.org/deeplinks/2018/05/math-cant-solve-everything-questions-we-need-be-asking-deciding-algorithm-answer
- 原标题:有些决策不能,也永远不该委托给机器 本文仅代表作者个人观点。
- 责任编辑:李泠
- 最后更新: 2018-06-07 07:50:37
-
“国产掘进机接近世界最先进水平,但主轴承全部依赖进口”
2018-06-07 07:34 科技前沿 -
央视台风报道中一闪而过的瞬间,背后细节引人深思
2018-06-06 18:23 -
从“看人影”到“辨雀斑” 中国研发这个设备为何没使上劲?
2018-06-06 11:17 科技前沿 -
中国科学家申项目常被问:外国人都没做过,你做这个干什么?
2018-06-06 07:50 科技前沿 -
西瓜足迹“撞脸”脚步地图 它究竟是借鉴还是抄袭?
2018-06-06 07:00 -
最后一枚风云二号升空,国际组织为何请它改位置?
2018-06-05 21:00 航空航天 -
何文辉是谁?36氪回应App推送出现脏话
2018-06-05 15:53 IT新浪潮 -
海水稻“技术路线图”形成
2018-06-05 07:29 -
82岁院士下潜:要热爱科学而非它背后的钱
2018-06-04 17:22 中国基础研究 -
“深海勇士”归来!
2018-06-04 16:30 -
美媒:国外科学家原本要去美国寻梦,结果投奔中国
2018-06-04 16:18 外媒看中国 -
高压共轨不中用,国产柴油机很受伤
2018-06-04 09:23 科技前沿 -
我国学者利用废纸箱 研制出新型重金属修复剂
2018-06-03 19:05 科技前沿 -
中国芯片产业链细分领域龙头名单
2018-06-03 15:47 -
我国离无人农场又近了一步
2018-06-03 11:20 -
7018米!中国超级钻机完成首秀,创亚洲新纪录
2018-06-03 10:39 超级工程 -
长三角三省一市领导为何考察这家医院?这里有“杀癌利剑”
2018-06-02 20:11 上海观察 -
重大突破,3D打印眼角膜问世!
2018-06-02 16:11 -
“整个产业是中间强两端弱,核心技术被日企垄断”
2018-05-31 10:43 科技前沿 -
袁隆平团队迪拜沙漠种“海水稻” 最高亩产超500公斤
2018-05-30 22:57
相关推荐 -
亲巴勒斯坦抗议席卷全美高校 评论 21习近平主持召开新时代推动西部大开发座谈会 评论 50种地要先交钱?官方再通报:镇党委副书记被免 评论 562驻美大使谢锋:中国不是雅典,也不是斯巴达 评论 151最新闻 Hot
-
亲巴勒斯坦抗议席卷全美高校
-
欧盟事先未通知“突袭”中企:控制员工手机,要求获取数据
-
“中国到2030年每3辆车中就有1辆电动车,当之无愧全球领导者”
-
对华出口同比下降 4.3%,美中贸委会给美国立法者敲警钟
-
调查报告称“以色列没证据”,以色列不满:假的
-
麻生将见特朗普,“日本两头下注”
-
涉及超2000亿美元,俄官员警告欧洲…
-
“美国对非洲国家说教的努力适得其反,他们受够了”
-
他回击西方对华指责:中国确实帮了你们
-
特朗普向美国年轻人喊话:若TikTok被禁,拜登应负全责
-
泽连斯基:拜登向我保证…
-
“大学正向加沙的学校投送炸弹,我不愿对此保持沉默”
-
“今年怎么有那么多外国人?”
-
新西兰总理:尊重一中,不去台湾,但……
-
俄外长:中俄贸易几乎实现去美元化
-
哈尔科夫240米高电视塔遭俄军击中
-