-
大数据文摘:有些决策不能,也永远不该委托给机器
关键字: 大数据概念大数据算法大数据负面问题大数据公平问题大数据决策(大数据文摘出品,编译:大茜、张文静、Aileen、魏子敏)
我们正将越来越多的选择权拱手让于算法。
从新的一天要听什么歌、哪些人应该拿到社会福利,到学校课程设置、公司并购决定,机器开始支配这些看似琐碎但重要的抉择,而我们还没有意识到,这或许是比“终结者”的到来更严重的威胁。
但有些决策不能,也永远不应该委托给机器。
用算法来做决策的初衷一定是善意的:提高效率,让决策迅速获得数据支持,且保证流程的一目了然。
而在惊叹于这些让人眼花缭乱的自动化决策系统的同时,管理层常常忘记一个最重要的问题:
算法的引入是减少还是加剧了系统中的不公平因素?这种算法是否会影响决策——或作为决策的基础,可能对人们的生活产生负面影响?
由于数据偏差、系统内置偏见,不了解统计数据以及过度信任机器的决策者,还有其他众多的挑战,算法永远不会给我们“完美”的结果。
那么,在算法和你的判断产生出入时,你将在多大程度上依赖算法?
影响分析结果的因素有很多。这篇文章将指出,在进行自动化改革之前,所有组织需要考虑的几个因素。
资料图来源:视觉中国
印第安纳州的失败算法和100万受害者
先来看一个算法偏差导致的可怕后果。
在印第安纳州,一个算法将有关福利的不完整的文件归类为不合规。
在三年的时间里,因为这一决定,有100万人无法获取食品券,医疗保健和现金福利。
Omega Young是100万受害者之一。
在2009年3月1日,她因无法负担医药费而死亡。(在她死后赢得了最终维权上诉,并重新得到她的所有福利金。)
将是否能继续获得医疗补助金这一决策留给AI决策,这一事件让印第安纳州在之后饱受诟病。
弗吉尼亚的Eubanks讨论了印第安纳州在自动不平等方面(Automating Inequality)系统的失败,她写了一本关于技术如何影响公民、人权以及经济公平的书。Eubanks解释说,算法让机器为我们在棘手的社会问题上做出的决策而不是我们自己做出抉择,这样的方式有一种“情感距离” 。
“我们不能利用算法来逃避做出艰难的决策,或者推卸我们关心他人的责任。在这些情况下,算法不是答案。单靠数学无法解决根深蒂固的社会问题,试图依靠它只会加剧系统中已经存在的不平等现象。”
在决定是否进行自动化之前,我们需要仔细审视系统可能影响的人以及判断影响可能是什么,并确定当前系统中已经存在的不平等因素。
可用的数据是否真的能带来好的结果?
算法依赖于输入的数据,而且需要正确的数据来确保正常运行。在实施依赖算法的决策系统之前,组织需要深入研究他们试图解决的问题,并且对他们是否有解决问题所需的数据进行一些诚实的思考。
Eubanks书中讨论了另一个案例,宾夕法尼亚州阿勒格尼县的儿童,青年和家庭(CYF)部门实施了一种算法,为每个报告给该机构的潜在虐童事件中的儿童打一个“威胁分数”,并帮助案件工作人员决定哪些报告应该进行调查。该算法的目标是常见的:帮助社会服务机构最有效地利用有限的资源来提供社区服务。
为了实现他们的目标,该县试图预测哪些儿童可能成为被虐待的受害者,即“目标变量”。但该县没有足够的关于与虐童有关的死亡率或近似死亡率的数据来构建具有统计学意义的模型,因此他们使用了有足够数据的两个变量——社区再转诊CYF的热线数和两年内寄养儿童数,作为儿童虐待数的替代指标。这意味着该县的算法可以预测儿童再转诊以及寄养的可能性,并利用这些预测结果对儿童的虐待威胁打分。
其中的问题显而易见。
这些替代变量并不是有关虐童数据的有效替代。
首先,它们是主观的。再次转诊这一变量包含了隐藏的偏见:“匿名以及那些被强制要求的记者报道黑人和混血儿家庭虐童和忽视儿童的频率比他们报道的白人家庭多三倍半”。
有时甚至是那些凶恶的邻居、房东,或者家庭成员故意虚假举报来作为惩罚或报复,正如Eubanks在自动化不平等中所写的那样,“预测模型需要清晰明确的步骤,并且有大量相关数据才能正确运行。”这些标准在阿勒格尼县尚未完全满足。不管怎么说,CYF推进并实施了一项算法。
这一精度有限的算法导致了什么结果?
在2016年出现了15139次虐童报道。其中,该算法错误预测了3633个个案。这一结果无端侵入和监视了数千个贫穷的少数人的家庭的生活。
- 原标题:有些决策不能,也永远不该委托给机器 本文仅代表作者个人观点。
- 责任编辑:李泠
- 最后更新: 2018-06-07 07:50:37
-
“国产掘进机接近世界最先进水平,但主轴承全部依赖进口”
2018-06-07 07:34 科技前沿 -
央视台风报道中一闪而过的瞬间,背后细节引人深思
2018-06-06 18:23 -
从“看人影”到“辨雀斑” 中国研发这个设备为何没使上劲?
2018-06-06 11:17 科技前沿 -
中国科学家申项目常被问:外国人都没做过,你做这个干什么?
2018-06-06 07:50 科技前沿 -
西瓜足迹“撞脸”脚步地图 它究竟是借鉴还是抄袭?
2018-06-06 07:00 -
最后一枚风云二号升空,国际组织为何请它改位置?
2018-06-05 21:00 航空航天 -
何文辉是谁?36氪回应App推送出现脏话
2018-06-05 15:53 IT新浪潮 -
海水稻“技术路线图”形成
2018-06-05 07:29 -
82岁院士下潜:要热爱科学而非它背后的钱
2018-06-04 17:22 中国基础研究 -
“深海勇士”归来!
2018-06-04 16:30 -
美媒:国外科学家原本要去美国寻梦,结果投奔中国
2018-06-04 16:18 外媒看中国 -
高压共轨不中用,国产柴油机很受伤
2018-06-04 09:23 科技前沿 -
我国学者利用废纸箱 研制出新型重金属修复剂
2018-06-03 19:05 科技前沿 -
中国芯片产业链细分领域龙头名单
2018-06-03 15:47 -
我国离无人农场又近了一步
2018-06-03 11:20 -
7018米!中国超级钻机完成首秀,创亚洲新纪录
2018-06-03 10:39 超级工程 -
长三角三省一市领导为何考察这家医院?这里有“杀癌利剑”
2018-06-02 20:11 上海观察 -
重大突破,3D打印眼角膜问世!
2018-06-02 16:11 -
“整个产业是中间强两端弱,核心技术被日企垄断”
2018-05-31 10:43 科技前沿 -
袁隆平团队迪拜沙漠种“海水稻” 最高亩产超500公斤
2018-05-30 22:57
相关推荐 -
“美方指控好比说中餐菜单能监视食客,笑话” 评论 27“严看死守,光干部餐食费就十多万,最后还是烧了” 评论 248“我们美国说要做的事,中国人已经做到了” 评论 118荷兰“拼了”:阿斯麦,别走! 评论 134“嫌犯从乌克兰获大量资金和加密货币,有确凿数据” 评论 358最新闻 Hot
-
“美方指控好比说中餐菜单能监视食客,笑话”
-
三任总统合体筹款,台下观众…
-
拜登调侃波音:我不坐“空军一号”门边
-
阿塔宣布将恢复对通奸妇女的石刑和鞭刑
-
刊登恐袭事件嘲讽漫画被俄批“厚颜无耻”,韩媒道歉了
-
拨款75亿美元、拜登承诺的50万座充电站,两年来只建了7座…
-
中国药企未经同意将美知识产权转移到中国?中方驳斥
-
荷兰“拼了”:阿斯麦,别走!
-
“到处都是中国威胁的夸张想象,美国很久没这样诋毁他国了”
-
美国没援乌,他倒急了:会被中国大陆看到你们的软弱!
-
《经济学人》:欧洲经济遭“三杀”,俄乌冲突、中国、特朗普
-
内塔尼亚胡重大政治危机:犹太教徒或被迫上前线
-
“我们美国说要做的事,中国人已经做到了”
-
“嫌犯从乌克兰获大量资金和加密货币,有确凿数据”
-
“美正拟中国先进芯片企业黑名单”,驻美大使馆回应
-
“要三思啊,这种民族主义口号将毁掉国家”
-