匹兹堡(美联社)——哈克尼的宝贝女儿因脱水虚弱地躺在匹兹堡医院的病床上两周以来，她的父母很少离开她的身边，有时睡在房间的折叠沙发上。
当女儿被转移到康复中心恢复体力时，他们一直陪在女儿身边。最后，8个月大的她不再扔掉奶瓶，体重又开始增加了。
“她做得很好，我们开始问她什么时候能回家，”劳伦·哈克尼说。“从那一刻起，他们完全阻止了我们，什么也没说。”
当儿童福利官员出现时，这对夫妇惊呆了，说他们疏忽了，把他们的女儿带走了。
“他们有监护文件，就把她带走了，”劳伦·哈克尼回忆说。“然后我们就哭了起来。”
一年多过去了，他们两岁的女儿仍在寄养家庭。哈克尼夫妇患有发育障碍，他们正在努力理解为什么在女儿拒绝进食的情况下把她送到医院会被视为疏忽大意，以至于需要把她从家里接走。
他们想知道，阿勒格尼县人类服务部用来预测哪些儿童可能受到伤害的人工智能工具，是否因为他们的残疾而把他们挑出来了。
美国司法部也在问同样的问题。美联社获悉，该机构正在调查该县的儿童福利系统，以确定其使用有影响力的算法是否歧视残疾人或其他受保护群体。哈克尼的祖母说，本月晚些时候，联邦民权律师将会见哈克尼夫妇和安德鲁·哈克尼的母亲Cynde Hackney- fierro。
劳伦·哈克尼(Lauren Hackney)患有注意力缺陷多动障碍，这影响了她的记忆力。她的丈夫安德鲁(Andrew)在20多岁时中风，患有理解障碍和神经损伤。他们的小女儿7个月大时就开始拒绝喝奶瓶。面对全国范围内的配方奶粉短缺，他们从宾夕法尼亚州到西弗吉尼亚州寻找配方奶粉，但被迫更换品牌。婴儿似乎不喜欢它。
他们说，她的儿科医生首先向他们保证，婴儿有时会对喂养变化无常，并提出了帮助她恢复食欲的想法。
他们说，几天后，当她变得昏昏欲睡时，同一位医生让他们带她去急诊室。哈克尼夫妇认为，在医护人员带着一个脱水和营养不良的婴儿出现后，他们通知了儿童保护机构。
那时他们认为他们的信息被输入了阿勒格尼家庭筛查工具，县官员说这是疏忽指控的标准程序。不久，一名社会工作者出现询问他们，他们的女儿被送到了寄养家庭。
在过去的六年里，阿勒格尼县一直是一个现实世界的实验室，用于测试人工智能驱动的儿童福利工具，这些工具处理了大量关于当地家庭的数据，试图预测哪些儿童可能在家中面临危险。根据美国公民自由联盟(American Civil Liberties Union)的数据，如今，至少26个州和华盛顿特区的儿童福利机构已经考虑使用算法工具，至少11个州的司法管辖区已经部署了算法工具。
哈克尼夫妇的故事——基于采访、内部邮件和法律文件——说明了这些算法的不透明性。即使他们为夺回女儿的监护权而斗争，他们也不能质疑阿勒格尼县的工具可能为她的案件分配的“风险评分”，因为官员们不会向他们透露。郡政府和开发该工具的人都没有解释过哪些变量可能被用来衡量哈克尼夫妇作为父母的能力。
安德鲁·哈克尼(Andrew Hackney)在他们位于匹兹堡郊区的公寓里接受采访时说:“就好像你和一个有残疾的人有问题一样。”“在这种情况下……你可能最终会追究每个有孩子和残疾的人的责任。”
作为为期一年的调查的一部分，美联社获得了支持儿童福利机构部署的几种算法的数据领域，包括一些标记为“机密”的数据，为推动这些新兴技术的机制提供了罕见的洞察力。在他们用来计算一个家庭风险的因素中，无论是直接的还是间接的:种族、贫困率、残疾状况和家庭规模。这些问题包括母亲怀孕前是否吸烟，以及该家庭之前是否有虐待儿童或忽视儿童的投诉。
他们衡量的东西很重要。美国公民自由联盟的研究人员最近的一项分析发现，当阿勒格尼的算法标记那些接受过县心理健康服务和其他行为健康项目的人时，孩子的风险得分可能会增加3分，在20分的范围内显著增加。
阿勒格尼县发言人马克·贝托莱特(Mark Bertolet)拒绝就哈克尼案发表评论，也没有回答有关联邦调查现状的详细问题，也没有回答包括美国公民自由联盟(ACLU)在内的对该工具数据的批评。
“根据政策，我们不对诉讼或法律事务发表评论，”贝托莱在一封电子邮件中说。
司法部发言人阿莉·布拉德福德拒绝置评。
没有魔法
儿童福利算法将大量关于当地家庭的公共数据插入复杂的统计模型中，计算出他们所谓的风险评分。生成的数据会被用来给社会工作者提供建议，让他们决定应该调查哪些家庭，或者哪些家庭需要额外关注——这是一个有时可能意味着生或死的重大决定。
一些地方领导人在面临系统性变革的压力下利用了人工智能技术，比如俄勒冈州在寄养危机期间，以及洛杉矶县在美国最大的县儿童福利系统之一发生一系列引人注目的儿童死亡事件后。
洛杉矶县儿童和家庭服务部主任布兰登·尼科尔斯(Brandon Nichols)表示，算法可以帮助识别高风险家庭，并在一个极度紧张的系统中改善结果。然而，他无法解释他的机构使用的筛查工具是如何工作的。
尼科尔斯在一次采访中说:“我们是公司的社会工作部门，而不是IT部门。”“算法的运作方式，在某些方面，我不想说对我们来说是魔法，但它超出了我们的专业知识和经验。”
尼科尔斯和其他两家儿童福利机构的官员将有关人工智能工具的详细问题提交给了创建这些工具的外部开发人员。
在科罗拉多州拉里默县，一名官员承认，她不知道用什么变量来评估当地家庭。
“拉里默决策辅助工具使用的变量和权重是奥克兰开发的代码的一部分，因此我们没有这种程度的细节，”拉里默县公共服务部门发言人吉尔·马施(Jill Maasch)在一封电子邮件中说，她指的是开发人员。
在宾夕法尼亚州、加利福尼亚州和科罗拉多州，县官员已经向两家学术开发人员开放了他们的数据系统，由他们选择数据点来构建算法。新西兰奥克兰理工大学卫生经济学教授Rhema Vaithianathan和北卡罗来纳大学教堂山分校社会工作学院教授Emily Putnam-Hornstein在一封电子邮件中说，他们的工作是透明的，他们公开了他们的计算机模型。
他们在电子邮件中说:“在每个已经全面实施模型的司法管辖区，我们都发布了用于构建该工具的领域的描述，以及所使用的方法的信息。”
阿勒格尼县网站上有一份241页的报告，其中包括数页编码变量和统计计算。
Vaithianathan和Putnam-Hornstein的工作在联合国儿童基金会和拜登政府发表的报告中受到赞扬，因为他们设计了计算机模型，承诺通过一组简单的因素来减轻社会工作者的负担。他们将使用这些工具描述为一种道德责任，坚持认为儿童福利官员应该利用他们所掌握的所有数据，以确保儿童不受虐待。
然而，通过跟踪他们在全国的工作，美联社发现他们的工具可以根据他们无法改变或控制的个人特征，如种族或残疾，而不仅仅是他们作为父母的行为，来评估他们的风险，从而使家庭分离。
阿勒格尼县位于俄亥俄州边境附近，人口120万。在这个庞大的县，该算法访问了一系列外部数据，包括监狱、青少年缓刑、医疗补助、福利、健康和出生记录，所有这些都保存在一个巨大的县域“数据仓库”中。该工具使用这些信息来预测一个家庭首次被调查两年后，孩子将被安置在寄养机构的风险。
县官员告诉美联社，他们为自己的尖端方法感到自豪，甚至扩大了工作范围，建立了另一个专注于新生儿的算法。他们表示，他们密切监控自己的风险评分工具，并随着时间的推移不断更新，包括删除福利待遇和出生记录等变量。
Vaithianathan和Putnam-Hornstein拒绝了美联社的多次采访请求，讨论他们如何选择支持模型的具体数据。但在2017年的一份报告中，他们详细介绍了用于构建阿勒格尼工具第一版的方法，其中一个脚注将统计界限描述为“相当随意，但基于试验和错误”。
“这个脚注指的是我们五年前对阿勒格尼数据仓库中800多个功能的探索，”开发人员在电子邮件中说。
这种方法在各县不同的设计选择中得到了证实。
在2017年的同一份报告中，开发人员承认，使用种族数据并没有实质性地提高模型的准确性，但他们继续在科罗拉多州的道格拉斯县研究它，尽管他们最终选择不将其纳入该模型。为了解决社区对该工具可能加剧洛杉矶县种族偏见的担忧，开发人员排除了人们的犯罪历史、邮政编码和地理指标，但继续使用匹兹堡地区的这些数据点。
当被问及这些不一致时，开发人员指出了他们发布的方法文档。
开发人员通过电子邮件表示:“我们详细介绍了用于评估准确性的各种指标，同时也详细介绍了‘外部验证’。”
俄勒冈州的人类服务部(Department of Human Services)受阿勒格尼的启发建立了一个算法，该算法在预测一个家庭的风险时考虑了孩子的种族，还应用了“公平修正”来减轻种族偏见。去年6月，由于对公平问题的担忧，美联社在4月份的一项调查中揭露了此类工具中潜在的种族偏见，该工具完全被放弃了。
三位不愿透露姓名的消息人士告诉美联社，司法部律师去年秋天引用了同样的美联社报道，当时联邦民权律师开始询问阿勒格尼工具中的其他歧视问题。他们说，司法部要求他们不要讨论机密对话。其中两人表示，他们还担心职业报复。
智商测试，育儿课
在没有回答什么时候能让女儿回家的情况下，哈克尼夫妇的律师于10月代表他们提起了一项联邦民权诉讼，质疑在他们的案件中如何使用筛查工具。
随着时间的推移，阿勒格尼的工具追踪了家庭成员是否被诊断患有精神分裂症或情绪障碍。它还通过记录是否有家庭成员获得补充安全收入来衡量家庭中父母或其他孩子是否有残疾，这是一项针对残疾人的联邦福利。该县表示，将SSI支付因素考虑在内，部分原因是残疾儿童更有可能受到虐待或忽视。
该县还表示，与残疾相关的数据可以“预测结果”，“残疾父母……可能也需要额外的支持和服务，这应该不足为奇。”该县在一份电子邮件声明中补充说，在全国其他地方，社会工作者也会利用有关心理健康和其他可能影响父母安全照顾孩子能力的数据。
哈克尼夫妇被要求参加育儿课程，他们说儿童福利系统的所有要求都让他们负担沉重，包括智商测试和市中心的法庭听证会。
明尼苏达大学儿童福利和残疾问题专家特蕾西·拉利伯特(Traci LaLiberte)说，残疾人士在儿童福利系统中比例过高，但没有证据表明他们伤害孩子的比例更高。
LaLiberte说，在算法中包含与残疾有关的数据点是有问题的，因为它延续了系统中的历史偏见，而且它关注的是人们的生理特征，而不是社会工作者需要解决的行为。
洛杉矶的工具衡量家庭中是否有孩子曾经接受过特殊教育服务，之前是否有过发展或心理健康转诊，或是否使用过治疗心理健康的药物。
“使用这种工具的社会工作者并不独有这种情况;社会工作者在确定可能的支持和服务时考虑这些因素是很常见的，”开发人员在电子邮件中说。
在算法被使用之前，儿童福利系统长期以来一直不信任残疾父母。LaLiberte说，在20世纪70年代，他们经常被绝育和收容。2012年一份具有里程碑意义的联邦报告指出，有精神或智力障碍的父母在80%的情况下失去了对孩子的监护权。
LaLiberte的研究发现，在美国，极少有儿童福利机构要求社会工作者接受残疾培训。她说，结果是:残疾父母常常被一个不了解如何评估他们作为照顾者的能力的系统所评判。
哈克尼夫妇亲身经历了这一切。当一名社会工作者问安德鲁·哈克尼多久给婴儿喂一次奶时，他毫不夸张地回答:一天两次。他说，那名工作人员似乎吓坏了，并责骂他，说婴儿必须多吃点东西。他挣扎着解释说，女孩的母亲、祖母和阿姨也每天轮流喂她。
永远的标记
阿勒格尼县的官员表示，将人工智能构建到他们的流程中，有助于他们“根据尽可能多的信息做出决定”，并指出，该算法只是利用社会工作者已经可以访问的数据。
这可能包括几十年前的唱片。匹兹堡地区的工具追踪了父母是否曾经享受过公共福利或与刑事司法系统有过历史——即使他们当时是未成年人，或者从未导致指控或定罪。
美联社发现，这些设计选择可能会对那些在贫困中长大的人不利，加剧数据中持续存在的历史不平等，或者对那些在青少年或刑事司法系统中有记录的人不利，尽管社会已经给予了救赎。批评人士说，算法可以通过首先影响哪些家庭是目标，来创造一个自我实现的预言。
阿勒格尼县向美国公民自由联盟和非营利组织人权数据分析小组的研究人员提供了从2021年起三个月的数据，当时该工具已经上线，使团队能够审计该算法是如何实际影响家庭分数的。
研究人员发现:“这些预测因素会让人产生永久的怀疑，而且对于那些被这些指标标记的家庭来说，它们没有任何追索权。”“他们永远被视为对孩子来说更有风险。”
随着儿童福利算法变得越来越普遍，经历过社会工作者审查的父母担心，这些模型不会让他们摆脱过去，无论他们之前与该系统的摩擦有多老或多无关。
在洛杉矶儿童和家庭委员会任职的查莉蒂·钱德勒-科尔就是其中之一。十几岁时，她因在商店为妹妹偷内衣而被捕，后来被送到了寄养机构。成年后，她说，有一次有人谎称有人向住在她家的侄子扔了一架三角钢琴，社工就出现在她的公寓里，尽管他们并没有这样的乐器。
钱德勒-科尔说，本地算法可以根据她以前在寄养机构和青少年缓刑期间的经历，以及毫无根据的虐待儿童指控，标记她。她想知道AI是否也能正确地评估她是否很快就摆脱了任何虐待的担忧，或者她十几岁时的非暴力犯罪在法律上被消除了。
“很多这样的报道缺乏常识，”钱德勒-科尔说，她现在是四个孩子的母亲，也是一个与法院系统合作帮助寄养儿童的组织的首席执行官。“你自动地把我们放在这些空间里，用这些标签来评判我们。这只会造成额外的伤害。”
相比之下，钱德勒-科尔的同事温迪·加伦(Wendy Garen)认为“越多越好”，通过利用所有可用数据，风险评分工具可以帮助该机构的工作更加彻底和有效。
全球影响力
尽管他们的模型因其准确性和公平性而受到审查，但开发人员已经与宾夕法尼亚州北安普顿县和科罗拉多州阿拉帕霍县的儿童福利机构启动了新的项目。加利福尼亚州和宾夕法尼亚州，以及新西兰和智利也要求他们做初步工作。
近年来，随着他们的方法的传播，Vaithianathan在哥伦比亚和澳大利亚举办了讲座，重点介绍筛查工具。她最近还建议丹麦的研究人员和阿拉伯联合酋长国的官员如何使用技术来针对儿童服务。
“瑞玛是世界领袖之一，她的研究可以帮助塑造丹麦的辩论，”去年，一位丹麦研究人员在领英(linkedIn)上谈到瓦伊西亚纳坦在当地试点的儿童福利工具方面的顾问角色时说。
去年，美国卫生与公共服务部资助了一项由Vaithianathan和Putnam-Hornstein共同撰写的全国性研究，该研究得出的结论是，他们在阿勒格尼的总体方法可以成为其他地方的典范。
卫生与公众服务部儿童和家庭管理局发言人黛布拉·约翰逊拒绝透露司法部的调查是否会影响她的机构未来对人工智能驱动的儿童福利方法的支持。
特别是在预算紧缩的情况下，资金紧张的机构迫切希望找到更有效的方法，让社会工作者专注于真正需要保护的儿童。在2021年的一次小组会议上，普特南-霍恩斯坦承认，自从他们的工具实施以来，阿勒格尼的“整体屏幕接入率完全持平”。
与此同时，寄养和家庭分离可能会对孩子的发展产生终身影响。
美国卫生与公众服务部2012年的一项研究发现，向儿童福利机构报告的婴儿中，95%在寄养期间经历了不止一个看护人和家庭变化，研究人员指出，这种不稳定性本身就是一种创伤。
哈克尼夫妇的女儿已经被安置在两个寄养家庭，在她短暂的生命中，有超过一半的时间都没有和父母在一起，因为她的父母试图让社会工作者相信他们是值得的。
与此同时，他们说为了争取女儿，他们的钱快花光了。安德鲁·哈克尼(Andrew Hackney)在当地一家杂货店的工资只够买食物，他不得不关掉每月的手机服务。他们正在努力支付法律费用和参加要求他们赴约的汽油费。
据安德鲁·哈克尼的律师罗宾·弗兰克(Robin Frank)说，今年2月，他们的女儿被诊断出患有一种可以破坏她的味觉的疾病，他补充说，即使在寄养机构，女孩也一直在努力吃饭。
他们现在只有每周两次的探视，每次持续几个小时，然后她就会再次被带走。劳伦·哈克尼的声音有些哽咽，因为她担心自己的女儿可能会被收养，很快就会忘记自己的家庭。他们说，他们渴望做许多父母认为理所当然的事情——让孩子晚上睡在自己的床上。
“我真的很想找回我的孩子。我想念她，尤其是抱着她。当然，我怀念那咯咯的笑声，”安德鲁·哈克尼(Andrew Hackney)说，他的女儿在最近的一次访问中兴奋地向他扑来。“很疼。你不知道有多糟糕。”
伯克在旧金山报道。美联社视频记者杰西·沃达斯基和匹兹堡的摄影记者梅伊·王对此报道也有贡献。
在Twitter上关注Sally Ho和Garance Burke @_sallyho和@garanceburke。
请通过Investigative@ap.org或https://www.ap.org/tips/联系美联社全球调查团队
