Myths of Murder and Multiple Regression

如果您想要一个更长的技术版本的本文,Word格式, 请点击这里

你相信每一次在美国被处决的囚犯,八个未来的谋杀都会被阻止吗? 你认为持有携带隐蔽武器的公民人数增加1%,导致该州的谋杀率下降 3.3%? 你相信20世纪90年代犯罪下降的10%到20%是由于20世纪70年代的堕胎增加所致吗? 或者如果美国没有建造这么多新的监狱,自1974年以来,谋杀率会增加250%?

如果您被任何这些研究误导,您可能会因恶意形式的垃圾科学:使用没有展示预测能力的数学模型来得出政策结论。 这些研究表现令人印象深刻。 由知名机构的声誉良好的社会科学家撰写,他们经常出现在同行评议的科学期刊上。 充满了复杂的统计计算,它们提供了可以用作政策论据中的辩论点的精确数值“事实”。 但这些“事实”将是智慧。 在一次研究之前墨水干涸之前,另外一个出现了完全不同的“事实”。 尽管他们的科学外观,这些模型不符合有用的数学模型的基本标准:做出比随机机会更好的预测的能力。

虽然经济学家是这个奥秘艺术的主要从业者,但社会学家,犯罪学家和其他社会科学家也有版本。 众所周知,包括“计量经济学建模”,“结构方程模型”和“路径分析”。 所有这些都是使用变量之间的相关性进行因果推理的方法。 这个问题,就像任何一个有统计学知识的人都知道,相关性并不是因果关系。 两个变量之间的相关性往往是“虚假的”,因为它们是由第三个变量引起的。 计量经济学建模者试图通过在分析中包含所有相关变量,使用称为“多元回归”的统计技术来克服这个问题。 如果对所有因果变量进行了完美的测量,那么这样做就可以了。 但数据绝对不够好。 重复使用多重回归的努力来实现公共政策问题的明确答案已经失败了。

但是很多社会科学家都不太愿意承认失败。 他们多年来一直在学习和教授回归模型,他们继续使用回归来作出因其参数而无理由的因果论证。 我把这些论点称为多重回归的神话,我想用四个研究谋杀率作为例子。

神话一:更多的枪支,少犯罪。

耶鲁大学经济学家约翰·洛特(John Lott)使用计量经济学模型来辩称,“允许公民携带隐藏的武器阻止暴力犯罪,而不增加意外死亡。” 洛特的分析涉及“颁布”法律,要求地方当局向申请一名守法公民发放隐蔽武器许可证。 洛特估计,一个人口的枪支所有权增加百分之一,导致凶杀案率下降3.3%。 洛特和他的合着者大卫·威斯德(David Mustard)1997年在互联网上发表了第一个版本的研究,成千上万的人下载了它。 这是政策论坛,报纸专栏的主题,在万维网上经常是非常复杂的辩论。 在一本书中,有着更多的枪支,更少的犯罪,洛特嘲笑他的评论家,指责他们把意识形态提前到科学。

Lott的工作就是统计一次性的一个例子。 他有更多的数据和更复杂的分析比任何人研究这个话题。 他要求任何想要质疑他的观点的人都沉浸在一个非常复杂的统计辩论中,基于计算难度很大,不能用普通的台式电脑来完成。 他挑战任何不同意他的人下载他的数据集并重新计算他​​的计算,但是大多数社会科学家不认为使用重复失败的方法复制研究值得他们重视。 大多数枪支控制研究人员简单地抹去了Lott和Mustard的说法,继续他们的工作。 两位备受尊重的刑事司法研究人员Frank Zimring和Gordon Hawkins(1997)写了一篇文章,解释说:

就像洛特和穆斯塔德一样,可以通过一种杀人决定因素的模型,产生统计残差,表明“发布”法律可以减少杀人罪,我们预计一个确定的计量经济学家可以用不同的模型来产生相同历史时期的治疗,相反的效果。 计量经济学模型是一种双刃剑,能够促进统计学发现,使任何条纹的真正信徒心中温暖。

齐默和霍金斯是对的。 一年之内,两位确定的计量经济学家丹·黑(Daniel Black)和丹尼尔·纳金(Daniel Nagin,1998)发表了一项研究,显示如果他们改变了统计模型,或者将其应用于数据的不同部分,Lott和Mustard的调查结果消失了。 黑人和纳吉发现,当佛罗里达从样本中删除时,“没有可检测的侵权行为法律对谋杀和强奸率的影响”。 他们得出结论,“基于Lott和Mustard模式的推论是不合适的,其结果不能负责任地制定公共政策。”

不过,约翰·洛特对他们的分析提出异议,并继续推动自己的分析。 拉特从1977年到1992年每年收集美国各县的数据。这个问题是美国的县域规模和社会特征差异很大。 包含主要城市的几个大国在美国的谋杀案中占很大比例。 事实上,这些非常大的县都没有“发布”枪支管制法。 这意味着Lott的大量数据集完全不适合他的任务。 在大多数谋杀事件发生的地方,他的关键因果变量 – “将发布”法律没有变化。

他的书或文章中没有提到这个限制。 当我发现我自己检查数据时,主要城市缺乏“发布”的法律,我问他。 他耸耸肩说,他在分析中对“人口规模”进行了“控制”。 但是,在数学分析中引入统计控制并没有弥补他对杀人问题最为严重的主要城市没有数据。

我花了一些时间在他的数据中找到这个问题,因为我不熟悉枪支控制问题。 但是,Zimring和Hawkins立即归档,因为他们知道国家步枪协会强大的国家“大部分在南方,西方和农村地区”都颁布了“颁布”法律。 这些是对枪支的限制很少的国家。 他们观察到,这个立法历史挫败了“我们比较发展趋势的能力”应该与其他国家的趋势相一致,因为改变立法的国家在地理位置和宪法方面与国家不同,所以立法类别的比较将永远是风险会使人口和地区的影响与不同法律制度的行为影响相混淆。 Zimring和Hawkins进一步观察到:

当然,Lott和Mustard知道这个问题。 他们的解决方案,一种标准的计量经济学技术,是建立一个统计模型,控制爱达荷州和纽约市之间的所有差异,影响凶杀和犯罪率,而不是“颁布”法律。 如果可以“指定”我们的模型中对凶杀,强奸,盗窃和自动盗窃的主要影响,那么我们可以消除这些因素对不同趋势的影响。 Lott和Mustard建立了估计人口数据,经济数据和刑事处罚对各种罪行的影响的模型。 这些模型是统计家庭烹饪的终极之处,因为它们是由这些作者为这些数据集而创建的,并且仅对将用于评估权利携带影响的数据进行测试。

Lott和Mustard正在比较爱达荷州,西弗吉尼亚州和密西西比州与华盛顿特区和纽约市的趋势。 实际发生的是,1980年代和90年代初期,东部主要城市发生了与爆炸有关的凶手爆炸事件。 洛特的全部论据归结于一个主要是农村和西部“发行”的说法,因为他们“发行”的法律,免除了与凶手有关的凶杀流行病。 如果没有被方程式迷宫掩盖,这绝对不会被认真对待。

神话二:监禁更多人切断犯罪

Lott和Mustard的案件仅在其受到公众关注的情况下才是特殊的。 使用计量经济学方法发表的对手研究,就相同的问题得出相反的结论,这是很常见的。 通常,任何一个分析都没有任何明显的错误。 他们只是使用稍微不同的数据集或不同的技术来实现不同的结果。 似乎回归建模者可以以任何方式实现任何他们想要的结果,而不违反回归分析规则。 两位备受尊重的犯罪学家Thomas Marvell和Carlisle Moody(1997:221)在对这种情况的一个特别坦白的言辞中,报道说接受了他们对监禁的凶杀案的研究。 他们报告说:

将他们的发现以及所使用的数据广泛传播给专门从事定量分析的同事。 最常见的答案是他们拒绝相信结果,无论统计分析有多好。 背后的观点是经常被非正式地讨论但很少发表,社会科学家可以通过操纵所使用的程序获得所需的任何结果。 事实上,关于监狱人口影响的各种估计数字被认为是研究的可行性的良好证据。 即使在许多经常发布定量研究的人中,意义在于,无论分析结果多么彻底,结果不可信,除非符合以前的期望。 研究学科在这样一个框架下无法成功。

马维尔和穆迪坦白地认识了多元回归的问题,并提出了一些改进建议。 不幸的是,一些计量经济学家变得沉迷于他们的模型,他们失去了他们是多么的武断。 他们相信他们的模型比凌乱,顽固的“不受控制”的现实更真实,更有效,它们旨在解释。

神话三:执法人员犯罪

1975年美国经济评论报道由密歇根大学的主要经济学家艾萨克·埃利希(Isaac Ehrlich)发表了一篇文章,他估计每次执行都会阻止8起凶手。 在Ehrlich之前,最着名的关于死刑效力的专家是Thorsten Sellen,他使用了更简单的分析方法。 Sellen准备的图形比较不同状态的趋势。 他在死刑或没有死刑的国家之间发现很少或没有区别,所以他认为死刑没有任何区别。 埃利希在统计学上属于一种行为,声称他的分析更为有效,因为它控制了所有影响凶杀率的因素。

即使在出版之前,埃利希的作品也被美国法律顾问引用,向美国最高法院提交了一个法庭诉讼简报,以捍卫死刑。 幸运的是,法院决定不依赖埃利希的证据,因为它没有被其他研究人员证实。 这是明智的,因为在一两年之内的其他研究人员发表了同样复杂的计量经济学分析,显示死刑没有阻吓作用。

对埃里希的工作的争议非常重要,国家研究委员会召集了一个蓝丝带专家小组进行审查。 经过非常彻底的审查,小组决定,问题不仅仅是埃利希的模式,而是使用计量经济学方法来解决刑事司法政策的争议。 他们(曼斯基,1978:422)得出结论:

因为可能用于这种分析的数据有局限性,并且由于犯罪行为可能如此复杂,所以不应该预期出现一个明确的行为研究,以遏制关于威慑政策的行为影响的所有争议。

大多数专家现在认为,Sellen是正确的,死刑对谋杀率没有明显的影响。 但埃利希没有被说服。 他现在是一个孤独的真正信仰他的模型的有效性。 在最近的采访中(Bonner和Fessendren,2000年),他坚持认为:“如果失业,收入不平等,担心的可能性和使用死刑意愿等因素被视为死因,死刑就会产生重大的阻吓作用。”

神话四:合法堕胎导致20世纪90年代的犯罪下降。

1999年,约翰·多诺霍(John Donohue)和史蒂文·莱维特(Steven Levitt)发表了一篇关于1990年代谋杀率急剧下降的小说解释。 他们认为,美国最高法院1973年的堕胎合法化导致有害孩子的出生减少,其中不成比例的成年人将成为罪犯。 这个论点的问题是,流产的合法化是一次性的历史事件,一次性事件不能为有效的回归分析提供足够的数据。 事实上,堕胎在某些州比其他国家更早合法化,而多诺霍和莱维特利用了这一事实。 但是,所有这些国家正在经历同样的历史进程,许多其他事情也发生在同一个谋杀率的历史时期。 有效的回归分析将必须捕获所有这些事情,并在广泛的变化下进行测试。 现有数据不允许,所以回归分析的结果将根据哪些数据被选择用于分析而变化。

在这种情况下,多诺霍和莱维特选择将重点放在十二年的时间范围内,忽视这些年份的波动。 正如詹姆斯·福克斯(James:Fox)(2000:303)指出的那样:“他们错过了这一时期犯罪大多数的转变 – 上世纪八十年代末的时代的上升趋势,后期的下降,像研究月相对海洋潮汐的影响,但只记录低潮时期的数据。“

在写这篇文章的时候,我写了一句话:“很快,另一个回归分析师可能会重新分析相同的数据并得出不同的结论。” 几天之后,我妻子给了我一个关于这样一个研究的报纸的故事。 作者是耶鲁大学的约翰·洛特(John Lott),以及阿德莱德大学的约翰·惠特利(John Whitley)。 他们抨击了同样的数字,并得出结论,“合法化堕胎将谋杀率提高了约0.5%至7%”(Lott和Whitely,2001)。

为什么这样明显不同的结果? 每组作者简单地选择了不同的方法来模拟不足的数据体。 计量经济学无法从20世纪70年代堕胎合法化的历史事实中得出有效的一般法律,1990年代的犯罪下降。 我们至少需要几十个这样的历史经验进行有效的统计测试。

结论。

统计建模中的酸性测试是预测。 预测不一定是完美的。 如果一个模型可以预测明显优于随机猜测,这是有用的。 例如,如果一个模型可以预测股票价格甚至比随机猜测稍好一些,那么它将使其所有者非常富有。 所以大量的努力已经进入了股票价格模型的测试和评估。 不幸的是,使用计量经济学技术评估社会政策的研究人员很少将其模型纳入预测性测试。 他们的借口是,结果需要太长的时间才能知道。 你不会像股票价格那样每隔几分钟获得有关贫穷,堕胎或凶杀的新数据。 但研究人员可以用其他方式进行预测测试。 他们可以使用来自一个管辖区或时间段的数据开发模型,然后使用它来预测其他时间或地点的数据。 但大多数研究人员根本不这样做,或者模型失败,结果从未发布。

出版公共政策问题计量经济学研究的期刊通常不需要预测性测试,这表明编辑和评论者对其领域的期望较低。 所以研究人员将数据固定一段时间,并保持微调并调整模型,直到他们“解释” 已经发生的趋势。 总有很多方法可以做到这一点,而在现代电脑中,直到找到合适的东西才能继续努力。 在这一点上,研究人员停下来,写出调查结果,并将论文发表。 之后,另一位研究人员可以调整模型以获得不同的结果。 这充满了学术期刊的页面,每个人都假装没有注意到没有进展甚至没有进展。 但是,我们今天比Isaac Ehrlich在1975年发表了第一个模型时更加接近了一个有效的谋杀率计量经济学模型。

科学界没有很好的程序来承认广泛使用的研究方法的失败。 领先大学研究生课程确定的方法,在着名期刊上发表的方法往往会永久存在。 许多外行人假设,如果研究发表在同行评议的期刊上,它是有效的。 我们研究的案例显示,情况并非如此。 同行评审保证已经遵循既定做法,但是当这些做法本身有缺陷时,这些做法没有什么帮助。

1991年,加州大学伯克利分校的杰出社会学家大卫·弗里德曼(David Freedman),以及定量研究方法教科书的作者,他摇摆着回归模型的基础,他坦率地说:“我不认为回归可以承担很大的负担一个因果论证,回归方程本身也不能帮助控制混杂变量“(Freedman,1991:292)。 自由人的文章引发了一些强烈的反应。 理查德·伯克(Richard Berk,1991:315)观察到,Freedman的论点“对于大多数定量社会学家来说将是非常困难的,它是实验企业的核心,这样做使整个职业生涯陷入危险。

面对批评者想要一些可以预测趋势的证据,回归建模者往往落后于统计学上的一个方面。 他们使论据如此复杂,只有其他受过高度训练的回归分析师才能理解,更不用说反驳他们了。 通常这种技术有效。 潜在的批评者只是沮丧地放弃。 费城查询者大卫·博尔特(David Boldt,1999)听完约翰·洛特(John Lott)的讲话,就隐藏的武器和凶杀率进行了发言,并与其他专家进行了对话,感叹“试图整理学术论据几乎是一个愚蠢的事情,你可以淹死统计学,虚拟变量和“泊松”与“最小二乘法”的数据分析方法。

Boldt是正确的,怀疑他被诱骗成傻瓜的使命。 实际上,在社会学或犯罪学方面,没有重要的发现不能传达给缺乏计量经济学研究生学位的记者和政策制定者。 现在是承认皇帝没有衣服的时候了 当提供计量经济学模型时,消费者应该坚持证据表明,它可以预测数据的趋势, 而不是用于创建数据的数据 失败的模型是垃圾科学,无论分析多么复杂。

参考

伯克,理查德。 1991年。针对纯粹凡人的方法论,“社会学方法论” 21:315-324。
大胆,大卫。 1999年“ 研究枪支证据 ”,Philadelphia Inquirer,December 14.从2000年5月17日下载: http//www.phillynews.com/inquirer/99/Dec/14/opinion/BOLDT14.htm
黑,丹。 和丹尼尔·纳金1998年。做正确的法律阻止暴力犯罪? 法学杂志27:209-219。
Bonner,Raymond和Ford Fessendren。 2000年,没有死刑的国家的凶杀率降低,“纽约时报”9月22日下载: http//www.nytimes.com/2000/09/22/national/22DEAT.html
多诺霍,约翰和史蒂文·莱维特。 1999.合法堕胎与犯罪。 斯坦福大学法学院。 2000年8月下载: http : //papers.ssrn.com/paper.taf?ABSTRACT_ID=174508
福克斯,詹姆斯 2000年。人口统计学和美国杀人案,A. Blumstein和J. Wallman(eds。),The Crime Drop in America Cambridge University Press,New York,pp。288-317。
Freedman,David 1991.统计模型和鞋革。 社会学方法21:291-313。
洛特,约翰。 更多的枪支,更少的犯罪:了解犯罪和枪支管制法 芝加哥大学出版社,第二版,附加分析。
洛特,约翰。 和约翰·惠特利 2001年。堕胎与犯罪:不必要的儿童和非婚生子女,“耶鲁法律与经济研究论文”第254号。2001年7月9日下载: http : //papers.ssrn.com/sol3/papers.cfm ?abstract_id = 270126
Marvell,Thomas和Carlisle Moody,C. 1997年。监狱增长对杀人的影响。 凶杀研究 1:205-233。
Zimring,Frank和Gordon Hawkins。 隐形手枪:假冒威慑力,响应社区 7:46-60。

Click Here to Leave a Comment Below 0 comments

Leave a Reply: