Cinayet ve Çoklu Regresyon Mitler

The source-page: http://crab.rutgers.edu/~goertzel/mythsofmurder.htm

By Ted Goertzel

Rutgers Üniversitesi, Camden NJ 08102

Şüpheci Inquirer’e Cilt 26, No 1, Ocak/Şubat 2002, s. 19-23 Yayınlandığı.
Psicologia uyguladıkları politikalar “El Modelo Econometrico Como Ciencia Basura,” Hayır 24 (Valencia, İspanya) olarak İspanyolca çeviri.

Eğer bir mahkum ABD’de her yürütüldüğünde zaman, sekiz gelecek cinayetlerin caydırılan inanıyor musunuz? Eğer vatandaşların sayısındaki 1% lik bir artış gizli silah taşıma ruhsatı 3,3% sebep olduğuna inanıyor musunuz azalma devletin cinayet oranının? Eğer 1990’larda suç düşüşün 10 ila 20% 1970’lerde kürtaj artışa neden oldu inanıyor musunuz? Veya cinayet oranı 1974 yılından bu yana% 250 artmış olurdu Birleşik Devletleri pek çok yeni cezaevleri inşa olmasaydı?

politika sonuçlara ulaşmak için hiçbir gösterdi öngörü yeteneği ile matematiksel modellerin kullanımı: Eğer bu çalışmaların herhangi biri tarafından yanıltılmış olsaydı, önemsiz bir bilim pernisiyöz form için düşmüş olabilir. Bu çalışmalar yüzeysel etkileyici. prestijli kurumlardan saygın sosyal bilimciler tarafından yazıldı, genellikle akran gözden bilimsel dergilerde görünür. Karmaşık istatistiksel hesaplamalar ile dolu, onlar politika argümanları içinde münazaracılar noktaları olarak kullanılabilecek hassas sayısal “gerçekler” verir. Fakat bu “gerçekler” o demetleri olacak bulunmaktadır. “Gerçeklere”: rastgele şans daha iyidir tahminlerde bulunmak yeteneği mürekkep Bir çalışmada üzerinde kuru olduğundan önce, başka bambaşka görünür bilimsel görüntüsüne rağmen bu modeller yararlı bir matematiksel model için temel ölçüt karşılamamaktadır.

ekonomistler bu gizli sanatın önde gelen uygulayıcıları olmasına rağmen, sosyologlar, kriminologlar ve diğer sosyal bilimciler bunun sürümleri de var. Bu “ekonometrik modelleme”, “yapısal eşitlik modellemesi” ve “yol analizi gibi çeşitli isimlerle bilinir.” Bunların hepsi nedensel çıkarımlar yapmak için değişkenler arasındaki korelasyonları kullanmanın yolları vardır. Istatistikte bir ders olmuştur herkes gibi bu sorun, bilir korelasyon nedensellik olmadığı. Bazı üçüncü değişkeni kaynaklanır çünkü iki değişken arasındaki korelasyon genellikle “sahte” dir. Ekonometrik modelleyiciler bir bütün nedensel değişkenlerin mükemmel önlemleri olsaydı, bu işe yarar “çoklu regresyon.” Adında bir istatistik tekniği kullanılarak, gerçekleştirdikleri analizlerde ilgili tüm değişkenleri dahil ederek bu sorunun üstesinden çalışın. Ama veriler yeterince iyi değiliz. kamu politikası soruları başarısız olmuş kesin cevaplar ulaşmak için birden fazla regresyon kullanmak için çaba Tekrarlanan.

Fakat birçok sosyal bilimciler başarısızlık kabul etmek konusunda isteksiz. Onlar öğrenme ve öğretme regresyon modelleme adamış yıl var ve onların verilere göre belirlenen değil nedensel argümanları yapmak için regresyon kullanmaya devam eder. Ben bu argümanlar çoklu regresyon mitleri çağır, ve örnek olarak cinayet oranlarının dört çalışmalarını kullanmak istiyorum.

Mit Bir: Daha Silahlar, Daha Az Suç.

John Lott, Yale Üniversitesi’nde ekonomist, iddia ekonometrik model kullanılmış “kazara ölümleri artırmadan, şiddet içeren suç engeller vatandaşlar gizli silahlar taşımasına izin veren.” Lott analizi gizli silah ihraç yerel yetkilileri gerektiren yasaları “çıkartmak zorundadır” dahil biri için geçerli olan herhangi yasalara saygılı vatandaş için izin verir. Lott bir popülasyonda tabanca sahipliğinde her yüzde bir artış cinayet oranlarında 3.3% azalmaya neden olduğu tahmin. Lott ve onun yazarlarından David Hardal 1997 yılında internette yaptıkları çalışmada ilk sürümünü yayınlanan ve on binlerce insan indirdim. Bu, World Wide Web üzerinde politika forumları, gazete sütunları ve genellikle oldukça sofistike tartışmalara konu oldu. Çekici bir başlık Daha Guns olan bir kitapta, Az Suç Lott, kendisini eleştirenleri alay

Lott çalışmaları istatistiksel bir fırsatçılığını bir örnektir. O daha çok veri ve konuyu okuyan herkesten daha karmaşık bir analiz var. O isteyen herkes onun argümanlar sıradan masaüstü bilgisayarlarla yapılamaz böylece zor hesaplamaları dayalı çok karmaşık istatistiksel tartışmalara dalmış haline meydan talep ediyor. Onun veri setini indirmek ve onun hesaplamaları yeniden yapmak onunla hemfikir olmayan insan meydan, ancak çoğu sosyal bilimciler buna değer onların ederken defalarca başarısız olmuş yöntemler kullanılarak çalışmalar çoğaltmak için düşünmüyorum. Çoğu silah kontrolü araştırmacılar basitçe Lott ve Mustard’ın iddialarını fırçalanması ve onların çalışmaları ile devam etti. İki saygın ceza adalet araştırmacılar, Frank Zimring ve Gordon Hawkins (1997) açıklayan bir yazı yazdım:

Messrs. Lott ve Hardal, cinayet belirleyicilerinden biri modeliyle, yasalar cinayet azaltmak ‘çıkartmak zorundadır’ ileri süren istatistiksel artıklar üretebilir, tıpkı biz kararlı bir ekonometricinin farklı model ve aynı tarihsel dönemlerin bir tedavi üretebilir bekliyoruz ters etkiler. Ekonometrik modelleme herhangi bir şerit gerçek inananların kalpleri ısıtmak için istatistiksel bulguları kolaylaştırmak üzere kapasitesi iki ucu keskin bir kılıç.Zimring ve Hawkins haklıydın. Bir yıl içinde, iki kararlı ekonometriciler Dan Siyah (1998) Daniel Nagin onlar istatistiksel modeli biraz değişmiş veya verilerin farklı segmentlere uyguladı eğer Lott ve Mustard’ın bulguları kayboldu olduğunu gösteren bir çalışma yayınladı. Siyah Nagin Florida örnekten çıkarıldı zaman olduğunu gördük “cinayet ve tecavüz oranı üzerinde sağdan taşıma yasalarının hiçbir saptanabilir etkisi.” Onlar Lott ve Hardal modeline dayalı çıkarsama uygunsuz”olduğu sonucuna varılmıştır ve bunların sonuçları kamu politikası formüle etmek sorumlu bir şekilde kullanılması mümkün değildir.”

John Lott, ancak, bunların analizini tartışmalı ve kendi teşvik devam etti. Lott 1977 den 1992 bu sorun Amerika’nın ilçeleri boyutu ve sosyal özelliklerinin büyük oranda değişmektedir olmasıdır için her yıl Amerika’nın ilçelerin her biri için veri topladı almıştı. Birkaç büyük olanlar, büyük şehirlerde içeren, ABD’de cinayetlerin çok büyük bir yüzdesini oluşturur. O sırada da, bu çok büyük ilçelerin hiçbiri sahip silah kontrolü yasaları “çıkartmak zorundadır”. Bu Lott büyük veri seti yaptığı görev için sadece uygun olduğu anlamına gelir. Onun anahtar nedensel değişken hiçbir varyasyon vardı – “belgesi verecektir” yasaları – Çoğu cinayetler meydana yerlerde.

O kitap veya makalelerinde bu sınırlamayı söz etmedi. Onun verilerinin kendi incelemede büyük şehirlerde yasaları “çıkartmak zorundadır” eksikliğini fark ettiğinde, bu konuda sordum. O, analizinde nüfus büyüklüğü için “kontrollü” olduğunu söyleyerek onu silkti. Ama matematiksel analizinde istatistiksel kontrolünü tanıtan o sadece cinayet sorunun en akut olduğu büyük şehirlerde için hiç veri vardı aslında telafi etmedi.

Ben silah kontrolü sorunu aşina değildi, çünkü onun verilerindeki bu sorunu bulmam biraz zaman aldı. Onlar kanunlar Ulusal Tüfek Derneği ölçüde Güney, Batı’da ve kırsal bölgelerde, güçlüydü devletler düzenlemesi yapılmamıştır “belgesi verecektir” biliyordu çünkü Ama Zimring ve Hawkins hemen yazmanızın. Bunlar zaten silahlar üzerinde bazı kısıtlamalar vardı devletler idi. Onlar bu yasama tarih kapasitemiz diğer eyaletlerde eğilimleri ile ‘çıkartmak zorundadır’ eyalette eğilimleri karşılaştırmak için”frustrates görülmektedir. Mevzuat değişti devletler vermedi devletlerden konumu ve anayasada farklı olduğundan, yasama kategorileri arasında karşılaştırmalar her zaman farklı hukuki rejimlerin davranışsal etkisiyle kafa karıştırıcı demografik ve bölgesel etkileri riske edecek “Zimring ve Hawkins ayrıca görülmektedir.:

Lott ve Hardal, tabii ki, bu sorunun farkındadır. Onların çözümü, standart bir ekonometrik tekniği, “çıkartmak zorundadır” kanunlar dışında cinayet ve suç oranları, etkileyen Idaho ve New York arasındaki tüm farklılıkları kontrol edecek istatistiksel bir model oluşturmaktır. kimse bizim modelinde cinayet, tecavüz, hırsızlık ve oto hırsızlığı ile ilgili önemli etkileri “belirtmek” ise, o zaman farklı eğilimlere bu faktörlerin etkisini ortadan kaldırabilir. Lott ve Hardal demografik veriler, ekonomik verileri ve çeşitli suçlardan cezai ceza etkilerini tahmin modellerini oluşturmak. Bu modeller bu yazarlar tarafından belirlenen bu veriler için oluşturulan ve sadece sağdan taşıyan etkilerin değerlendirilmesinde kullanılacak veriler üzerinde test edilir ki pişirme istatistiksel evde son noktayı vardır.Lott ve Hardal Washington, DC ve New York’ta eğilimleri ile Idaho ve Batı Virginia ve Mississippi eğilimleri karşılaştırmak bulundu. Gerçekte olay 1980 ve 1990’ların başında büyük doğu şehirlerde çatlak ilişkili cinayetler arasında bir patlama olmasıydı. Lott bütün iddiası büyük ölçüde kırsal ve batı devletleri nedeniyle “belgesi verecektir” yasaların çatlak ilgili cinayet salgın bağışladı edildi “belgesi verecektir” diye bir iddia indi. o denklemlerin bir labirent tarafından gizlenmiş olmasaydı bu ciddiye alınması olmazdı.

Mit İki: Kişiyi Daha hapsetmek Suçlarla keser

Lott ve Hardal durumda sadece alınan kamuoyunun dikkatini miktarında olağanüstü idi. rakip çalışmalar aynı konuda zıt sonuçlara ulaşmak için ekonometrik yöntemlerle yayınlanacak etmesi, hatta tipik oldukça yaygındır. Genellikle analizler biriyle gösterilebilir yanlış bir şey yok. Onlar sadece farklı sonuçlar elde etmek için biraz farklı veri kümeleri veya farklı teknikler kullanır. Bu regresyon modelleyiciler hiçbir şekilde regresyon analizinin kurallarını ihlal etmeden istedikleri sonucu elde edebilirsiniz sanki görünüyor. Bu durumun bir öfke, biri son derece açık sözlü açıklamada, iki saygın kriminologlar Thomas Marvell ve Carlisle Moody (1997: 221), bunlar cinayet oranları üzerindeki hapis etkisinin yaptığımız bir çalışmanın alımı bildirildi. Onlar onlar olduğunu bildirdi:

yaygın kantitatif analizinde uzman meslektaşları için kullanılan verileri ile birlikte, [onların] bulgularını, dolaştırılan. En sık tepki onlar nasıl istatistiksel analiz iyi olursa olsun sonuç inanmayı reddediyorum olmasıdır. Bu çekişme arkasında çoğu kez gayri tartışılan ama nadiren sosyal bilimciler kullanılan prosedürleri manipüle ederek istenen herhangi bir sonucu elde edebilmesi, yayınlanan kavramıdır. Aslında, cezaevi nüfusunun etkisiyle ilgili tahminlerin çok çeşitli araştırma yumuşaklık iyi kanıtı olarak alınır. Hatta düzenli nicel çalışmalar yayımlamak birçok arasında iması, bunlar önceden beklentilerle uyumlu sürece ne kadar kapsamlı analizi, sonuçların güvenilir olmaması. Bir araştırma disiplin böyle bir çerçeve içinde başarılı olamaz.Onların büyük liyakat için, Marvell ve Moody açıkçası çoklu regresyon sorunların olduğunu kabul etti ve iyileştirme için bazı önerilerde bulunulmuştur. Maalesef, bazı ekonometriciler yüzden onların ne kadar keyfi kaybetmeyecek kendi modellerinin dalmış hale. Onlar modelleri onlar açıklama iddiasında olan dağınık, inatçı, “kontrolsüz” gerçeklik yerine, daha geçerli, daha gerçek olduğuna inanmaya.

Mit Üç: yürütülüyor İnsanlar Suçlarla keser

1975 yılında American Economic Review her yürütme sekiz cinayet caydırıcı olduğu tahmin lider ekonomist tarafından bir makale, Michigan Üniversitesi Isaac Ehrlich’e yayınladı. Ehrlich önce idam cezasının etkinliği açısından en iyi bilinen uzman analizinin çok daha basit bir yöntem kullandıkları Thorsten Sellen oldu. Sellen farklı eyalette eğilimleri karşılaştırmak grafikleri hazırladı. O ya da ölüm cezası olmadan devletler arasında çok az ya da hiç fark bulundu, bu yüzden ölüm cezası fark etmiyordu sonucuna varmıştır. Ehrlich, istatistiksel tek fırsatçılığını bir eyleminde, bu cinayet oranlarını etkileyerek tüm faktörler için kontrollü yüzünden analizi daha geçerli olduğunu iddia etti.

Yayınlandıktan önce bile, Ehrlich’in çalışma ölüm cezası savunmasında ABD Yüksek Mahkemede açılan bir mahkemenin dostları kısaca ABD’nin Avukat Genel gösterildi. Neyse ki, Mahkeme, diğer araştırmacılar tarafından teyit edilmemişti çünkü Ehrlich’in delil dayanmak karar verdi. Bu durum, bir yıl veya eşit sofistike ekonometrik ölüm cezası hiçbir caydırıcı etkisi olmadığını gösteren analizler yayınlanan diğer iki araştırmacı içinde, akıllıca oldu.

Ehrlich’in çalışmaları üzerinde tartışmalar Ulusal Araştırma Konseyi gözden geçirmek için uzmanlardan oluşan bir mavi kurdele paneli toplandı böylece önemliydi. Çok kapsamlı inceleme sonucunda, pano problemi sadece Ehrlich’in modeliyle, ancak ceza adalet politikaları üzerinde sorunlara çözüm aramak üzere ekonometrik yöntemler kullanma fikri ile olmadığına karar verdi. Onlar (Manskinin, 1978: 422) sonucuna:

muhtemel veriler, analiz için kullanılabilir olması için, çünkü sınırlamaları vardır ve suçlu davranışı o kadar karmaşık olabilir, çünkü caydırıcılık politikalarının davranışsal etkileri konusunda tüm tartışmalara dinlenmeye yalan kesin davranışsal çalışmada ortaya çıkması beklenmemelidir.Çoğu uzman şimdi Sellen haklı olduğunu, ölüm cezasının cinayet oranları üzerinde gösterilebilir etkisi yoktur inanıyoruz. Ama Ehrlich ikna edilmemiştir. O şimdi onun modelinin geçerliliği yalnız gerçek mümindir. “İşsizlik, gelir eşitsizliği, endişe ve ölüm cezası kullanma iradesi olasılığı gibi varyasyonlar ölüm cezası önemli caydırıcı etkisi gösterilmektedir, hesaba eğer.” Son röportajında ​​(Bonner ve Fessendren, 2000) diye ısrar.

1999 yılında, John Donohue ve Steven Levitt 1990’larda cinayet oranlarındaki keskin düşüşün bir roman açıklama ile bir çalışma yayınladı. Bunlar 1973 yılında ABD Yüksek Mahkemesi tarafından kürtajın yasallaştırılması, orantısız sayıda suçlu olmak büyümüş olurdu istenmeyen çocukların doğum azalmaya neden olduğunu ileri sürdü. Bu argüman ile sorunu kürtaj yasallaştırma bir defalık tarihsel olaydı ve bir kerelik olayları geçerli bir regresyon analizi için yeterli veri sağlamak kalmamasıdır. Kürtaj diğerlerine göre bazı eyaletlerde erken yasal ve Donohue ve Levitt Bu gerçeğin faydalanmak olduğu doğrudur. Ama bütün bu devletler aynı tarihsel süreçler yoluyla gittiğini ve daha birçok şey cinayet oranları etkilenir aynı tarihsel dönemde oluyordu. Geçerli bir regresyon analizi tüm bunları yakalamak zorunda ve varyasyon geniş bir yelpazede altında denemek isterim. Mevcut veri buna izin yoktur, bu nedenle bir regresyon analizi sonuçları veri analizi için seçilmiş olduğuna bağlı olarak değişir.

Bu durumda, Donohue ve Levitt bu yıllar içindeki dalgalanmaları göz ardı on iki yıl zaman aralığında değişim odaklanmak seçti. James Fox (2000: 303) olarak, bu sayede işaret, “Onlar bu dönemde suç vardiya çoğu cevapsız – 1980’lerin sırasında artış eğilimi çağ ve çatlama sonrası yıllarda düşüş düzeltme çatlak. Bu okyanus gelgit ayın evreleri etkilerini incelemek ama sadece Slack dönemleri için veri kayıt gibi bir şeydir.”

Ben bu yazıyı yazarken, ben belirten bir cümle yer “yakında başka regresyon analisti muhtemelen aynı veriyi tekrar analiz ve farklı sonuçlara ulaşacaktır.” Birkaç gün sonra, eşim böyle bir çalışma hakkında bana bir gazete hikaye uzattı. Yazar, birlikte Adelaide Üniversitesi’nden John Whitley ile, Yale John Lott başkası değildi. Aynı rakamlar da incelendi ve sonucuna ki (Lott ve Whitely, 2001) “etrafında yaklaşık 0,5 ila 7 oranında kürtaj artmış cinayet oranları yasallaştıran”.

Neden böyle belirgin farklı sonuçlar? yazarların her bir seti sadece verilerin yetersiz gövdesini modellemek için farklı bir yol seçti. Ekonometri kürtaj 1970’lerde yasallaştı ve suç 1990’larda indik o tarihsel gerçeği dışında geçerli bir genel yasa yapamaz. Biz geçerli bir istatistiksel test için en az birkaç düzine geçmiş deneyimler gerekir.

Sonuçlar.

İstatistiksel modellemede asit test tahminidir. Tahmin mükemmel olmak zorunda değildir. Bir modelin rastgele tahmin önemli ölçüde daha iyi tahmin edebilirsiniz, bu yararlıdır. Bir modelin bile biraz daha iyi rastgele tahminlerden hisse senedi fiyatlarını tahmin edebilirdik Örneğin, onun sahipleri çok zengin olur. Yani çaba epey test ve hisse senedi fiyatları modelleri değerlendirmek gitti. Ne yazık ki, ekonometrik teknikleri kullanan araştırmacılar sosyal politikaları çok nadiren öngörü testlere kendi modellerini tabi değerlendirmek. Bahaneleri, sonuçların bilinmesi için çok uzun sürüyor olmasıdır. Eğer hisse senedi fiyatları ile yapmak gibi yoksulluk, kürtaj konusunda yeni veriler veya cinayet birkaç dakikada alamadım. Ama araştırmacılar başka şekillerde öngörü testleri yapabilirsiniz. Onlar bir yargı veya zaman aralığında elde edilen verileri kullanarak bir model geliştirebilir, Sonra diğer zamanlarda veya yerlerden gelen verileri tahmin etmek için kullanın. Ancak çoğu araştırmacı basitçe bunu yapmayın, ya da eğer modeller başarısız sonuçlar yayınlanan asla.

Kamu politikası konularının ekonometrik çalışmalar yayımlamak dergi genellikle editörler ve yorumcular kendi alanlarında düşük beklentilere sahip olduğunu göstermektedir öngörü testini gerektirmez. Yani araştırmacılar zaman belirli bir süre için veri almak ve eğilimleri “açıklamak” kadar kendi modelini ayarlayarak ince ayar ve tutmak zaten meydana gelmiş . Bunu yapmanın çeşitli yolları hep vardır ve çağdaş bilgisayarlarla bunu uyan bir şey bulana kadar denemeye devam korkunç zor değildir. Bu noktada, araştırmacı, durur bulguları yukarı yazar ve yayın için kağıttan gönderir. Daha sonra başka bir araştırmacı farklı bir sonuç elde etmek için bir model ayarlayabilirsiniz. Bu bilimsel dergilerin sayfalarını doldurur ve herkes o küçük fark etmemiş gibi yapıyor veya hiç ilerleme kaydediliyor. Ama Isaac Ehrlich 1975 yılında ilk modeli yayınlandığında biz daha cinayet oranları bugünden geçerli bir ekonometrik modeli olan yakınlığı söz konusu değildir.

Bilimsel topluluğun yaygın olarak kullanılan bir araştırma yöntemi başarısızlığını kabul için iyi prosedürlere sahip değil. Önde gelen üniversitelerinde lisans programlarında yerleşik ve prestijli dergilerde yayınlanmış yöntemler yaşatılamamıştır eğilimindedir. Birçok rahip olmayan kimse bir çalışma hakemli bir dergide yayınlanmış, eğer geçerli olduğunu varsayalım. inceledik vakalar bu her zaman böyle olmadığını gösteriyor. Akran yorumu kurulan uygulamalar takip edildiğini garanti, ancak bu uygulamalar kendilerini hatalı olduğunda çok az yardım biridir.

O açıkçası regresyon yükünde çoğunu taşıyabilir sanmıyorum ”belirtti zaman 1991 yılında David Freedman, Berkeley Kaliforniya Üniversitesi’nden ve nicel araştırma yöntemleri üzerinde ders kitaplarının yazarı en seçkin sosyolog, regresyon modelleme temellerini sarsan nedensel argüman. Ne de “regresyon denklemleri, tek başlarına karıştırıcı faktörleri kontrol edilmesinde çok yardım vermek (: 292 Freedman, 1991) yapmak. Freedman makale güçlü reaksiyonların bir dizi yol açtı. Richard Berk (1991: 315) Freedman argümanı “en nicel sosyologlar kabul etmek için çok zor olacak görülmektedir. Bu onların ampirik girişimin kalbe gider ve bunu yaparken de, tehlikeye tüm profesyonel kariyerlerini koyar.”

Onlar eğilimleri tahmin edebilirsiniz bazı kanıt istiyorum eleştirmenler ile karşı karşıya kalan regresyon modelleyicileri sık sık istatistiki tek fırsatçılığını düşmek. Onlar, onları sadece diğer yüksek eğitimli regresyon analistler anlayabileceği argümanlar kadar karmaşık hale dursun çürütmek. Genellikle bu teknik çalışır. Potansiyel eleştirmenler sadece hayal kırıklığı içinde vazgeçmek. Philadelphia Inquirer’in David Boldt (1999), John Lott gizlenmiş silah ve cinayet oranları konuşmak işitme ve diğer uzmanlar ile kontrol ettikten sonra, “akademik argümanlar çözmek için çalışıyor adeta saçma bir iş olduğunu yakındı. Sen ‘Poisson’ vs ‘az kare’ veri analizi yöntemleri t-istatistik konusundaki anlaşmazlıklar, kukla değişkenler boğulması ve olabilir.”

Boldt o aptalın misyon içine sokulmuş edildiğini şüphelenmeye doğruydu. Orada, aslında, ekonometri lisans dereceleri yoksun gazeteci ve politika yapıcılar tebliğ edilemeyen sosyoloji veya kriminoloji hiçbir önemli bulgular. Kral çıplak itiraf zamanıdır. Ekonometrik model ile görüntülendiğinde, tüketiciler bu verilerdeki eğilimleri tahmin edebilirsiniz kanıtlar ısrar etmelidir onu oluşturmak için kullanılan veriler dışındakiBu testi başarısız Modeller kadar karmaşık olursa olsun analizi, önemsiz bilim vardır