İstatistik Sözlüğü → Eğilim Skoru Analizi
Eğilim Skoru Analizianaliz
Rastgele atama yapılmamış gözlemsel verilerde, tedavi ya da programa katılan ve katılmayanları gözlenen özellikleri bakımından benzer hâle getirerek (eşleştirme, ağırlıklandırma, tabakalama) tedavinin ortalama etkisini kestiren yöntem.
Kavram
Deneylerde katılımcılar gruplara rastgele atandığı için gruplar ortalamada her bakımdan benzer olur ve sonuçtaki fark tedaviye bağlanabilir. Gözlemsel verilerde ise kimin tedavi göreceğini insanlar ya da koşullar belirler: bir kursa daha başarılı öğrenciler, bir programa daha motive kişiler katılabilir. Bu durumda gruplar baştan farklıdır ve sonuçtaki ham fark, tedavinin etkisiyle grupların başlangıç farklarını birbirine karıştırır.
Eğilim skoru, bir kişinin gözlenen özellikleri verildiğinde tedavi grubunda olma olasılığıdır ve genellikle lojistik regresyonla kestirilir. Aynı eğilim skoruna sahip tedavi ve kontrol bireyleri, gözlenen özellikleri bakımından ortalamada benzerdir. Bu skor üzerinden üç yolla karşılaştırılabilir gruplar kurulur: her tedavi bireyine skoru en yakın kontrol bireyini bulmak (eşleştirme), her bireyi aldığı tedaviyi alma olasılığının tersiyle ağırlıklandırmak (IPW) ya da örneklemi skor dilimlerine ayırıp her dilimde karşılaştırma yapmak (tabakalama). Ardından denge, standartlaştırılmış ortalama farklarıyla (SMD) denetlenir; |SMD| genellikle 0,1'in altında olmalıdır.
Yöntemin temel varsayımı, tedavi seçimini ve sonucu birlikte etkileyen tüm değişkenlerin ölçülmüş ve modele katılmış olmasıdır (gözlenmeyen karıştırıcı yoktur); bu varsayım sınanamaz. Ayrıca her skor düzeyinde hem tedavi hem kontrol bireyleri bulunmalıdır (ortak destek). Hangi etkinin tahmin edildiği açıkça belirtilmelidir: tedavi görenlerdeki etki (ATT), tüm örneklemdeki etki (ATE) ya da tedavi görmeyenlerdeki etki (ATC) farklı sorulara yanıt verir ve sayısal olarak farklı çıkabilir.
Ne zaman kullanılır?
- Bir tedavi, program ya da müdahalenin etkisi rastgele atama olmayan verilerle incelenmek isteniyorsa ve grupların farklı olmasına yol açan değişkenler ölçülmüşse (hastane kayıtlarıyla tedavi karşılaştırması, gönüllü katılımlı eğitim programları).
- Grupların müdahaleden önceki ve sonraki ölçümleri varsa farkların farkı; tedavi seçimini etkileyen ama sonucu doğrudan etkilemeyen bir araç değişken varsa araç değişkenli regresyon gözlenmeyen karıştırıcılara karşı daha iyi koruma sağlayabilir.
- Rastgele atama yapılmışsa eğilim skoruna gerek yoktur; gruplar doğrudan t-testi, ANCOVA ya da regresyonla karşılaştırılır.
Gündelik bir örnek
Bir lisede bazı öğrenciler isteğe bağlı hafta sonu kursuna katılıyor, bazıları katılmıyor. Yıl sonunda kursa katılanların sınav ortalaması 12 puan daha yüksek; ama kursa zaten notları iyi ve ailesi destekleyici öğrencilerin daha çok katıldığı biliniyor. Eğilim skoru analizi, önceki yıl notu, aile geliri ve devamsızlık gibi özelliklerden her öğrencinin kursa katılma olasılığını kestirir ve her kursiyeri bu olasılığı ona en yakın, kursa katılmamış bir öğrenciyle eşleştirir. Eşleşmiş gruplar arasında fark 4 puana iniyorsa, kursun katılanlar üzerindeki etkisinin (ATT) ham farkın üçte biri kadar olduğu düşünülür; ölçülmemiş motivasyon farkları ise yine de sonucu etkileyebilir.
MerQur'da parametreler
Sonuç değişkeni (Yok / değişken)
Kavram: Tedavinin etkisinin ölçüleceği sonuç değişkenidir. Eğilim skoru yöntemlerinde gruplar önce sonuçtan bağımsız olarak dengelenir; sonuç değişkeni ancak denge sağlandıktan sonra karşılaştırılır.
Gündelik örnek: Kurs örneğinde sonuç değişkeni yıl sonu sınav puanıdır. Sonuç seçilmeden yalnız eşleştirme ve denge tabloları da incelenebilir; böylece eşleştirme, puanlara bakılmadan iyileştirilebilir.
Ne işe yarar: Etki tahmini için sonuç değişkeni; "Yok" seçilirse yalnız eşleştirme ya da ağırlıklandırma ve denge raporlanır.
Sonuca etkisi: "Yok" iken etki bölümü ve etki cümlesi bulunmaz; denge ve örneklem tabloları aynıdır.
Yöntem (En yakın komşu eşleştirme / Ters olasılık ağırlıklandırma (IPW) / Tabakalama)
Kavram: Karşılaştırılabilir grupların nasıl kurulacağını belirler. Eşleştirme her tedavi bireyine benzer bir kontrol bulur; IPW her bireyi aldığı tedaviyi alma olasılığının tersiyle ağırlıklandırarak sözde bir 'yeniden örneklem' oluşturur; tabakalama örneklemi skor dilimlerine ayırıp her dilimde karşılaştırma yapar.
Gündelik örnek: Eşleştirmede her kursiyer kendine en benzer bir 'ikiz' öğrenciyle karşılaştırılır. IPW'de kursa katılması çok olası görünmesine rağmen katılmamış bir öğrenci büyük ağırlık alır, çünkü kontrol grubunda o tür öğrencileri temsil eden az kişi vardır.
Ne işe yarar: Karşılaştırılabilir grup kurma yolu: en yakın komşu eşleştirme, IPW ve eğilim skoru tabakalaması (tabaka ağırlıkları; Hong 2010).
Sonuca etkisi: Ağırlıklar, denge tablosu, etkin örneklem, etki ve SE türü değişir (eşleştirme: eşleşme kümesine göre kümelenmiş HC1; IPW: M-tahmin ya da HC0; tabakalama ve değiştirmeli eşleştirme: HC3).
Doğrulama verisinde: ATT: en yakın komşu 894.37 (SE 705.23; kontrol ESS 185); IPW 1214.07 (798.15; ESS 99.82); tabakalama (S = 5) 663.89 (845.28; ESS 103.35).
Tahmin edilen etki (ATT / ATE / ATC)
Kavram: Hangi ortalama etkinin tahmin edileceğini belirler: ATT tedavi görenlerdeki, ATC tedavi görmeyenlerdeki, ATE tüm örneklemdeki ortalama etkidir. Tedavinin etkisi kişiden kişiye değişiyorsa bu üç değer farklı çıkar.
Gündelik örnek: ATT 'kursa katılanlar kurstan ne kazandı?' sorusunu, ATC 'katılmayanlar katılsaydı ne kazanırdı?' sorusunu, ATE ise 'kurs tüm öğrencilere açılsa ortalama etki ne olurdu?' sorusunu yanıtlar. Kurs zayıf öğrencilere daha çok yarıyorsa ATC, ATT'den büyük olabilir.
Ne işe yarar: Tedavi grubundaki (ATT), tüm örneklemdeki (ATE) ve kontrol grubundaki (ATC) ortalama etki.
Sonuca etkisi: Eşleştirmede odak grup, IPW ve tabakalamada ağırlık formülü, denge SMD paydası (ATT tedavi, ATC kontrol, ATE havuz SS) değişir. En yakın komşuda ATE seçilemez.
Doğrulama verisinde: IPW: ATT 1214.07, ATE 224.68, ATC -186.92; tabakalama: 663.89, -593.57, -650.06; en yakın komşu ATC -2620.74.
Eşleşme oranı (1:k)
Kavram: Her tedavi bireyine kaç kontrol bireyinin eşleştirileceğini belirler. Daha çok eş kullanmak varyansı azaltır ama eşler daha az benzer olacağı için yanlılığı artırabilir.
Gündelik örnek: 1:1 eşleştirmede her kursiyere bir 'ikiz' bulunur. 1:3 eşleştirmede üç eş aranır; kursa katılmayan öğrenci sayısı sınırlıysa üçüncü eşler artık pek benzer olmaz ve karşılaştırma bozulabilir.
Ne işe yarar: Her odak birime k kontrol; önce tüm odak birimlere 1. eş, sonra 2. eş.
Sonuca etkisi: Eşleşen kontrol sayısı ve etki değişir; kontrol havuzu tükenince oran artışı etkisiz kalır ve "yeterli kontrol yok" uyarısı yazılır.
Doğrulama verisinde: 1:1 894.37 (eşleşen kontrol 185); 1:2 220.29 (370); 1:3 ve 1:10 -559.15 (429 kontrolün hepsi).
Değiştirmeli eşleştirme
Kavram: Bir kontrol bireyinin birden fazla tedavi bireyiyle eşleşmesine izin verir. Eşler daha benzer olur ve yanlılık azalır, ama aynı kontrol birkaç kez kullanıldığı için varyans artar.
Gündelik örnek: Notları çok yüksek ve kursa katılmamış yalnız birkaç öğrenci varsa, değiştirmeli eşleştirmede bunlar notları yüksek birkaç kursiyerin her biriyle eşleşebilir. Böylece eşler daha benzer olur ama sonuç o birkaç öğrenciye fazla bağımlı hâle gelir.
Ne işe yarar: Bir kontrol birden çok tedavi birimiyle eşleşebilir (yanlılık azalır, varyans artar). Eşit eğilim skorlu kontroller arasında veri sırasındaki ilki seçilir.
Sonuca etkisi: Eşleşmeler, eşsiz kontrol sayısı, etki ve SE (HC3) değişir.
Doğrulama verisinde: ATT 1991.6152735 (SE 942.8197), 82 eşsiz kontrol.
Kaliper (SS birimi)
Kavram: Eşleşen iki bireyin eğilim skorları arasında izin verilen en büyük farktır; bu sınırı aşan çiftler eşleştirilmez. Kaliper kötü eşleşmeleri önler ama eşleşemeyen tedavi bireyleri dışarıda kalır ve etki yalnız eşleşenler için geçerli olur.
Gündelik örnek: Kaliper dar tutulursa yalnız gerçekten benzer öğrenciler eşleşir ama bazı kursiyerlere eş bulunamaz. Bu durumda tahmin edilen etki tüm kursiyerler için değil, benzer bir 'ikizi' bulunanlar için geçerlidir.
Ne işe yarar: |PS farkı| > c x SS(PS) olan çiftleri dışlar (c = 0: kaliper yok); SS tüm örneklemin SS'sidir.
Sonuca etkisi: Eşleşen çift sayısı ve etki değişir; eşleşemeyen tedavi birimleri uyarısı verilir, etki yalnız eşleşenler içindir.
Doğrulama verisinde: c = 0.05: 109 çift, ATT 2277.59; c = 0.2: 113 çift, 1571.74; c = 1.0: 139 çift, 955.44.
Tabaka sayısı
Kavram: Tabakalamada örneklemin eğilim skoruna göre kaç dilime ayrılacağını belirler. Daha çok dilim, her dilim içindeki grupları daha benzer yapar ama dilimler küçüldükçe tahminler daha değişken olur.
Gündelik örnek: Öğrenciler kursa katılma olasılığına göre 5 dilime ayrılır ve her dilimde kursiyerler ile katılmayanlar karşılaştırılır. Dilim sayısı 20'ye çıkarsa denge iyileşir ama bazı dilimlerde çok az öğrenci kalabilir.
Ne işe yarar: Tabakalamada eğilim skoru kantillerine göre S tabaka (ATT'de tedavi grubunun kantilleri).
Sonuca etkisi: Denge, ESS ve etki değişir.
Doğrulama verisinde: ATT: S = 2: 341.17 (PS SMD 0.70); S = 5: 663.89 (0.131); S = 10: 813.15 (0.034); S = 20: 1176.62 (0.005); kontrol ESS 147.7 -> 61.5.
Stabilize ağırlıklar
Kavram: IPW ağırlıklarını tedavi grubunun genel oranıyla çarparak aşırı büyük ağırlıkların ölçeğini küçültür; ağırlıkların ortalaması 1'e yaklaşır ve yorumlanması kolaylaşır.
Gündelik örnek: Kursa katılma olasılığı 0,02 olan ama katılan bir öğrenci 50 kat ağırlık alır. Stabilize ağırlıklar bu ölçeği küçültür; böylece kaydedilen ağırlıklar örneklem büyüklüğüyle daha uyumlu olur.
Ne işe yarar: ATE ağırlıklarını marjinal tedavi oranıyla çarpar (aşırı ağırlıkların ölçeğini küçültür).
Sonuca etkisi: Doymuş etki modelinde tahmin, SE, denge ve ESS değişmez; yalnız kaydedilen ağırlık sütunu değişir. ATT ve ATC'de uygulanmaz.
Doğrulama verisinde: ATE 224.68 (SE 876.19) her iki durumda; NHEFS 3.4405 (0.5255).
IPW standart hatası (M-tahmin / Dayanıklı HC0)
Kavram: IPW etkisinin standart hatasının nasıl hesaplanacağını belirler. M-tahmin, eğilim skorunun da veriden kestirildiğini ve bu kestirimin belirsizlik taşıdığını hesaba katar; dayanıklı HC0 ağırlıkları bilinen sabitler gibi ele alır.
Gündelik örnek: Kursa katılma olasılıkları bir lojistik modelden tahmin edildiği için kendileri de kesin değildir. M-tahmin bu belirsizliği kursun etkisinin standart hatasına yansıtır.
Ne işe yarar: M-tahmin, eğilim skoru modelinin tahmin belirsizliğini içeren yığılmış sandviçtir (z); HC0 ağırlıkları sabit kabul eder (t(n - k)).
Sonuca etkisi: Yalnız SE, test ve GA değişir.
Doğrulama verisinde: ATT SE 798.15 (M-tahmin) ve 824.05 (HC0); ATE 876.19 ve 909.48; NHEFS ATE 0.4871 ve 0.5255.
Güven Düzeyi
Kavram: Tedavi etkisi ve eğilim skoru modeli için verilen aralıkların güven düzeyini belirler; güven düzeyi arttıkça aralık genişler.
Gündelik örnek: Kursun etkisi %95 güvenle 1 ile 7 puan arasında bulunabilir. Aralık 0'ı içerseydi kursun etkili olduğu sonucuna güvenle varılamazdı.
Ne işe yarar: Etki ve PS modeli güven aralıklarının düzeyini belirler.
Sonuca etkisi: Yalnız GA sınırları değişir (PS modeli GA'ları dahil).
Doğrulama verisinde: En yakın komşu ATT: %90 [-268.6, 2057.3]; %95 [-492.4, 2281.2]; %99 [-931.7, 2720.4].
Etki modeline ortak değişkenler (Ek seçenekler)
Kavram: Eşleştirme ya da ağırlıklandırmanın ardından ortak değişkenleri etki modeline de ekler. Bu çifte dayanıklı yaklaşımda eğilim skoru modeli ya da sonuç modelinden biri doğru belirlenmişse etki tahmini tutarlı kalır ve kalan küçük dengesizlikler düzeltilir.
Gündelik örnek: Eşleştirmeden sonra kursiyerler ile eşleri arasında önceki yıl notunda küçük bir fark kalmışsa, not etki modeline eklenir ve bu kalan fark kursun etkisinden ayıklanır.
Ne işe yarar: Ağırlıklı etki modeline ortak değişkenleri ekler (y ~ tedavi + X; çifte dayanıklı yaklaşım).
Sonuca etkisi: Etki tahmini ve SE değişir; denge tablosu değişmez.
Doğrulama verisinde: En yakın komşu ATT 894.37 -> 1344.94; IPW ATE 224.68 -> 712.74; tabakalama 663.89 -> 953.88.
Sütun kaydı (Ek seçenekler)
Kavram: Her gözlemin eğilim skorunu, ağırlığını, eşleşme kimliğini ve tabakasını veri setine yeni sütunlar olarak ekler; sonuçlar değişmez, ama sonraki analizlerde ya da denetimde kullanılabilir.
Gündelik örnek: Her öğrencinin kursa katılma olasılığı ve hangi öğrenciyle eşleştiği tabloya eklenirse öğretmenler eşleşmelerin makul olup olmadığına tek tek bakabilir.
Ne işe yarar: ps_score, ps_weight (IPW: ps_ipw_weight), ps_match_id ve ps_subclass sütunlarını veri setine ekler.
Sonuca etkisi: Sonuçları değiştirmez.
Denge eşiği (|SMD|)
Kavram: Standartlaştırılmış ortalama fark (SMD), iki grubun bir değişkendeki ortalama farkının standart sapmaya bölünmesidir. Bu eşiği aşan değişkenler dengesiz sayılır; yaygın ölçüt |SMD| < 0,1'dir.
Gündelik örnek: Eşleştirmeden sonra kursiyerler ile eşlerinin önceki yıl notu farkı SMD = 0,05 ise iki grup bu açıdan benzerdir. Aile gelirinde SMD = 0,30 kalmışsa gelir hâlâ dengesizdir ve eğilim skoru modeli ya da eşleştirme iyileştirilmelidir.
Ne işe yarar: |SMD| bu eşiği aşan değişkenler işaretlenir ve dengesiz sayısına girer.
Sonuca etkisi: Yalnız metin değişir; sayısal sonuçlar aynıdır.
Doğrulama verisinde: Eşik 0.05 iken age, nodegree ve re74 de işaretlenir; 0.5 iken educ ve race düzeylerinin işareti kalkar.
Gerçek veride örnek
Veri: LaLonde 1986, R MatchIt
Değişkenler: tedavi treat (iş eğitimi programı), sonuç re78 (1978 kazancı), ortak değişkenler yaş, eğitim, ırk, medeni durum, diploma ve 1974-1975 kazançları
- Soru: İş eğitimi programına katılım (treat), gözlenen ortak değişkenler dengelendiğinde 1978 kazancını (re78) değiştiriyor mu (tedavi grubundaki etki, ATT)?
- Varsayım: Katılım olasılığı ırk (hispan b = -2.08, white b = -3.07), eğitim (b = 0.16), medeni durum (b = -0.83), diploma (b = 0.71) ve 1974 kazancıyla anlamlı ilişkilidir. 1:1 değiştirmesiz en yakın komşu eşleştirmeyle 185 tedavi birimi 185 kontrolle eşleşti; en büyük |SMD| 0.72'den 0.37'ye indi, ancak 9 terimden 4'ü hâlâ |SMD| >= 0.1 ile dengesizdir. Nedensel yorum gözlenmeyen karıştırıcı olmadığı varsayımına dayanır.
- Sonuç: ATT = 894.37 dolar (SE = 705.23, eşleşme kümelerine göre kümelenmiş), t(368) = 1.27, p = .206, %95 GA [-492.42, 2281.15]; program etkisi istatistiksel olarak anlamlı değildir.
- Etki büyüklüğü: Kalan dengesizlik nedeniyle eğilim skoru modeline etkileşim ya da kare terimler eklemek, kaliper kullanmak veya IPW denemek önerilir.
- APA: Eğilim skoru eşleştirme (1:1, değiştirmesiz; tedavi n = 185, kontrol n = 185); ATT = 894.37, SE = 705.23, %95 GA [-492.42, 2281.15], t(368) = 1.27, p = .206.
İlgili kavramlar
Eğilim skoru eşleştirmesi (en yakın komşu, kaliper)Ters olasılık ağırlıklandırması (IPW)Eğilim skoru alt sınıflaması (tabakalama)Ortalama tedavi etkisi (ATE, ATT, ATC)Standartlaştırılmış ortalama farkı (SMD) ve dengeÇift sağlam (doubly robust) kestirimKatlanmış F testi (varyans oranı)Sağlam (sandviç) standart hatalar (HC0-HC3)
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.