İstatistik Sözlüğü → Farkların Farkı
Farkların Farkıanaliz
Bir müdahaleye maruz kalan grupla kalmayan grubun sonuçlarındaki önce-sonra değişimlerini karşılaştırarak, müdahalenin nedensel etkisini kestiren yöntem.
Kavram
Bir politikanın etkisini yalnız önce-sonra karşılaştırmasıyla ölçmek yanıltıcıdır, çünkü sonuç aynı dönemde başka nedenlerle de (ekonomik koşullar, mevsim, genel eğilimler) değişmiş olabilir. Yalnız müdahale gören ve görmeyen grupları karşılaştırmak da yanıltıcıdır, çünkü gruplar baştan farklı olabilir. Farkların farkı (DiD) iki karşılaştırmayı birleştirir: müdahale grubundaki değişimden, kontrol grubundaki değişimi çıkarır.
En basit 2×2 tasarımda etki şöyle hesaplanır: DiD = (Ȳ müdahale, sonra − Ȳ müdahale, önce) − (Ȳ kontrol, sonra − Ȳ kontrol, önce). Kontrol grubundaki değişim, müdahale olmasaydı müdahale grubunda ne olacağının tahmini olarak kullanılır. Aynı sonuç, grup, dönem ve grup × dönem etkileşimini içeren bir regresyonla da elde edilir; etkileşimin katsayısı DiD tahminidir. Çok dönemli verilerde birim ve zaman sabit etkili (TWFE) model kullanılır; olay çalışması ise etkiyi müdahaleden önceki ve sonraki her dönem için ayrı ayrı kestirir.
Yöntemin temel varsayımı paralel eğilimlerdir: müdahale olmasaydı iki grubun sonuçları zaman içinde paralel seyrederdi. Bu varsayım doğrudan sınanamaz, ama müdahaleden önceki dönemlerde grupların eğilimlerinin benzer olup olmadığına bakılarak (öncül eğilim testi) desteklenebilir. Aynı birimin dönemler boyunca ölçümleri ilişkili olduğundan standart hatalar birime göre kümelenmelidir; küme sayısı azsa bu standart hatalar da güvenilirliğini yitirir. Birimler müdahaleyi farklı zamanlarda alıyorsa (kademeli uygulama) klasik TWFE tahmini yanlı olabilir.
Ne zaman kullanılır?
- Bir politika, program ya da olay bazı birimleri etkileyip bazılarını etkilememişse ve her iki grup için müdahaleden önce ve sonra ölçüm varsa (asgari ücret artışı, yeni bir yasa, bir bölgede uygulanan çevre düzenlemesi).
- Müdahale öncesi ölçüm yoksa ama gruplar gözlenen özelliklerle dengelenebiliyorsa eğilim skoru yöntemleri; müdahale alma durumunu etkileyen geçerli bir araç değişken varsa araç değişkenli regresyon kullanılabilir.
- Müdahale grubu tek bir birimse ve uygun tek bir kontrol bulunamıyorsa sentetik kontrol yöntemi; birimler rastgele atanabiliyorsa randomize deney tercih edilir.
Gündelik bir örnek
Bir ilçe belediyesi Ocak ayında ana caddelerde hız sınırını 50'den 30 km/s'ye indiriyor; komşu ilçeler sınırı değiştirmiyor. Uygulamanın ilçesinde aylık ortalama kaza sayısı 40'tan 30'a, komşu ilçelerde ise kış koşulları nedeniyle 38'den 36'ya düşüyor. Yalnız önce-sonra bakılsa etki 10 kaza sanılırdı; oysa kazalar komşularda da 2 azalmıştır. Farkların farkı etkiyi (30 − 40) − (36 − 38) = −8 kaza olarak verir. Bu sonuç, hız sınırı değişmeseydi iki ilçedeki kazaların benzer biçimde değişeceği varsayımına dayanır; önceki yıllarda eğilimlerin paralel olup olmadığı ayrıca kontrol edilmelidir.
MerQur'da parametreler
Ortak değişkenler
Kavram: Sonucu etkileyen ve gruplar arasında ya da zaman içinde farklılaşabilen ek değişkenleri modele katar. Paralel eğilim varsayımının ancak bu değişkenler hesaba katıldığında makul olduğu durumlarda işe yarar; müdahaleden etkilenen değişkenler ortak değişken olarak eklenmemelidir.
Gündelik örnek: İki ilçede trafik yoğunluğu farklı hızlarda artıyorsa aylık araç sayısı ortak değişken olarak eklenir. Hız sınırının kendisinin değiştirdiği bir değişken, örneğin ortalama araç hızı, eklenirse etkinin bir kısmı yanlışlıkla ayıklanır.
Ne işe yarar: Modele ortak değişken ekler.
Sonuca etkisi: DiD tahmini ve SE değişebilir.
Doğrulama verisinde: kielmc log fiyat DiD -0.0627 -> ortak değişkenlerle -0.1315; base_did 2x2 4.993 -> x1 eklenince 4.850.
Birim kimliği
Kavram: Aynı birimin farklı dönemlerdeki gözlemlerini birbirine bağlar. Kümelenmiş standart hatalar ve birim sabit etkileri bu bilgiye dayanır; birim belirtilmezse yalnız basit 2×2 karşılaştırma yapılabilir.
Gündelik örnek: Veri her ilçenin aylık kaza sayılarından oluşuyorsa birim kimliği ilçedir. Böylece model aynı ilçenin ardışık aylarının birbirine benzediğini hesaba katar.
Ne işe yarar: Aynı birimin dönemler boyunca gözlemlerini bağlar: kümelenmiş SE'nin kümesi ve TWFE ile olay çalışmasındaki birim sabit etkileri.
Sonuca etkisi: "Yok" ise yalnız 2x2 kurulabilir ve SE HC1 olur; TWFE birim yokken hata verir ("birim kimliği gerekli").
Doğrulama verisinde: Card-Krueger 2x2 (DiD 2.7536): mağazaya göre kümelenmiş SE 1.3066 (t(409)); birim yoksa HC1 SE 1.7955 (t(790)).
Sonra (post) göstergesi ve Müdahale başlangıç dönemi
Kavram: Hangi gözlemlerin müdahale sonrasına ait olduğunu tanımlar; bu tanım, önce ve sonra dönemlerini ve olay çalışmasındaki göreli dönemleri belirler.
Gündelik örnek: Hız sınırı Ocak 2024'te değiştiyse Ocak 2024 ve sonrası 'sonra', önceki aylar 'önce' sayılır. Başlangıç yanlış ay olarak girilirse etkinin bir kısmı yanlış döneme yazılır ve tahmin bozulur.
Ne işe yarar: Müdahale sonrası dönemleri işaretler. Post sütunu yoksa başlangıç döneminden türetilir (zaman >= başlangıç); başlangıç "otomatik" ise post'un ilk 1 olduğu dönemdir. İki dönemli veride "zaman sütunu: ikinci dönem = sonra" seçeneği kullanılabilir.
Sonuca etkisi: Göreli dönemleri, öncül eğilim testini ve ortalama sonra etkisini değiştirir. Başlangıç dönemi ile post göstergesi çelişirse uyarı verilir.
Doğrulama verisinde: kielmc: post = y81 ile başlangıç = 1981 aynı sonucu verir (-11863.90). base_did: başlangıç 8 seçilirse (post 6'da başlıyor) ortalama sonra etkisi 3.907 -> 1.451, öncül F 0.94 -> 7.55.
Model (Klasik 2x2 (grup × dönem) / İki yönlü sabit etkiler (TWFE) / Olay çalışması (TWFE))
Kavram: Etkinin hangi modelle kestirileceğini belirler. Klasik 2×2 iki grup ve iki dönemle çalışır; TWFE birimler ve dönemler için sabit etkiler kullanarak çok dönemli veriye genişletir; olay çalışması etkiyi her göreli dönem için ayrı kestirir ve müdahale öncesi katsayılarla paralel eğilim varsayımını sınar.
Gündelik örnek: Olay çalışması, hız sınırı değişmeden önceki aylarda iki ilçe arasında fark olmadığını, değişiklikten sonra ise farkın ay ay nasıl açıldığını gösterir. Müdahale öncesinde de belirgin farklar varsa paralel eğilim varsayımı sorgulanır.
Ne işe yarar: 2x2 (y ~ G + P + G·P); TWFE (birim ve zaman sabit etkileri, D = G·P); olay çalışması (göreli dönem x G kuklaları, temel göreli dönem dışarıda; öncül eğilim ortak F testi ve sonra katsayılarının eşit ağırlıklı ortalaması).
Sonuca etkisi: Tahmin edilen etki, SE ve öncül eğilim testi değişir. Kademeli uygulamada TWFE yanlı olabilir; MerQur "kademeli uygulama" uyarısı verir.
Doğrulama verisinde: organ bağışı: 2x2 -0.02246 (SE 0.00607); TWFE -0.02246 (0.00613); olay ortalaması -0.02134 (0.00565); öncül F(2, 26) = 4.117, p = 0.028. hospdd TWFE 0.84799.
Birime göre kümelenmiş SE
Kavram: Aynı birimin dönemler boyunca hatalarının ilişkili olmasına izin veren standart hatadır. DiD çalışmalarında bu ilişki yok sayılırsa standart hatalar küçük çıkar; ama küme sayısı azsa kümelenmiş standart hatalar da güvenilirliğini yitirir.
Gündelik örnek: Bir ilçede bir ay beklenenden fazla kaza olması, sonraki ayın da yüksek olmasıyla ilişkili olabilir. İlçeye göre kümelenmiş standart hata bunu hesaba katar; yalnız 5 ilçe varsa sonuç temkinle yorumlanmalıdır.
Ne işe yarar: Birime göre kümelenmiş SE (G/(G - 1)·(n - 1)/(n - K), K kümeye yuvalanmış birim etkilerini saymaz; t(G - 1)); kapalıysa HC1 (t(n - K)).
Sonuca etkisi: Yalnız SE, test ve GA değişir. G < 30 ise "küme sayısı az" uyarısı yazılır.
Doğrulama verisinde: Card-Krueger 2x2 SE 1.3066 (kümeli) ve 1.7955 (HC1). 27 eyalette "küme sayısı az (G = 27)" uyarısı.
Referans göreli dönem
Kavram: Olay çalışmasında katsayısı sıfıra sabitlenen ve diğer dönemlerin karşılaştırıldığı göreli dönemdir; genellikle müdahaleden hemen önceki dönem seçilir.
Gündelik örnek: Referans dönem Aralık 2023 (müdahaleden bir ay önce) seçilirse her ayın katsayısı 'Aralık'a göre iki ilçe arasındaki fark ne kadar değişti?' sorusunu yanıtlar.
Ne işe yarar: Olay çalışmasında katsayısı 0'a sabitlenen dönem; öncül eğilim testi bundan önceki dönemleri içerir.
Sonuca etkisi: Olay katsayıları, ortalama sonra etkisi ve öncül eğilim testi değişir; veride olmayan dönem hata verir.
Doğrulama verisinde: organ bağışı: ref -1: ortalama -0.02134, öncül F(2, 26) = 4.12; ref -2: -0.02764, F(1, 26) = 2.86; ref -3: -0.01840, öncül test yok.
Güven Düzeyi
Kavram: Müdahale etkisi için verilen aralığın güven düzeyini belirler; güven düzeyi arttıkça aralık genişler.
Gündelik örnek: Hız sınırının etkisi %95 güvenle ayda 3 ile 13 kaza azalma arasında bulunabilir. Aralık sıfırı içerseydi etkinin varlığından emin olunamazdı.
Ne işe yarar: Aralık düzeyi; kritik değer t(G - 1).
Sonuca etkisi: Yalnız aralık sınırları değişir.
Doğrulama verisinde: organ bağışı TWFE: %90 [-0.03292, -0.01200]; %95 [-0.03506, -0.00986]; %99 [-0.03950, -0.00542].
Gerçek veride örnek
Veri: Kessler & Roth 2014, R causaldata
Değişkenler: sonuç Rate (organ bağışı kayıt oranı), tedavi grubu ca (Kaliforniya), zaman Quarter_Num (çeyrek), birim State (eyalet), sonra göstergesi after
- Soru: Kaliforniya'nın 2011 3. çeyrekte başlattığı organ bağışı kayıt politikası, diğer eyaletlere göre kayıt oranını (Rate) değiştirdi mi?
- Varsayım: Sonuç paralel eğilimler varsayımına dayanır; olay çalışması modeliyle öncül eğilim sınanmalıdır. Küme sayısı azdır (G = 27); kümelenmiş SE güvenilirliği sınırlıdır ve tedavi grubunda tek eyalet vardır.
- Sonuç: Kaliforniya'da ortalama oran 0.2713'ten 0.2628'e indi (-0.0085), kontrol eyaletlerinde 0.4449'dan 0.4589'a çıktı (+0.0139). Klasik 2x2 DiD tahmini b = -0.0225 (eyalete göre kümelenmiş SE = 0.0061), t(26) = -3.70, p = .001, %95 GA [-0.0349, -0.0100]; politika kayıt oranını yaklaşık 2.2 puan düşürmüştür.
- Etki büyüklüğü: R² = .054; eyaletler arası taban farkı (tedavi b = -0.174) çok büyük olduğundan modelin açıkladığı varyans düşüktür, ancak DiD etkisi kesin tahmin edilmiştir.
- APA: Klasik 2x2 farkların farkı (N = 162, 27 eyalet); DiD = -0.022, SE = 0.006, %95 GA [-0.035, -0.010], t(26) = -3.70, p = .001.
İlgili kavramlar
Olay çalışması (event study) tasarımıİki yönlü sabit etkiler (TWFE)Paralel eğilimler varsayımıKüme-sağlam (kümelenmiş) standart hatalarSabit ve rastgele etkilerKovaryat (ortak değişken)Sağlam (sandviç) standart hatalar (HC0-HC3)
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.