MerQuR+İstatistik Sözlüğü

İstatistik Sözlüğü → Doğrusal Olmayan Regresyon

Doğrusal Olmayan Regresyonanaliz

Bağımlı değişken ile açıklayıcı arasındaki ilişkiyi, parametreleri doğrusal olmayan biçimde içeren ve çoğu zaman kuramdan gelen bir fonksiyonla (üstel, lojistik, Michaelis-Menten gibi) modelleyip bu parametreleri en küçük karelerle kestiren regresyon.

Kavram

Bazı ilişkilerin biçimi kuramdan bilinir: sıcak bir içecek oda sıcaklığına üstel olarak yaklaşır, bir popülasyon önce hızla büyüyüp sonra taşıma kapasitesinde durur, bir enzimin hızı substrat arttıkça bir üst sınıra yaklaşır. Bu fonksiyonların parametreleri doğrudan anlam taşır (üst sınır, yarı ömür, büyüme hızı), ama parametreler denklemde doğrusal olmayan biçimde yer aldığı için sıradan doğrusal regresyonla kestirilemez. Doğrusal olmayan regresyon bu tür modelleri veriye doğrudan uydurur.

Yöntem, gözlenen değerlerle modelin tahminleri arasındaki farkların karelerinin toplamını en küçük yapan parametreleri arar: Σ (yᵢ − f(xᵢ; θ))². Doğrusal regresyondan farklı olarak bu en küçük değerin kapalı bir formülü yoktur; çözüm, başlangıç değerlerinden yola çıkıp parametreleri adım adım iyileştiren iteratif algoritmalarla bulunur. Örneğin Michaelis-Menten modelinde hız = Vmax · x / (Km + x) yazılır; Vmax ulaşılabilecek en yüksek hızı, Km hızın bunun yarısına ulaştığı substrat derişimini gösterir.

Kötü başlangıç değerleri algoritmanın yakınsamamasına ya da yanlış bir yerel çözüme takılmasına yol açabilir; bu yüzden başlangıçların veriden ya da kuramdan makul seçilmesi önemlidir. Standart hatalar ve güven aralıkları yaklaşıktır ve küçük örneklemlerde ya da güçlü eğrilikte yanıltıcı olabilir; bootstrap bu durumda bir kontrol sağlar. Artıkların rastgele dağılıp dağılmadığına bakmak, seçilen fonksiyon biçiminin uygun olup olmadığını gösterir; farklı biçimler AIC gibi ölçütlerle karşılaştırılabilir.

Ne zaman kullanılır?

  • İlişkinin biçimi kuramdan ya da önceki çalışmalardan biliniyorsa ve parametrelerin kendisi (üst sınır, hız sabiti, yarı ömür) yorumlanmak isteniyorsa: büyüme eğrileri, enzim kinetiği, doz-yanıt, bozunma süreçleri.
  • İlişki eğrisel ama biçimi bilinmiyorsa genelleştirilmiş toplamsal model (GAM) ya da polinom regresyon daha esnek bir seçenektir.
  • Model bir dönüşümle doğrusal hâle getirilebiliyorsa (ör. kuvvet ilişkisinde iki tarafın logaritması) doğrusal regresyon da kullanılabilir; ancak bu, hata yapısını değiştirdiği için sonuçlar doğrudan uydurmayla aynı olmayabilir.

Gündelik bir örnek

Bir kafede, servis edilen kahvenin ne kadar sürede içilebilir sıcaklığa düştüğü merak ediliyor. Fincandaki sıcaklık her iki dakikada bir ölçülüyor: 85 °C ile başlıyor, önce hızla sonra giderek yavaşlayarak düşüyor ve 22 °C'lik oda sıcaklığına yaklaşıyor. Üstel azalma modeli, sıcaklık = c + a · e^(−b·t), bu veriye uydurulduğunda c oda sıcaklığını, a başlangıçtaki sıcaklık farkını, b de soğuma hızını verir. Bu parametrelerle kahvenin 60 °C'ye kaç dakikada düşeceği hesaplanabilir.

MerQur'da parametreler

Fonksiyon formu (Üstel azalma, Üstel büyüme, Lojistik, Gompertz, Michaelis-Menten, Weibull CDF, Power, Özel formül)

Kavram: Fonksiyon formu, ilişkinin hangi matematiksel biçimi izlediğine dair varsayımdır. Her hazır form belirli bir süreci anlatır: üstel azalma bir değere yaklaşan bozunmayı, lojistik ve Gompertz bir üst sınırda duran S biçimli büyümeyi, Michaelis-Menten doyuma ulaşan hızı, kuvvet fonksiyonu ölçekle orantılı ilişkileri. Form, verinin görünüşünden çok sürecin kuramından seçilmelidir.

Gündelik örnek: Kahvenin soğuması bir sıcaklığa (oda sıcaklığına) yaklaşan bir bozunma olduğu için üstel azalma formu doğal seçimdir. Aynı kafedeki günlük müşteri sayısının açılıştan sonraki aylarda nasıl arttığı soruluyorsa, belli bir doyum düzeyinde duran lojistik form daha uygundur.

Ne işe yarar: Hazır modeli seçer: üstel azalma a e^(-bx) + c, üstel a e^(bx), lojistik K/(1 + e^(-r(x - x0))), Gompertz a e^(-b e^(-cx)), Michaelis-Menten Vmax x/(Km + x), Weibull CDF 1 - e^(-(x/a)^b), kuvvet a x^b; "Özel formül" serbest ifadeyi kullanır. Başlangıç değerleri veriden türetilir.

Sonuca etkisi: Parametreler, SE ve uyum.

Doğrulama verisinde: Puromycin Michaelis-Menten: Vmax 212.684 (SE 6.947), Km 0.06412 (0.00828). DNase1 lojistik K 2.34518; trees power a 0.08661, b 2.23639. uspop üstel b 0.016089.

→ Doğrusal olmayan en küçük kareler ve başlangıç değerleri

Model formülü ve Başlangıç değerleri

Kavram: Özel formül, hazır formların dışında kalan herhangi bir modeli yazmayı sağlar. Doğrusal olmayan kestirim iteratif olduğundan algoritmaya bir başlangıç noktası vermek gerekir; başlangıç değerleri gerçek çözüme ne kadar yakınsa algoritma o kadar kolay ve güvenilir yakınsar.

Gündelik örnek: Kahve modelinde başlangıç değerleri veriden kolayca tahmin edilir: c için oda sıcaklığı olan 22, a için başlangıç farkı olan 85 − 22 = 63, b için de küçük bir değer, örneğin 0,1. Bu makul başlangıçlarla algoritma birkaç adımda çözüme ulaşır; c = 0 gibi bir başlangıç ise algoritmayı yanlış yöne sürükleyebilir.

Ne işe yarar: Serbest model ifadesi (parametre dışındaki adlar veri sütunlarıdır) ve parametre başlangıçları ('a=10, b=0.1'). Zor modellerde iyi başlangıç şarttır (Bates ve Watts, 1988). Çözücü karmaşık adım Jacobian'ı, LM'den TRF'ye geçişi ve Bates-Watts göreli ofset yakınsama ölçütünü kullanır; yakınsamazsa tablo "YAKINSAMADI" başlıklı olur ve SE, GA ve p boş bırakılır.

Sonuca etkisi: Çözüm ve yakınsama.

Doğrulama verisinde: NIST 27 veri x 2 başlangıçta MerQur'un en düşük LRE medyanı 9.2. MGH17 ve BoxBOD'un birinci başlangıçları sertifika değerlerine yakınsar (BoxBOD b1 213.809, RSS 1168.009). Puromycin için "Vmax=200, Km=0.05" sonucu değiştirmez.

→ Doğrusal olmayan en küçük kareler ve başlangıç değerleri

Güven Düzeyi (%90, %95, %99, özel)

Kavram: Parametrelerin güven aralıklarının gerçek değeri ne kadar güvenceyle kapsayacağını belirler. Doğrusal olmayan modellerde bu aralıklar yaklaşıktır ve düzey yükseldikçe genişler.

Gündelik örnek: Soğuma hızı b = 0,08 bulunduysa %95 güvenle gerçek hızın örneğin 0,07 ile 0,09 arasında olduğu söylenir; %99 güven istenirse aralık genişler.

Ne işe yarar: Wald-t güven aralığı düzeyini belirler (t(n - p)).

Sonuca etkisi: Yalnız aralıklar.

Doğrulama verisinde: Puromycin Vmax alt sınırı: %90 200.092; %95 197.205; %99 190.666.

→ Güven düzeyi ve güven aralığı

Parametre sınırları

Kavram: Parametre sınırları, kuramsal olarak anlamsız değerleri (ör. negatif hız ya da negatif üst sınır) dışarıda bırakmak için kestirimin aranacağı aralığı kısıtlar. Çözüm sınırın içindeyse sonuç sınırsız kestirimle aynıdır; çözüm sınıra dayanıyorsa bu, model ya da verinin gözden geçirilmesi gerektiğinin işareti olabilir.

Gündelik örnek: Soğuma hızı b negatif çıkarsa kahve kendiliğinden ısınıyor demektir; bu fiziksel olarak anlamsızdır. b için alt sınırı 0 koymak, gürültülü az sayıda ölçümde bile algoritmanın böyle bir çözüme kaymasını önler.

Ne işe yarar: 'a=0:100, b=0:' biçiminde alt:üst sınır verir (boş taraf sınırsız); sınır verilirse güven bölgeli yansıtıcı (TRF) algoritma kullanılır.

Sonuca etkisi: Sınır etkin değilse sonuç sınırsızla aynıdır; etkinse parametre sınırda kalır.

Doğrulama verisinde: "Vmax=0:500, Km=0:" (etkin değil) sınırsızla aynı. "Vmax=0:200" (etkin): Vmax = 200, Km 0.0528, RSS 1593.87; SE tam (J'J)^-1'den hesaplanır.

→ Doğrusal olmayan en küçük kareler ve başlangıç değerleri

Ağırlık (WLS)

Kavram: Ağırlıklı en küçük kareler, her gözlemin hata karesine bir ağırlık vererek bazı gözlemlerin uyumu daha fazla etkilemesini sağlar. Ölçümlerin kesinliği eşit değilse, daha kesin ölçümlere daha büyük ağırlık (genellikle varyansın tersi) verilir.

Gündelik örnek: Termometre yüksek sıcaklıklarda daha az kesin ölçüyorsa, ilk dakikalardaki ölçümlere daha küçük, oda sıcaklığına yakın ölçümlere daha büyük ağırlık verilir. Böylece model güvenilir ölçümlere daha sıkı uyar.

Ne işe yarar: Pozitif ağırlık sütunuyla toplam w r^2'yi en küçükler (ağırlıklı en küçük kareler).

Sonuca etkisi: Parametreler ve SE.

Doğrulama verisinde: trees power, ağırlık Height: a 0.08947, b 2.2259 (ağırlıksız 0.08661 ve 2.23639); codling Weibull, ağırlık tot: a 19.046.

→ Ağırlıklı en küçük kareler (WLS)

Ek çıktı: ANOVA + korelasyonlar + yineleme

Kavram: ANOVA tablosu, modelin açıkladığı ve açıklayamadığı değişkenliği karşılaştırır. Parametre korelasyonları, iki parametrenin kestiriminin birbirine ne kadar bağlı olduğunu gösterir; çok yüksek korelasyon, verinin bu parametreleri birbirinden ayırmakta zorlandığını işaret eder. Yineleme geçmişi algoritmanın çözüme nasıl yaklaştığını gösterir.

Gündelik örnek: Ölçüm yalnız ilk 6 dakika yapıldıysa, kahvenin henüz oda sıcaklığına yaklaşmadığı bu kısa sürede c ile a arasında güçlü bir korelasyon çıkabilir: veri, oda sıcaklığı ile başlangıç farkını birbirinden iyi ayıramaz. Ölçümü 40 dakikaya uzatmak bu sorunu giderir.

Ne işe yarar: Düzeltilmemiş toplam kareye dayalı ANOVA tablosunu (regresyon = düzeltilmemiş toplam kareler - artık kareler), parametre korelasyonlarını, Bates-Watts yakınsama ölçütünü ve yineleme geçmişini verir.

Sonuca etkisi: Yalnız ek tablo.

Doğrulama verisinde: Puromycin regresyon SS 270213.55, artık SS 1195.449, düzeltilmemiş toplam 271409, düzeltilmiş toplam 30858.917; Vmax-Km korelasyonu 0.7651.

→ Varyans analizi (ANOVA) tablosu

Ek çıktı: AIC/BIC + form karşılaştırması

Kavram: AIC ve BIC, uyumu parametre sayısıyla dengeleyen bilgi ölçütleridir; daha küçük değer daha iyi modeldir. Aynı veriye farklı fonksiyon formları uydurulup bu ölçütlerle karşılaştırılarak hangi biçimin veriyi daha iyi anlattığı görülebilir.

Gündelik örnek: Kahve verisine hem üstel azalma hem kuvvet fonksiyonu uydurulduğunda üstel modelin AIC'si belirgin biçimde küçük çıkarsa, soğumanın üstel bir süreç olduğu fikri veriyle de desteklenmiş olur.

Ne işe yarar: Log-olabilirlik, AIC ve BIC (k = p + 1) ile tüm hazır formların AIC tablosunu verir.

Sonuca etkisi: Yalnız ek tablo.

Doğrulama verisinde: Puromycin log-olabilirlik -44.6355, AIC 95.271, BIC 96.726.

→ Bilgi ölçütleri (AIC, AICc, BIC)

Ek çıktı: Bootstrap SE (B = 999)

Kavram: Bootstrap, modelin artıklarını yeniden örnekleyerek çok sayıda yapay veri seti üretir, modeli her birinde yeniden uydurur ve parametrelerin bu uydurmalardaki dağılımından standart hata ve güven aralığı türetir. Formül tabanlı yaklaşık aralıkların küçük örneklemde güvenilir olup olmadığını denetlemeye yarar.

Gündelik örnek: Yalnız 12 sıcaklık ölçümü varken soğuma hızının formülle bulunan aralığı fazla dar olabilir. Bootstrap aralığı benzer çıkarsa sonuç güvenilirdir; çok daha geniş çıkarsa daha fazla ölçüm gerektiği anlaşılır.

Ne işe yarar: Merkezlenmiş artıklarla 999 yeniden örnekleme (tohum 20240601) yapar; SE ve yüzdelik güven aralığı verir.

Sonuca etkisi: Yalnız ek tablo.

Doğrulama verisinde: Puromycin Vmax bootstrap SE 6.264 (asimptotik 6.947); bootstrap SE tohuma bağlı Monte Carlo payı taşır.

→ Bootstrap (yeniden örnekleme)

Ek grafik: Güven/tahmin bandı ve Artık grafikleri

Kavram: Güven bandı, belirli bir x değerinde ortalama eğrinin nerede olabileceğini; tahmin bandı ise tek bir yeni gözlemin nereye düşebileceğini gösterir. Tahmin bandı, bireysel ölçümlerin rastgele saçılmasını da içerdiği için her zaman daha geniştir. Artık grafikleri, modelin sistematik bir sapma bırakıp bırakmadığını gösterir.

Gündelik örnek: 10. dakikada ortalama kahve sıcaklığı için güven bandı 49-52 °C olabilir; ama bir sonraki fincan için tahmin bandı 46-55 °C'dir, çünkü her fincanın başlangıç sıcaklığı ve doluluğu biraz farklıdır. Artıklar ilk dakikalarda hep pozitifse model bu kısmı iyi anlatmıyordur.

Ne işe yarar: x kantillerinde delta yöntemiyle güven ve tahmin bantlarını çizer; artık grafikleri çizer.

Sonuca etkisi: Bantlar delta yöntemiyle hesaplanır; artık grafikleri yalnız grafiktir.

Doğrulama verisinde: Sayısal çıktı değişmez.

→ Tahmin (öngörü) aralığı

Gerçek veride örnek

Veri: Treloar 1974 Puromycin (işlem görmüş), R datasets

Değişkenler: X conc (substrat derişimi), Y rate (tepkime hızı), fonksiyon formu Michaelis-Menten

  • Soru: Puromisin uygulanmış enzimde tepkime hızı (rate) substrat derişimine (conc) Michaelis-Menten ilişkisiyle bağlı mı; Vmax ve Km değerleri nedir?
  • Model: rate = Vmax·conc / (Km + conc), doğrusal olmayan en küçük kareler; N = 12, 2 parametre.
  • Sonuç: Vmax = 212.68 (SE = 6.95), %95 GA [197.21, 228.16], t = 30.61, p < .001; Km = 0.0641 (SE = 0.0083), %95 GA [0.0457, 0.0826], t = 7.74, p < .001.
  • Model uyumu: R² = .961, RMSE = 9.98; model veriyi çok iyi açıklar.
  • Yorum: Enzimin ulaşabileceği en yüksek hız yaklaşık 213 birimdir; hızın bunun yarısına ulaştığı substrat derişimi yaklaşık 0.064'tür.
  • APA: Michaelis-Menten modeli: Vmax = 212.68, SE = 6.95, 95% CI [197.21, 228.16]; Km = 0.064, SE = 0.008, 95% CI [0.046, 0.083]; R² = .96.

İlgili kavramlar

Varyans analizi (ANOVA) tablosuBootstrap (yeniden örnekleme)Doğrusal olmayan en küçük kareler ve başlangıç değerleriAğırlıklı en küçük kareler (WLS)Tahmin (öngörü) aralığıBilgi ölçütleri (AIC, AICc, BIC)Regresyon katsayısı (B) ve parametre tahminleriEn küçük kareler (OLS) yöntemi

Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.