İstatistik Sözlüğü → Kısmi En Küçük Kareler Regresyonu
Kısmi En Küçük Kareler Regresyonuanaliz
Çok sayıda ve birbiriyle güçlü biçimde ilişkili yordayıcıyı, yanıtla en çok ilişkili az sayıda gizil bileşene indirip yanıtı bu bileşenlerle modelleyen regresyon yöntemi.
Kavram
Bir spektrometre tek bir örnek için yüzlerce dalga boyunda ölçüm üretir; komşu dalga boylarındaki ölçümler neredeyse aynı bilgiyi taşır. Böyle bir veride yordayıcı sayısı gözlem sayısını çoğu zaman aşar ve yordayıcılar birbirine son derece bağlıdır; sıradan en küçük kareler ya hiç kurulamaz ya da tamamen kararsız katsayılar verir. Kısmi en küçük kareler (PLS) regresyonu bu bilgiyi az sayıda özet değişkende, yani gizil bileşende toplar ve yanıtı bu bileşenlerle tahmin eder.
Temel bileşenler analizi de yordayıcıları özetler, ama bunu yalnız yordayıcıların kendi değişkenliğine bakarak yapar; bulduğu bileşenler yanıtla ilgisiz olabilir. PLS ise bileşenleri, hem yordayıcılardaki değişkenliği yakalayacak hem de yanıtla kovaryansı en büyük olacak biçimde seçer. Birinci bileşen bu ölçütü en çok sağlayan doğrultudur; ikinci bileşen birincinin açıklayamadığı kısımdan aynı yolla çıkarılır ve bu böyle sürer. Son model, her yordayıcıya bir katsayı veren sıradan bir regresyon denklemi biçiminde de yazılabilir.
En kritik karar bileşen sayısıdır: çok az bileşen bilgiyi kaçırır, çok fazla bileşen gürültüyü de modele katar ve aşırı uyuma yol açar. Bu sayı, modelin kurulurken kullanılmayan verideki tahmin hatasına (RMSECV) ya da Q² değerine bakılarak çapraz doğrulamayla seçilir. Hangi yordayıcıların önemli olduğu VIP puanlarıyla değerlendirilir; VIP > 1 olan yordayıcılar genellikle önemli kabul edilir. Model, yordayıcıların ölçüldüğü koşullara bağlıdır; farklı bir cihaz ya da örnek türüyle kullanılmadan önce yeniden doğrulanmalıdır.
Ne zaman kullanılır?
- Yordayıcılar çok sayıda ve birbiriyle güçlü biçimde ilişkiliyse, özellikle yordayıcı sayısı gözlem sayısını aştığında: spektroskopi, kemometri, gıda ve tarım ürünlerinin hızlı kalite analizi, sensör verileri.
- Yordayıcı sayısı az ve aralarındaki ilişki ılımlıysa sıradan çoklu regresyon; değişken seçimi de isteniyorsa LASSO ya da ElasticNet daha uygundur.
- Amaç yanıtı tahmin etmek değil yalnız yordayıcıların yapısını özetlemekse temel bileşenler analizi kullanılır.
Gündelik bir örnek
Bir elma paketleme tesisi, her elmayı kesmeden şeker içeriğini bilmek istiyor. Banttan geçen elmalara yakın kızılötesi ışık tutuluyor ve 300 farklı dalga boyunda yansıma ölçülüyor; ama yalnız 80 elmanın şeker içeriği laboratuvarda gerçekten ölçülmüş. 300 yordayıcı ile 80 gözlemden sıradan regresyon kurulamaz. PLS bu spektrumu örneğin beş gizil bileşende özetler ve şeker içeriğini bu bileşenlerle tahmin eder. Model çapraz doğrulamada iyi sonuç verirse tesis, laboratuvara göndermeden her elmayı saniyeler içinde sınıflandırabilir.
MerQur'da parametreler
Prediktörler (X) ve Hedef (Y)
Kavram: Yordayıcılar, yanıtı tahmin etmek için kullanılan çok sayıdaki ölçümdür; yanıt tahmin edilmek istenen değişkendir. Yordayıcılar farklı ölçeklerde olabileceğinden genellikle standartlaştırılır, böylece büyük sayılarla ölçülen değişkenler bileşenlere baskın çıkmaz.
Gündelik örnek: 300 dalga boyundaki yansıma değerleri yordayıcı, laboratuvarda ölçülen şeker içeriği yanıttır. Standartlaştırma, yansımanın genel olarak yüksek olduğu dalga boylarının yalnız bu nedenle daha önemli görünmesini önler.
Ne işe yarar: Yordayıcı ve yanıt değişkenlerini seçer (tek yanıtlı PLS1); X ve Y standartlaştırılır, katsayılar özgün ölçeğe çevrilir.
Sonuca etkisi: Tüm çıktılar.
Doğrulama verisinde: gasoline eğitim R2: 1 bileşen 0.3159, 2 bileşen 0.7929, 5 bileşen 0.9891, 10 bileşen 0.9957, 20 bileşen 0.9999.
Bileşen sayısı
Kavram: Bileşen sayısı, modelin yordayıcılardaki bilgiyi kaç gizil değişkende özetleyeceğini belirler. Her yeni bileşen eğitim verisindeki uyumu artırır, ama bir noktadan sonra yalnız gürültüyü öğrenir ve yeni veride tahmini kötüleştirir.
Gündelik örnek: İki bileşenli model şeker içeriğinin ana desenini yakalıyor olabilir; beş bileşenle tahmin belirgin biçimde iyileşir; on beş bileşenle ise model laboratuvardaki 80 elmaya mükemmel uyar ama yeni elmalarda daha kötü tahmin yapar.
Ne işe yarar: Modelde tutulan gizli bileşen sayısını belirler; çapraz doğrulamayla seçilmelidir (RMSECV en küçük ya da düzlüğe giriş). İstenen sayı min(istenen, p, n - 1, rank(X)) değerine kırpılır ve kırpma uyarıyla bildirilir.
Sonuca etkisi: Katsayılar, VIP, eğitim R2, açıklanan varyans.
Doğrulama verisinde: gasoline R2 (5 kat CV): 1 bileşende -0.31; 5 bileşende 0.956; 10 bileşende 0.944. Q2 (5 kat, PRESS): 5 bileşen 0.9739. Penta (X rankı 11): 12, 14 ve 20 bileşen istendiğinde 11'e kırpılır ve uyarı verilir.
Bileşen sayısını CV ile seç
Kavram: Çapraz doğrulama, modelin kurulurken kullanılmayan verideki tahmin hatasını farklı bileşen sayıları için hesaplar. RMSECV tahmin hatasının tipik büyüklüğünü, Q² ise modelin yanıttaki değişkenliğin ne kadarını yeni veride de tahmin edebildiğini gösterir; uygun bileşen sayısı, hatanın en küçük olduğu ya da artık belirgin biçimde azalmadığı noktadır.
Gündelik örnek: RMSECV bir bileşenle 1,4, üç bileşenle 0,8, beş bileşenle 0,6 Brix olup sonra yeniden yükselmeye başlıyorsa beş bileşen uygun seçimdir: yeni bir elmanın şeker tahmini tipik olarak 0,6 Brix sapar.
Ne işe yarar: 0'dan en çok bileşene kadar PRESS, RMSECV = kök(PRESS/n) ve Q2 = 1 - PRESS/SST değerlerini hesaplar; en küçük RMSECV'yi işaretler. Ana modelin bileşen sayısı değişmez (yalnız öneridir).
Sonuca etkisi: Yalnız CV tablosu.
Doğrulama verisinde: gasoline LOO RMSECV: 0 bileşen 1.5451; 1 bileşen 1.3211; 2 bileşen 0.7857; 3 bileşen 0.2869; en iyi 6 bileşen.
CV türü (LOO, 10-kat ardışık)
Kavram: Birini dışarıda bırak (LOO) çapraz doğrulama her gözlemi sırayla tahmin edilecek veri olarak ayırır; k-katlı çapraz doğrulama veriyi k parçaya bölüp her parçayı sırayla dışarıda bırakır. Benzer ya da tekrarlı ölçümler veride yan yanaysa LOO iyimser sonuç verebilir; ardışık katlar bu tür grupları birlikte dışarıda bırakarak daha temkinli bir tahmin sunar.
Gündelik örnek: Her elma iki kez taranmış ve iki tarama veride art arda duruyorsa LOO, bir taramayı ikizini kullanarak tahmin eder ve modelin başarısını abartır. Ardışık 10 kat, aynı elmanın iki taramasını birlikte dışarıda bırakır.
Ne işe yarar: Birini dışarıda bırak (LOO) ya da 10 ardışık kat çapraz doğrulamayı seçer; jackknife segmentlerini de belirler. CV ve jackknife kapalıyken etkisizdir.
Sonuca etkisi: CV tablosu ve jackknife aralıkları.
Doğrulama verisinde: gasoline 10 kat: en iyi 4 bileşen (LOO'da 6).
En çok bileşen (CV)
Kavram: Çapraz doğrulamada denenecek en büyük bileşen sayısını sınırlar. Üst sınır, beklenen en uygun sayıyı rahatça kapsayacak kadar büyük, gereksiz hesaplama yapılmayacak kadar küçük seçilir.
Gündelik örnek: Spektroskopi modellerinde en uygun sayı çoğu zaman 10'un altında kaldığından, şeker modeli için 15'e kadar bileşen denemek yeterlidir; 80 elmayla 60 bileşen denemek yalnız aşırı uyumun nasıl büyüdüğünü gösterir.
Ne işe yarar: Çapraz doğrulamada denenen üst sınırı belirler; min(değer, p, n - 2).
Sonuca etkisi: CV eğrisi ve önerilen bileşen.
Doğrulama verisinde: gasoline: 1 için en iyi 1; 5 için 4; 10 ve 30 için 6.
Ek Y'ler (PLS2)
Kavram: PLS2, birden fazla yanıtı aynı gizil bileşenlerle birlikte modeller. Yanıtlar birbiriyle ilişkiliyse ortak bileşenler daha verimli olabilir; ilişkisizse her yanıt için ayrı PLS1 modeli genellikle daha iyi tahmin yapar.
Gündelik örnek: Tesis şeker içeriğinin yanında elmanın sertliğini ve asitliğini de aynı spektrumdan tahmin etmek isterse PLS2 kullanılabilir. Üç özellik olgunlukla birlikte değiştiği için ortak bileşenler hepsini birden iyi anlatabilir.
Ne işe yarar: Birden çok yanıtı ortak bileşenlerle modeller; ana tablo birinci Y'nin PLS1 modelidir, PLS2 ayrı bölümde verilir.
Sonuca etkisi: Ek bölüm.
Doğrulama verisinde: oliveoil 6 duyusal Y, 2 bileşen: yellow sabiti 106.5030; R2 yellow 0.4541, brown 0.7349.
Ek çıktı: Ağırlık / yük / skor
Kavram: Ağırlıklar, her bileşenin hangi yordayıcıların bileşimi olarak kurulduğunu; yükler, yordayıcıların bileşenlerle ne kadar ilişkili olduğunu; skorlar da her gözlemin bileşenler üzerindeki konumunu gösterir. Bu çıktılar modelin içini görmeyi ve olağandışı örnekleri fark etmeyi sağlar.
Gündelik örnek: Birinci bileşenin ağırlıkları belirli bir dalga boyu aralığında yüksekse bu bileşen o bölgedeki soğurmayı yansıtıyordur. Skor grafiğinde öteki elmalardan çok uzakta duran bir elma, belki çürük ya da yanlış taranmış olduğu için ayrıca incelenmelidir.
Ne işe yarar: X ağırlıkları W (birim norm), X yükleri P ve Y yükleri q'yu verir.
Sonuca etkisi: Yalnız ek tablo.
Doğrulama verisinde: W birim normludur; X 1/n'li standart sapmayla ölçeklendiğinden q yükleri (n - 1)'li ölçeklemeye göre kök((n - 1)/n) çarpanı kadar farklıdır.
Ek çıktı: Jackknife GA
Kavram: Jackknife, çapraz doğrulama sırasında dışarıda bırakılan her parça için kestirilen katsayıların ne kadar değiştiğine bakarak katsayıların standart hatasını ve güven aralığını yaklaşık olarak hesaplar. Aralığı sıfırı içermeyen yordayıcılar modele kararlı biçimde katkı veriyordur.
Gündelik örnek: Bir dalga boyunun katsayısı hangi elma grubu dışarıda bırakılırsa bırakılsın hep pozitif ve benzer büyüklükteyse, bu dalga boyu şeker tahmininde güvenilir bir bilgi kaynağıdır.
Ne işe yarar: CV segmentlerinden jackknife katsayı varyansını (Martens ve Martens 2000), t = b/SE, serbestlik derecesi (segment - 1) ve güven aralığını verir.
Sonuca etkisi: Yalnız ek tablo.
Doğrulama verisinde: gasoline LOO ve 10 kat, yarn 10 kat: SE, t, p ve aralık CV segmentlerinden hesaplanır.
Ek çıktı: Tahmin-gözlenen grafiği
Kavram: Tahmin-gözlenen grafiği, modelin tahmin ettiği değerleri gerçek değerlere karşı çizer. Noktalar 45 derecelik doğru çevresinde dar bir bantta toplanıyorsa tahmin iyidir; belli bir aralıkta sistematik sapma, modelin o aralıkta zayıf kaldığını gösterir.
Gündelik örnek: Grafik, çok tatlı elmaların şekerinin sistematik olarak olduğundan düşük tahmin edildiğini gösterirse, eğitim verisine daha fazla tatlı elma eklemek gerektiği anlaşılır.
Ne işe yarar: Tahmin ve gözlenen değerlerin grafiğini ekler.
Sonuca etkisi: Yalnız grafik; sayısal çıktı değişmez.
Doğrulama verisinde: Sayısal fark yok.
Gerçek veride örnek
Veri: benzin NIR spektrumu, Kalivas 1997, R pls (eğitim kümesi)
Değişkenler: hedef octane (oktan sayısı), prediktörler nir900-nir1700 (401 dalga boyunda NIR soğurması)
- Soru: 50 benzin örneğinin 401 dalga boyundaki NIR spektrumu oktan sayısını ne ölçüde kestirir? (Yordayıcı sayısı gözlem sayısından çok büyük ve yordayıcılar çok yüksek bağıntılıdır; EKK kurulamaz.)
- Model: 2 bileşenli PLS1, X ölçekli. Birinci bileşen X varyansının %64.31'ini, ikincisi %20.93'ünü açıklar (toplam %85.24).
- Sonuç: İki bileşen oktan varyansının %79.29'unu açıklar (R² eğitim = 0.7929); ilk bileşenin katkısı yalnız %31.59'dur, Y ile ilişkili bilgi büyük ölçüde ikinci bileşendedir.
- Model uyumu (doğrulama): Ardışık 5 katta Q² (PRESS) = 0.7076, kat R² ortalaması = 0.4879. Q² 0.5'in üstünde olduğundan model kat dışı veride de iyi kestirim yapar; kat R² ortalaması tek tek katların dar Y aralığından etkilenir.
- Ek bulgu: En yüksek VIP değerleri 1204-1214 nm (en yüksek 1.96, 1208 nm) ve 1356-1362 nm (yaklaşık 1.94) çevresindedir; oktanla en bilgilendirici dalga boyları bunlardır (VIP > 1 önemli kabul edilir).
- Sınırlılık: Bileşen sayısı varsayılan 2'dir; en uygun sayı CV ile seçilmelidir.
- APA: PLS regresyonu (2 bileşen), R² = .79, Q²(5 kat) = .71, N = 50, 401 yordayıcı.
İlgili kavramlar
Serbestlik derecesiJackknifek-katlı çapraz geçerlemeFaktör (bileşen) yükleriTahmin hata ölçütleri (RMSE, MAE, MAPE, MASE)Q² öngörü geçerliliği (Stone-Geisser, PRESS)Birini dışarıda bırak (LOO)Açıklanan varyans oranı
Örneklerdeki sayılar MerQur'un bağımsız, kamuya açık doğrulama verileri üzerindeki çıktılarıdır; ayrıntılar için MerQur Teknik Not'a bakınız.