10. Bağımsız doğrulama (⑦ Validation)
Sekme: ⑦ Validation · Kod: tabs/tab_validation.py (arayüz ve hesap), sdm_grid.py read_on_grid (ızgara hizalama), tabs/tab_report.py _s9_validation (rapordaki bölüm)
10.1 Bu sekme ne yapar
⑦ Validation, modelin ürettiği bir haritayı modelden bağımsız bir başvuru kaynağıyla karşılaştırır ve harita doğruluğunu ölçer. Başvuru kaynağı ya bir raster haritadır (uzman çizimi bir yayılış haritası, yayımlanmış bir dağılım haritası, saha verisinden üretilmiş bir varlık/yokluk katmanı) ya da noktaları ve başvuru değerleri bir CSV dosyasında verilen saha gözlemleridir. Karşılaştırma, harita üzerinden seçilen örnek noktalarda yapılır; sonuç bir karışıklık matrisi ve ondan türetilen ölçütlerdir.
- Girdi: iki GeoTIFF (başvuru ve doğrulanacak harita) ya da bir GeoTIFF ve bir CSV. Çoğu zaman doğrulanacak harita ③ Models'in yazdığı bir haritadır (örneğin topluluk ikili haritası
EMwmean_bin). - Çıktı: sonuç metni (ölçütler, karışıklık matrisi, sınıf başına ölçütler), isteğe bağlı rapor (
.txt,.json,.html) ve nokta tablosu (.csv), yeniden sınıflanmış iki raster (validation/klasörü). Son doğrulama sonucu ⑧ Report'un 9. bölümüne geçer. - Kilit düzeni: sekme, ③ Models çalışmayı bitirince açılır; aynı anda çıktı klasöründeki rasterlar iki açılır kutuya otomatik yüklenir (
tabs/tab_models.py:1848-1856).
Bu sekmedeki doğrulama, ④ Evaluation'daki çapraz doğrulama skorlarından farklıdır: ④ modelin eğitim kayıtlarından ayrılan katlarla kendi verisi üzerinde nasıl ayırt ettiğini ölçer; ⑦ ise haritayı dışarıdan gelen bir kaynakla karşılaştırır. İkisi birbirinin yerine geçmez.
10.2 Ekranın düzeni
Sekme yukarıdan aşağıya dört numaralı gruptan oluşur.

| Bölge | Ne içerir | Alt bölüm |
|---|---|---|
1 Map Selection |
Reference Map, Validation Map, iki Browse…, Load HABITUS Output Layers… |
§10.3 |
2 Reclassification (continuous 0–1 → classes) |
İki mod düğmesi; solda Continuous (reclassify 0-1 → N classes) ayarları, sağda Binary comparison açıklaması |
§10.4 |
3 Sampling Settings |
Random, Stratified, Systematic, CSV File; CSV yolu; Number of points |
§10.5 |
Run Validation |
Karşılaştırmayı çalıştırır | §10.6 |
4 Results |
Sonuç metni, Save Report, Save Points CSV |
§10.6–10.8 |
Şekil 10.1 ve 10.2 örnek koşudan alınmıştır: Abies nordmanniana, başvuru haritası Caudullo vd. (2017) yayılış haritasının modelin ızgarasına çevrilmiş hâli (abies_nordmanniana_range_Caudullo2017.tif), doğrulanan harita topluluk ikili haritası (current\abies_nordmanniana_current_EMwmean_bin.tif).
10.3 Harita seçimi (1 Map Selection)
İki harita seçilir: başvuru haritası (doğru kabul edilen kaynak) ve doğrulanacak harita (modelin haritası). Arayüzde ikincisinin adı Validation Map'tir; bu bölümde "doğrulanan harita" diye anılır.
| Arayüzdeki ad | Ne yapar | Varsayılan | Aralık / seçenekler | Kod |
|---|---|---|---|---|
Reference Map : |
Başvuru rasterı | listedeki ilk katman | listedeki katmanlar | tabs/tab_validation.py:64-72 |
Validation Map : |
Doğrulanan raster | listedeki ilk katman | listedeki katmanlar | tabs/tab_validation.py:74-82 |
Browse… (iki tane) |
Bir GeoTIFF seçip ilgili listeye ekler ve seçer | — | *.tif, *.tiff |
tabs/tab_validation.py:341-350 |
Load HABITUS Output Layers… |
Çıktı klasöründeki bütün .tif dosyalarını iki listeye ekler |
modeller bitince otomatik | düğme | tabs/tab_validation.py:358-384 |
10.3.1 Çıktı katmanlarını yükleme (Load HABITUS Output Layers…)
- Ne işe yarar. Çıktı klasörünü alt klasörleriyle birlikte tarar, bulduğu her
.tif/.tiffdosyasını iki listeye aynı sırayla ve çıktı klasörüne göreli adla ekler (ör.current\abies_nordmanniana_current_EMwmean_bin.tif). Zaten listede olanı yinelemez. Günlüğe "Validation: loaded N layers from output directory." yazar; örnek koşuda 76 katman yüklenmiştir. - Ne zaman, nasıl ayarlanır. ③ Models bitince program bu düğmeye kendisi basar; gelecek senaryoları ya da alan değişimi gibi sonradan yazılan haritaları listeye almak için yeniden basılır.
- Sonuca etkisi. Yalnız seçim kolaylığıdır.
- Dikkat. Liste çıktı klasöründeki bütün rasterları içerir: olasılık ve ikili haritalar, tek tek model haritaları, belirsizlik (
EMsd), yenilik (NT1,NT2) ve erişilebilir alan rasterı. Doğru dosyayı seçmek kullanıcıya kalır. Çıktı klasörü yoksa "No output directory set yet. Run the analysis first." uyarısı çıkar. Başvuru haritası çoğu zaman çıktı klasöründe değildir;Browse…ile eklenir.
10.3.2 İki haritanın ızgarası
Karşılaştırma doğrulanan haritanın ızgarasında yapılır. Başvuru rasterı bu ızgaraya konumuna göre okunur (tabs/tab_validation.py:422-455, sdm_grid.py:188-283):
- Izgaralar aynıysa raster olduğu gibi okunur ve not çıkmaz.
- Hücre boyu ve koordinat sistemi aynı, yalnız tam sayıda hücre kaymışsa ara değer hesaplamadan kaydırılarak kopyalanır.
- Öteki her durumda
rasterio.warp.reprojectile yeniden örneklenir: ikili modda en yakın komşu, sürekli modda iki doğrusal (bilinear) ara değer.
Hizalama yapıldıysa günlüğe ve sonuç metnine ("NOTE (grid)") şu biçimde bir not düşer: "Reference raster (W×H px) was not on the validation raster's grid (W×H px) and was realigned to it by position (…); N validation cell(s) not covered (x%)." Başvurunun kapsamadığı hücreler doğrulanan ızgaranın %5'inden fazlaysa ek uyarı çıkar: "… of the validation grid lies outside the reference raster (> 5%); those cells are not compared. Check that both maps cover the same area." (tabs/tab_validation.py:447-452, sdm_grid.py:40). Bu notlar raporun "Processing notices" bölümüne de geçer (state["validation_notices"]).
Dikkat: Sürekli modda başvuru haritası iki doğrusal ara değerle yeniden örneklenir. Başvuru 0/1 bir haritaysa sınırlarda 0 ile 1 arasında ara değerler oluşur ve bunlar ara sınıflara düşer. İkili bir başvuruyu ikili modda karşılaştırın ya da modele hiç yeniden örnekleme gerekmeyecek biçimde, aynı ızgarada hazırlayın.
10.4 Karşılaştırma modu ve yeniden sınıflama (2 Reclassification)
İki mod vardır. Mod düğmeleri her iki durumda da etkindir; ikili mod seçilince sürekli mod ayarları soluklaşır ve önizleme satırı "Binary mode active - reclassification skipped." yazar (tabs/tab_validation.py:191-198, 316-321).
| Arayüzdeki ad | Ne yapar | Varsayılan | Aralık / seçenekler | Kod |
|---|---|---|---|---|
Continuous comparison (0–1 maps, reclassified into classes) |
İki haritayı N sınıfa yeniden sınıflayıp karşılaştırır | seçili | mod düğmesi | tabs/tab_validation.py:100-103 |
Use binary comparison (0/1 maps) |
Hücre değerlerini yuvarlayıp olduğu gibi karşılaştırır | — | mod düğmesi | tabs/tab_validation.py:102, 599-603, 672-677 |
Number of classes : |
Sürekli modda sınıf sayısı | 5 | 2–10 | tabs/tab_validation.py:132-137 |
Reference — lower threshold : |
Başvuru haritasında 1. sınıfın üst sınırı | 0.200 | 0.000–0.990, adım 0.01 | tabs/tab_validation.py:139-145 |
Validation — lower threshold : |
Doğrulanan haritada 1. sınıfın üst sınırı | 0.200 | 0.000–0.990, adım 0.01 | tabs/tab_validation.py:147-153 |
Ref breaks: / Val breaks: satırı |
Sınıf sınırlarının canlı önizlemesi | — | — | tabs/tab_validation.py:155-160, 316-328 |
10.4.1 Sürekli karşılaştırma (Continuous comparison)
- Ne işe yarar. Her iki harita 0–1 aralığındaki değerlerine göre N sınıfa ayrılır. Sınırlar: [0,\ t,\ \dots,\ 1]; 1. sınıf [0, t), kalan aralık t ile 1 arasında N-1 eşit parçaya bölünür; son sınıf 1'i de içerir (
tabs/tab_validation.py:330-339,461-474). t = 0 ise sınırlar 0 ile 1 arasında eşit aralıklıdır. 0'ın altındaki ve 1'in üstündeki değerler hiçbir sınıfa girmez ve karşılaştırma dışı kalır. Sınıf etiketleri "C1 [0.000–0.200]" biçimindedir. - Ne zaman, nasıl ayarlanır. İki haritanın da gerçekten sürekli (olasılık ya da uygunluk) olduğu durumlarda: örneğin iki modelin olasılık haritalarını ya da modelin olasılık haritasını başka bir çalışmanın uygunluk haritasıyla karşılaştırırken. Alt eşik olarak ④ Evaluation'ın
Classification Thresholdstablosundaki bir eşik (max_TSS gibi) kullanılabilir; böylece 1. sınıf "uygun değil" anlamına gelir. - Sonuca etkisi. Sınıf sayısı arttıkça tam eşleşme zorlaşır; genel doğruluk ve Kappa düşer. Başvuru ve doğrulanan harita için farklı alt eşik verilebilir; iki modelin farklı eşikleri varsa bu, sınıfların anlamını eşitler. Sürekli modda ayrıca noktalardaki ham değerlerle regresyon ölçütleri hesaplanır (§10.7.3).
- Dikkat. Başvuru 0/1 bir haritaysa yalnız 1. ve son sınıf dolar, ara sınıflar başvuruda boş kalır; karışıklık matrisinin köşegeni çoğunlukla 1. sınıfta toplanır ve ölçütler ikili moddakinden düşük çıkar. Bu iki mod aynı şeyi ölçmez. İkili bir başvuru için ikili modu kullanın.
10.4.2 İkili karşılaştırma (Use binary comparison)
- Ne işe yarar. İki haritanın hücre değerleri tam sayıya yuvarlanır ve hiçbir eşik uygulanmadan hücre hücre karşılaştırılır (
np.round;tabs/tab_validation.py:601,674). Sınıflar veriden alınır ve "Class 0", "Class 1" diye etiketlenir. İki sınıf varsa sonuç metnine doğru/yanlış pozitif ve negatif sayıları, duyarlılık, özgüllük ve TSS eklenir (§10.7.2). - Ne zaman, nasıl ayarlanır. Başvuru bir varlık/yokluk haritası, doğrulanan harita da modelin ikili haritası (
…_bin.tif) olduğunda. Arayüzdeki açıklama üç tipik başvuru sayar: rastera çevrilmiş uzman çizimi bir poligon, yayımlanmış bir ikili SDM çıktısı, sahada doğrulanmış bir varlık/yokluk katmanı. - Sonuca etkisi. Örnek koşuda (Caudullo vd. 2017 başvurusu,
EMwmean_bin, tabakalı 500 nokta) genel doğruluk 0,866, Kappa 0,732'dir (Şekil 10.2). - Dikkat. Bu modda değerler 0,5'ten yuvarlanır; ikili mod seçiliyken bir olasılık haritası (
…_prob.tif) seçilirse harita sessizce 0,5 eşiğiyle ikiye ayrılmış olur, modelin kendi eşiğiyle değil. Tam 0,5 değeri de NumPy'nin yarımı çifte yuvarlama kuralı nedeniyle 0'a gider. İkili modda daima…_bin.tifdosyalarını seçin. Etiketler 0/1 dışındaysa (ör. 1/2) TP/FP/TN/FN ataması küçük kodun "yokluk" olduğu varsayımıyla yapılır (tabs/tab_validation.py:908-911).
10.5 Örnekleme tasarımı (3 Sampling Settings)
Karşılaştırma bütün hücrelerde değil, seçilen örnek noktalarda yapılır. Bu, doğruluk değerlendirmesinin yerleşik uygulamasıdır (Congalton 1991; Olofsson vd. 2014): sonuç, örneklemden kestirilen bir doğruluktur.
| Arayüzdeki ad | Ne yapar | Varsayılan | Aralık / seçenekler | Kod |
|---|---|---|---|---|
Random |
Başvurunun sınıflanmış hâlindeki geçerli hücrelerden yerine koymadan rastgele | seçili | yöntem düğmesi | tabs/tab_validation.py:485-492 |
Stratified |
Başvurunun her sınıfından eşit sayıda hücre | — | yöntem düğmesi | tabs/tab_validation.py:494-505 |
Systematic |
Rasterın üzerine düzgün aralıklı bir ızgara | — | yöntem düğmesi | tabs/tab_validation.py:507-520 |
CSV File |
Başvuru değerleri bir CSV'deki noktalardan | — | yöntem düğmesi | tabs/tab_validation.py:526-544, 622-651 |
CSV (id, x, y, reference_value): + Browse |
CSV dosyasının yolu (yalnız CSV File seçiliyken görünür) |
boş | *.csv |
tabs/tab_validation.py:218-229 |
Number of points : |
İstenen nokta sayısı | 500 | 30–100 000, adım 50 | tabs/tab_validation.py:231-239 |
10.5.1 Rastgele (Random)
- Ne işe yarar. Başvuru haritasının sınıflanmış hâlinde geçerli (NaN olmayan) bütün hücreler arasından
Number of pointskadar hücre yerine koymadan seçilir. Rastgele sayı üreteci koşu tohumundan (random_seed; bilinmiyorsa 42) türetilmiş yerel birnumpy.random.default_rng'dir; aynı tohum aynı noktaları verir ve sonuç metni "Random (seed 42)" yazar (tabs/tab_validation.py:413-420,699-701). - Ne zaman, nasıl ayarlanır. Haritanın bütününde doğruluğu kestirmek için varsayılan ve en kolay yorumlanan tasarımdır: her hücrenin seçilme olasılığı eşittir, bu yüzden genel doğruluk ve Kappa doğrudan alan ağırlıklı kestirimlerdir.
- Sonuca etkisi. Nadir sınıf (tür çoğu zaman alanın küçük bir kısmında bulunur) az sayıda noktayla temsil edilir; o sınıfın üretici ve kullanıcı doğrulukları belirsiz olur.
- Dikkat. Seçilen bir hücre doğrulanan haritada NaN ise atılır; bu yüzden geçerli nokta sayısı istenenden az olabilir. Sonuç metnindeki
Pointssatırı gerçekten kullanılan sayıyı yazar.
10.5.2 Tabakalı (Stratified)
- Ne işe yarar. Başvuru haritasının her sınıfından \max(1, \lfloor n / K \rfloor) hücre seçilir (K sınıf sayısı); bir sınıfta bu kadar hücre yoksa hepsi alınır (
tabs/tab_validation.py:494-505). Tohum, rastgele tasarımdakiyle aynıdır. - Ne zaman, nasıl ayarlanır. Her sınıfın üretici ve kullanıcı doğruluğunu yeterli noktayla kestirmek gerektiğinde, özellikle varlık sınıfı alanın küçük bir kısmıysa.
- Sonuca etkisi. Sınıflar eşit sayıda noktayla temsil edildiği için genel doğruluk ve Kappa alan ağırlıklı değildir: her sınıf haritadaki payından bağımsız olarak aynı ağırlıkla sayılır. Örnek koşuda başvuru haritasının geçerli hücrelerinin yalnız %5,8'i varlıktır (77 171 hücrenin 4458'i); tabakalı 500 noktada ise yarı yarıya varlık ve yokluk vardır. Bu örneklemden genel doğruluk 0,866, Kappa 0,732 çıkmıştır. Aynı iki haritanın bütün ortak hücrelerinde (77 171 hücre) genel doğruluk 0,938, Kappa 0,553'tür (
_calisma/validation/altındaki yeniden sınıflanmış iki rasterdan bu kitap için hesaplandı). Duyarlılık (0,78 ve 0,76) ve özgüllük (0,95 ve 0,95) ise iki hesapta birbirine yakındır, çünkü bunlar sınıf içi oranlardır. - Dikkat. Tabakalı tasarımda genel doğruluğun ve Kappa'nın alan ağırlıklı kestirimi için her sınıfın sonucu haritadaki alan payıyla ağırlıklandırılmalıdır (Olofsson vd. 2014). Program bu ağırlıklandırmayı yapmaz; sınıf başına ölçütleri (üretici/kullanıcı doğruluğu, duyarlılık, özgüllük, TSS) kullanın ya da genel doğruluğu
Save Points CSVçıktısı ve sınıf alanlarıyla kendiniz ağırlıklandırın. n, K'ya tam bölünmezse toplam nokta sayısı n'den az olur.
10.5.3 Sistematik (Systematic)
- Ne işe yarar. g = \lfloor\sqrt{n}\rfloor olmak üzere, rasterın bütün satır ve sütun aralığına g \times g düzgün aralıklı bir ızgara serilir; ızgara noktalarından başvuruda geçerli olanlar alınır, n'e ulaşılınca durulur (
tabs/tab_validation.py:507-520). Rastgelelik yoktur; tohum kullanılmaz. - Ne zaman, nasıl ayarlanır. Alanı düzenli kapsamak istendiğinde. Yakın noktaların mekânsal öz ilişkisini azaltır.
- Sonuca etkisi. Izgara rasterın bütün dikdörtgeni üzerine serildiği için NoData alanına (deniz, çalışma sınırının dışı) düşen noktalar atılır; geçerli nokta sayısı n'den çoğu zaman belirgin biçimde azdır. 500 istendiğinde ızgara 22 × 22 = 484 noktadır.
- Dikkat. Raster düzeninde periyodik bir yapı varsa (yol, ızgara biçimli arazi kullanımı) sistematik örnek bu yapıyla çakışabilir.
10.5.4 CSV noktaları (CSV File)
- Ne işe yarar. Başvuru değerleri haritadan değil, bir CSV dosyasındaki noktalardan alınır. Dosya UTF-8 olmalı ve başlık satırında
x,y,reference_valuesütunlarını (isteğe bağlıid) içermelidir; adlar büyük/küçük harfe duyarlıdır (tabs/tab_validation.py:526-544). Her nokta doğrulanan rasterın dönüşümüyle hücreye çevrilir; raster dışına düşen, sayısal olmayan ya da sütunu eksik satırlar sessizce atlanır.reference_value, başvuru sınıf sınırlarıyla sınıflanır (Reference — lower thresholdveNumber of classes); doğrulanan sınıf, doğrulanan haritada noktanın hücresinden okunur (tabs/tab_validation.py:636-648). - Ne zaman, nasıl ayarlanır. Saha gözlemleri, ayrı toplanmış varlık/yokluk noktaları ya da başka bir çalışmanın nokta verisi ile doğrulama için. Koordinatlar doğrulanan rasterın koordinat sisteminde olmalıdır (örnek veride derece; boylam
x, enlemy). - Sonuca etkisi.
Number of pointsbu yöntemde kullanılmaz; dosyadaki geçerli bütün noktalar kullanılır. Yeniden sınıflanmış rasterlar bu modda yazılmaz. - Dikkat. Koordinat dönüşümü yapılmaz; farklı bir koordinat sistemindeki noktalar yanlış hücrelere düşer ya da raster dışında kalıp atılır. Ondalık ayırıcı nokta olmalıdır ("41,73" gibi değerler sayı olarak okunamaz ve satır atlanır).
reference_valuesürekli moddaki gibi 0–1 ölçeğinde sınıflandığından 0/1 saha verisi sürekli modda 1. ve son sınıfa düşer; bu verilerle ikili karşılaştırma için §10.10'daki tuzağa bakın.
10.6 Çalıştırma (Run Validation)
Run Validation işi arayüz iş parçacığında çalıştırır ve süresince adımları gösteren küçük bir pencere açar (tabs/tab_validation.py:550-558). Adımlar sonuç kutusuna "▸" ile yazılır: doğrulanan rasterın geçerli hücre sayısı, en küçük/en büyük/ortalama değeri ve tekil değer sayısı; sınıf sınırları; sınıf başına hücre sayıları; başvuru için aynısı; örnekleme ve geçerli nokta sayısı. Ardından bu metin sonuç raporuyla değiştirilir (tabs/tab_validation.py:963). Doğrulanan harita seçilmemişse "Please select a Validation Map.", başvuru seçilmemişse "Please select a Reference Map.", ortak geçerli nokta yoksa "No valid overlapping points found." iletisi çıkar.

10.7 Ölçütler ve sonuç metni
Örnek noktalardaki (başvuru sınıfı, doğrulanan sınıf) çiftlerinden scikit-learn ile bir karışıklık matrisi kurulur; satırlar başvuru, sütunlar doğrulanan haritadır (tabs/tab_validation.py:749-779). Sınıf listesi iki taraftaki gözlenen sınıfların birleşimidir.
10.7.1 Birincil ölçütler (PRIMARY METRICS)
| Sonuç metnindeki ad | Tanım | Kod |
|---|---|---|
Overall Accuracy (OA) |
Doğru sınıflanan nokta oranı | accuracy_score, tabs/tab_validation.py:754 |
Cohen's Kappa (κ) |
Rastlantısal uyum düzeltilmiş uyum (Cohen 1960) | cohen_kappa_score, :755 |
F1-Score (Macro) / F1-Score (Weighted) |
Sınıf başına F1'in basit / destek ağırlıklı ortalaması | f1_score, :756-757 |
Precision (Macro) / Recall (Macro) |
Sınıf başına kesinlik / duyarlılığın basit ortalaması | :758-759 |
Kappa Interpretation |
Kappa'nın sözel yorumu (aşağıda) | :900-904 |
Bütün oranlarda payda sıfırsa sonuç 0 alınır (zero_division=0). Kappa,
ile hesaplanır; p_o gözlenen uyum (genel doğruluk), p_e iki haritanın sınıf paylarından beklenen rastlantısal uyumdur.
Kappa yorum ölçeği. Sonuç metni Kappa'yı şu ölçekle sözelleştirir (tabs/tab_validation.py:900-904): \kappa < 0 "Poor"; < 0{,}20 "Slight"; < 0{,}40 "Fair"; < 0{,}60 "Moderate"; < 0{,}80 "Substantial"; diğerleri "Almost Perfect". Bu, Landis ve Koch (1977)'un önerdiği ölçektir. Ölçek, gözlemciler arası uyum için önerilmiş bir uzlaşmadır; harita doğruluğu için kesin sınırlar değildir.
Dikkat: Kappa, varlık sınıfının yaygınlığına (prevalans) bağlıdır (Allouche vd. 2006). Aynı iki harita farklı örnekleme tasarımlarıyla çok farklı Kappa verebilir: örnek koşuda tabakalı örnekte 0,732, bütün hücrelerde 0,553 (§10.5.2). Kappa'yı tek başına raporlamayın; duyarlılık, özgüllük ve TSS'yi ve kullanılan örnekleme tasarımını birlikte verin.
10.7.2 İkili özet (BINARY SUMMARY)
İkili modda ve tam iki sınıf varsa sonuç metnine şunlar eklenir (tabs/tab_validation.py:906-922): karışıklık matrisi [0, 1] sırasıyla okunur; True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN); Sensitivity = TP/(TP+FN); Specificity = TN/(TN+FP); True Skill Stat TSS = duyarlılık + özgüllük − 1 (Allouche vd. 2006). TSS prevalanstan bağımsızdır; ikili doğrulamada Kappa'dan daha güvenilir bir özettir.
Örnek koşunun karışıklık matrisi (tabakalı, 500 nokta; rapor dosyasından): başvuruda yokluk olan 250 noktanın 238'i modelde de yokluk, 12'si varlık; başvuruda varlık olan 250 noktanın 55'i modelde yokluk, 195'i varlıktır. Buradan duyarlılık 0,780, özgüllük 0,952, TSS 0,732 çıkar. Eşit sayıda varlık ve yokluk örneklendiğinde Kappa ile TSS aynı değeri alır; örnekteki eşitlik bundandır.
10.7.3 Regresyon ölçütleri (yalnız sürekli mod)
Sürekli modda noktalardaki ham değerler (başvuru ve doğrulanan, 0–1) üzerinden hesaplanır (tabs/tab_validation.py:761-767, 923-927): R^2 (r2_score, belirleme katsayısı; Pearson r^2'si değildir ve negatif olabilir), RMSE, MAE, Bias = ortalama(doğrulanan − başvuru); pozitifse "(Over)", negatifse "(Under)" eklenir. Başvuru 0/1 bir haritaysa bu ölçütler bir olasılık haritasının 0/1'e uzaklığını ölçer ve sınırlı anlam taşır.
10.7.4 Karışıklık matrisi ve sınıf başına ölçütler
Sonuç metni üç tablo daha yazar (tabs/tab_validation.py:929-958):
CONFUSION MATRIX: satırlar başvuru ("Ref \ Val"), sütunlar doğrulanan sınıflar.PER-CLASS METRICS: her sınıf içinPrecision,Recall,F1,Support(o sınıftaki başvuru noktası sayısı).PRODUCER'S & USER'S ACCURACY: üretici doğruluğu (başvurudaki bir sınıfın haritada doğru gösterilme oranı) = recall; kullanıcı doğruluğu (haritadaki bir sınıfın sahada doğru çıkma oranı) = precision (Congalton 1991).
Sonuç metninin başında mod, tarih, başvuru ve doğrulanan dosyanın adı, sınıf sayısı, sürekli modda iki eşik ve sınıf sınırları, nokta sayısı ve yöntem (tohumla), varsa ızgara notları ve süre yer alır.
10.8 Dışa aktarma
| Arayüzdeki ad | Ne yapar | Varsayılan | Kod |
|---|---|---|---|
Save Report |
Sonucu uzantıya göre .txt (sonuç metni), .json (bütün sonuç sözlüğü) ya da .html (özet ve karışıklık matrisi) olarak kaydeder |
validation_report_<tarih_saat> |
tabs/tab_validation.py:970-992, 1021-1066 |
Save Points CSV |
Her noktayı kaydeder: id, x, y, ref_value, val_value, ref_class, val_class, match |
validation_points_<tarih_saat>.csv |
tabs/tab_validation.py:994-1019 |
| (otomatik) | Raster–raster modunda validation/Reclassify_ref_<ad>.tif ve validation/Reclassify_val_<ad>.tif |
— | tabs/tab_validation.py:726-730, 819-839 |
İki düğme ilk başarılı çalıştırmaya kadar devre dışıdır. Yeniden sınıflanmış rasterlar float32 ve NoData = −9999 ile yazılır; başvuru hizalanmışsa doğrulanan rasterın coğrafi başvurusunu alır. JSON dosyası sınıf sınırlarını, karışıklık matrisini, sınıf raporunu, tohumu ve ızgara notlarını içerir; bir doğrulamanın sonradan denetlenmesi için en eksiksiz kayıttır.
⑧ Report'un 9. bölümü, sekmedeki en son doğrulama sonucunu kullanır (tabs/tab_report.py:2269-2320): mod, başvuru ve doğrulanan katman, nokta sayısı, genel doğruluk, Kappa, ağırlıklı F1, (varsa) R², RMSE, MAE, karışıklık matrisi ve yeniden sınıflanmış haritalar. Örnekleme yöntemi bu bölümde yer almaz; raporu yazarken ekleyin.
10.9 Uzman soruları
S1. Bu doğrulama neden "bağımsız" sayılıyor; ④ Evaluation'daki skorlardan farkı ne?
④ Evaluation, modelin eğitim kayıtlarından türetilen çapraz doğrulama katlarında hesaplanır; aynı kayıt kaynağı ve aynı sözde yokluk tasarımı kullanılır. ⑦ Validation ise haritayı dışarıdan gelen bir kaynakla karşılaştırır (tabs/tab_validation.py:550-817). Bağımsızlık başvurunun niteliğine bağlıdır: başvuru, modelin eğitim kayıtlarından türetilmiş bir yayılış haritasıysa (örneğin aynı herbaryum kayıtlarından çizilmişse) tam bağımsız sayılmaz. Program başvurunun kökenini denetlemez; bunu kullanıcı belirtmelidir.
S2. Tabakalı örneklemle bulunan genel doğruluk ve Kappa haritanın doğruluğunu yansıtır mı?
Doğrudan yansıtmaz. Stratified her başvuru sınıfından eşit sayıda nokta alır (tabs/tab_validation.py:494-505) ve sonuçları alan payına göre ağırlıklandırmaz. Örnek koşuda tabakalı 500 noktada genel doğruluk 0,866 ve Kappa 0,732; bütün ortak hücrelerde 0,938 ve 0,553'tür (§10.5.2). Alan ağırlıklı kestirim için Olofsson vd. (2014)'ün tabakalı kestiricileri kullanılmalıdır; program bunları hesaplamaz. Sınıf içi oranlar (duyarlılık, özgüllük, TSS) tabakalı tasarımda da yansızdır ve raporlanması önerilir.
S3. Kappa yerine hangi ölçüt raporlanmalı?
Kappa prevalansa bağlıdır (Allouche vd. 2006) ve harita doğruluğu literatüründe eleştirilmiştir; Pontius ve Millones (2011) miktar ve yerleşim uyuşmazlığını ayrı ayrı raporlamayı önerir. Program miktar/yerleşim uyuşmazlığını hesaplamaz. İkili modda TSS, duyarlılık ve özgüllük sonuç metnindedir (tabs/tab_validation.py:906-922); bunlar ve karışıklık matrisi raporlanırsa okur öteki ölçütleri kendisi hesaplayabilir. Miktar ve yerleşim uyuşmazlığı Save Points CSV çıktısından ya da yeniden sınıflanmış iki rasterdan hesaplanabilir.
S4. Başvuru ve doğrulanan haritanın ızgarası farklıysa ne olur?
Başvuru, doğrulanan haritanın ızgarasına konumuna göre okunur: aynı ızgara olduğu gibi, tam hücre kayması kaydırmayla, öteki her durum yeniden örneklemeyle (ikili modda en yakın komşu, sürekli modda iki doğrusal) (sdm_grid.py:188-283). Yapılan işlem ve kapsanmayan hücre oranı sonuç metnine "NOTE (grid)" olarak yazılır; %5'i aşan kapsama açığı ayrıca uyarılır (tabs/tab_validation.py:436-452). Yeniden örnekleme ölçek farkı içeriyorsa (örneğin 1 km'lik bir başvuru 4,6 km'lik model ızgarasına) en yakın komşu seçimi başvurunun sınır hücrelerini değiştirir; ölçek uyumu kullanıcının sorumluluğundadır.
S5. Örnekleme hangi alanda yapılıyor; erişilebilir alanla sınırlı mı?
Hayır. Random ve Stratified, başvurunun sınıflanmış hâlinde geçerli olan bütün hücrelerden seçer; ardından doğrulanan haritada NaN olanlar atılır (tabs/tab_validation.py:486-492, 709-722). Böylece örnekleme alanı, iki haritanın da değer taşıdığı bütün ızgaradır; ① Data'daki erişilebilir alanla sınırlanmaz. Erişilebilir alan dışındaki uzak, açıkça uygun olmayan hücreler kolay doğru sınıflanan yokluklardır ve genel doğruluğu yükseltir. Doğrulamayı erişilebilir alanla sınırlamak için başvuru haritasının bu alan dışını NoData yapmak gerekir.
S6. Sonuç tekrarlanabilir mi?
Random ve Stratified, koşu tohumundan (random_seed; bilinmiyorsa 42) kurulan yerel bir üreteç kullanır (tabs/tab_validation.py:413-420, 699); aynı tohum, aynı haritalar ve aynı nokta sayısı aynı noktaları verir. Tohum sonuç metnine ("Stratified (seed 42)") ve JSON raporuna yazılır. Systematic ve CSV File rastgelelik içermez.
S7. 500 nokta yeterli mi; sonucun belirsizliği nedir?
Program genel doğruluk ya da Kappa için güven aralığı vermez. Sonuç tek bir örneklemden kestirildiği için örnekleme belirsizliği taşır. Basit rastgele örneklemde genel doğruluğun standart hatası yaklaşık \sqrt{p(1-p)/n}'dir; p = 0{,}9 ve n = 500 için bu yaklaşık 0,013'tür. Nadir sınıfın doğruluğu için tabakalı tasarım ya da daha çok nokta gerekir (Olofsson vd. 2014). Farklı tohumlarla tekrarlayarak ya da Number of points'i artırarak (en çok 100 000) değişkenliği görmek mümkündür.
S8. Bir olasılık haritasını ikili bir başvuruyla nasıl karşılaştırmalıyım?
En doğru yol, olasılık haritasını modelin seçilen eşiğiyle ikiye ayırmış haritayı (…_bin.tif) ikili modda kullanmaktır. İkili modda bir olasılık haritası seçilirse değerler yuvarlanır, yani 0,5 eşiği uygulanmış olur (tabs/tab_validation.py:601); bu, modelin eşiği değildir. Sürekli modda ise 0/1 başvuru yalnız 1. ve son sınıfa düşer ve ölçütler iki şeyi karışık ölçer (§10.4.1).
S9. CSV noktalarıyla doğrulamada saha varlık/yokluk verisini nasıl kullanmalıyım?
CSV yönteminde reference_value her zaman başvuru sınıf sınırlarıyla (sürekli moddaki gibi) sınıflanır (tabs/tab_validation.py:642); doğrulanan harita ise ikili modda yuvarlanmış 0/1 değerlerle okunur. İkili modda bu iki kodlama uyuşmaz (başvuru 1 ve N, harita 0 ve 1) ve sonuç anlamsız olur. Saha 0/1 verisini doğru karşılaştırmak için sürekli modu, Number of classes = 2 ve iki alt eşiği aynı değerde (ör. 0.500) kullanın: o zaman başvurudaki 0 ve 1 sırasıyla 1. ve 2. sınıfa, doğrulanan olasılık haritası da aynı eşikle iki sınıfa ayrılır. Doğrulanan harita ikili (…_bin.tif) ise eşik 0 ile 1 arasında herhangi bir değer olabilir.
S10. Başvuru haritası olarak bir yayılış (chorology) haritası kullanmanın sınırları nelerdir? Caudullo vd. (2017) gibi yayılış haritaları uzman çizimidir ve genellikle türün doğal yayılışının dış sınırını gösterir; sınırın içinde türün bulunmadığı yerler (uygun olmayan yükseklik, arazi kullanımı) de "varlık" sayılır. Bu, modelin uygun bulmadığı ama yayılış içinde kalan hücrelerde yanlış negatif sayısını artırır. Örnek koşuda modeldeki varlık hücreleri (7102) başvurudakinden (4458) fazladır; modelin "fazla" gösterdiği yerlerin bir kısmı iklimsel olarak uygun ama türün ulaşmadığı yerler olabilir. Bu nedenle bu karşılaştırma harita uyumunu ölçer; modelin biyolojik doğruluğunun kesin kanıtı değildir.
S11. Sonuç rapora otomatik geçiyor mu, ve ne eksik kalıyor?
Evet; ⑧ Report'un 9. bölümü en son doğrulama sonucunu kullanır (tabs/tab_report.py:2269-2320). Rapor örnekleme yöntemini ve tohumu yazmaz; bu bilgi JSON ve metin raporunda vardır. Raporun yorum cümlesindeki "κ values above 0.60 are generally considered acceptable …" ifadesi genel bir kalıptır; kaynak göstermez ve Kappa'nın prevalans bağımlılığını hesaba katmaz. Raporu yayımlamadan önce örnekleme tasarımını ekleyin ve yorumu uyarlayın.
10.10 Sık hatalar ve tuzaklar
- İkili modda olasılık haritası seçmek. Değerler 0,5'ten yuvarlanır; modelin eşiği kullanılmaz. İkili modda
…_bin.tifseçin. - İkili başvuruyu sürekli modda karşılaştırmak. Ara sınıflar boş kalır, Kappa yapay olarak düşer (§10.4.1).
- Tabakalı örneklemin Kappa'sını alan doğruluğu diye raporlamak. Örnek koşuda 0,732 ile 0,553 arasındaki fark bundandır (§10.5.2). Tasarımı açıkça yazın, sınıf içi ölçütleri verin.
- CSV'de yanlış sütun adı ya da ondalık virgül. Sütunlar
x,y,reference_valueolmalı, sayılar noktalı yazılmalıdır; uymayan satırlar uyarı verilmeden atlanır. Hiç geçerli satır kalmazsa "No valid points in CSV." iletisi çıkar. - CSV koordinatlarının farklı koordinat sisteminde olması. Dönüşüm yapılmaz; noktalar yanlış hücreye düşer ya da atılır.
- İkili modda CSV ile 0/1 saha verisi. Kodlar uyuşmaz (§10.9, S9); sürekli mod, 2 sınıf ve eşit eşikler kullanın.
Systematicile istenen nokta sayısını beklemek. Izgara bütün dikdörtgene serilir; NoData'ya düşenler atılır.- Başvuru ile doğrulanan haritanın kapsamlarının farklı olması. "NOTE (grid)" notunu ve kapsama açığı uyarısını okuyun; karşılaştırma yalnız ortak hücrelerde yapılır.
- Ardışık doğrulamalardan yalnız sonuncusunun rapora geçtiğini unutmak. Raporda görmek istediğiniz karşılaştırmayı en son çalıştırın; öteki sonuçları
Save Reportile ayrı kaydedin.
10.11 Kaynaklar
Allouche, O., Tsoar, A., Kadmon, R., 2006. Assessing the accuracy of species distribution models: prevalence, kappa and the true skill statistic (TSS). Journal of Applied Ecology 43, 1223–1232. https://doi.org/10.1111/j.1365-2664.2006.01214.x
Caudullo, G., Welk, E., San-Miguel-Ayanz, J., 2017. Chorological maps for the main European woody species. Data in Brief 12, 662–666. https://doi.org/10.1016/j.dib.2017.05.007
Cohen, J., 1960. A coefficient of agreement for nominal scales. Educational and Psychological Measurement 20, 37–46. https://doi.org/10.1177/001316446002000104
Congalton, R.G., 1991. A review of assessing the accuracy of classifications of remotely sensed data. Remote Sensing of Environment 37, 35–46. https://doi.org/10.1016/0034-4257(91)90048-B
Landis, J.R., Koch, G.G., 1977. The measurement of observer agreement for categorical data. Biometrics 33, 159–174. https://doi.org/10.2307/2529310
Olofsson, P., Foody, G.M., Herold, M., Stehman, S.V., Woodcock, C.E., Wulder, M.A., 2014. Good practices for estimating area and assessing accuracy of land change. Remote Sensing of Environment 148, 42–57. https://doi.org/10.1016/j.rse.2014.02.015
Pontius, R.G., Millones, M., 2011. Death to Kappa: birth of quantity disagreement and allocation disagreement for accuracy assessment. International Journal of Remote Sensing 32, 4407–4429. https://doi.org/10.1080/01431161.2011.552923