HABITUSBaşvuru Kitabı

10. Bağımsız doğrulama (⑦ Validation)

Sekme: ⑦ Validation · Kod: tabs/tab_validation.py (arayüz ve hesap), sdm_grid.py read_on_grid (ızgara hizalama), tabs/tab_report.py _s9_validation (rapordaki bölüm)

10.1 Bu sekme ne yapar

⑦ Validation, modelin ürettiği bir haritayı modelden bağımsız bir başvuru kaynağıyla karşılaştırır ve harita doğruluğunu ölçer. Başvuru kaynağı ya bir raster haritadır (uzman çizimi bir yayılış haritası, yayımlanmış bir dağılım haritası, saha verisinden üretilmiş bir varlık/yokluk katmanı) ya da noktaları ve başvuru değerleri bir CSV dosyasında verilen saha gözlemleridir. Karşılaştırma, harita üzerinden seçilen örnek noktalarda yapılır; sonuç bir karışıklık matrisi ve ondan türetilen ölçütlerdir.

Bu sekmedeki doğrulama, ④ Evaluation'daki çapraz doğrulama skorlarından farklıdır: ④ modelin eğitim kayıtlarından ayrılan katlarla kendi verisi üzerinde nasıl ayırt ettiğini ölçer; ⑦ ise haritayı dışarıdan gelen bir kaynakla karşılaştırır. İkisi birbirinin yerine geçmez.

10.2 Ekranın düzeni

Sekme yukarıdan aşağıya dört numaralı gruptan oluşur.

Şekil 10.1. Validation sekmesi çalıştırılmadan önce: 1 Map Selection (başvuru haritası Caudullo vd. 2017, doğrulanan harita topluluk ikili haritası), 2 Reclassification (ikili mod seçili, sürekli mod alanları soluk), 3 Sampling Settings (Stratified, 500 nokta), Run Validation düğmesi ve boş 4 Results kutusu.
Şekil 10.1. Validation sekmesi çalıştırılmadan önce: 1 Map Selection (başvuru haritası Caudullo vd. 2017, doğrulanan harita topluluk ikili haritası), 2 Reclassification (ikili mod seçili, sürekli mod alanları soluk), 3 Sampling Settings (Stratified, 500 nokta), Run Validation düğmesi ve boş 4 Results kutusu.
Bölge Ne içerir Alt bölüm
1 Map Selection Reference Map, Validation Map, iki Browse…, Load HABITUS Output Layers… §10.3
2 Reclassification (continuous 0–1 → classes) İki mod düğmesi; solda Continuous (reclassify 0-1 → N classes) ayarları, sağda Binary comparison açıklaması §10.4
3 Sampling Settings Random, Stratified, Systematic, CSV File; CSV yolu; Number of points §10.5
Run Validation Karşılaştırmayı çalıştırır §10.6
4 Results Sonuç metni, Save Report, Save Points CSV §10.6–10.8

Şekil 10.1 ve 10.2 örnek koşudan alınmıştır: Abies nordmanniana, başvuru haritası Caudullo vd. (2017) yayılış haritasının modelin ızgarasına çevrilmiş hâli (abies_nordmanniana_range_Caudullo2017.tif), doğrulanan harita topluluk ikili haritası (current\abies_nordmanniana_current_EMwmean_bin.tif).

10.3 Harita seçimi (1 Map Selection)

İki harita seçilir: başvuru haritası (doğru kabul edilen kaynak) ve doğrulanacak harita (modelin haritası). Arayüzde ikincisinin adı Validation Map'tir; bu bölümde "doğrulanan harita" diye anılır.

Arayüzdeki ad Ne yapar Varsayılan Aralık / seçenekler Kod
Reference Map : Başvuru rasterı listedeki ilk katman listedeki katmanlar tabs/tab_validation.py:64-72
Validation Map : Doğrulanan raster listedeki ilk katman listedeki katmanlar tabs/tab_validation.py:74-82
Browse… (iki tane) Bir GeoTIFF seçip ilgili listeye ekler ve seçer — *.tif, *.tiff tabs/tab_validation.py:341-350
Load HABITUS Output Layers… Çıktı klasöründeki bütün .tif dosyalarını iki listeye ekler modeller bitince otomatik düğme tabs/tab_validation.py:358-384

10.3.1 Çıktı katmanlarını yükleme (Load HABITUS Output Layers…)

10.3.2 İki haritanın ızgarası

Karşılaştırma doğrulanan haritanın ızgarasında yapılır. Başvuru rasterı bu ızgaraya konumuna göre okunur (tabs/tab_validation.py:422-455, sdm_grid.py:188-283):

Hizalama yapıldıysa günlüğe ve sonuç metnine ("NOTE (grid)") şu biçimde bir not düşer: "Reference raster (W×H px) was not on the validation raster's grid (W×H px) and was realigned to it by position (…); N validation cell(s) not covered (x%)." Başvurunun kapsamadığı hücreler doğrulanan ızgaranın %5'inden fazlaysa ek uyarı çıkar: "… of the validation grid lies outside the reference raster (> 5%); those cells are not compared. Check that both maps cover the same area." (tabs/tab_validation.py:447-452, sdm_grid.py:40). Bu notlar raporun "Processing notices" bölümüne de geçer (state["validation_notices"]).

Dikkat: Sürekli modda başvuru haritası iki doğrusal ara değerle yeniden örneklenir. Başvuru 0/1 bir haritaysa sınırlarda 0 ile 1 arasında ara değerler oluşur ve bunlar ara sınıflara düşer. İkili bir başvuruyu ikili modda karşılaştırın ya da modele hiç yeniden örnekleme gerekmeyecek biçimde, aynı ızgarada hazırlayın.

10.4 Karşılaştırma modu ve yeniden sınıflama (2 Reclassification)

İki mod vardır. Mod düğmeleri her iki durumda da etkindir; ikili mod seçilince sürekli mod ayarları soluklaşır ve önizleme satırı "Binary mode active - reclassification skipped." yazar (tabs/tab_validation.py:191-198, 316-321).

Arayüzdeki ad Ne yapar Varsayılan Aralık / seçenekler Kod
Continuous comparison (0–1 maps, reclassified into classes) İki haritayı N sınıfa yeniden sınıflayıp karşılaştırır seçili mod düğmesi tabs/tab_validation.py:100-103
Use binary comparison (0/1 maps) Hücre değerlerini yuvarlayıp olduğu gibi karşılaştırır — mod düğmesi tabs/tab_validation.py:102, 599-603, 672-677
Number of classes : Sürekli modda sınıf sayısı 5 2–10 tabs/tab_validation.py:132-137
Reference — lower threshold : Başvuru haritasında 1. sınıfın üst sınırı 0.200 0.000–0.990, adım 0.01 tabs/tab_validation.py:139-145
Validation — lower threshold : Doğrulanan haritada 1. sınıfın üst sınırı 0.200 0.000–0.990, adım 0.01 tabs/tab_validation.py:147-153
Ref breaks: / Val breaks: satırı Sınıf sınırlarının canlı önizlemesi — — tabs/tab_validation.py:155-160, 316-328

10.4.1 Sürekli karşılaştırma (Continuous comparison)

10.4.2 İkili karşılaştırma (Use binary comparison)

10.5 Örnekleme tasarımı (3 Sampling Settings)

Karşılaştırma bütün hücrelerde değil, seçilen örnek noktalarda yapılır. Bu, doğruluk değerlendirmesinin yerleşik uygulamasıdır (Congalton 1991; Olofsson vd. 2014): sonuç, örneklemden kestirilen bir doğruluktur.

Arayüzdeki ad Ne yapar Varsayılan Aralık / seçenekler Kod
Random Başvurunun sınıflanmış hâlindeki geçerli hücrelerden yerine koymadan rastgele seçili yöntem düğmesi tabs/tab_validation.py:485-492
Stratified Başvurunun her sınıfından eşit sayıda hücre — yöntem düğmesi tabs/tab_validation.py:494-505
Systematic Rasterın üzerine düzgün aralıklı bir ızgara — yöntem düğmesi tabs/tab_validation.py:507-520
CSV File Başvuru değerleri bir CSV'deki noktalardan — yöntem düğmesi tabs/tab_validation.py:526-544, 622-651
CSV (id, x, y, reference_value): + Browse CSV dosyasının yolu (yalnız CSV File seçiliyken görünür) boş *.csv tabs/tab_validation.py:218-229
Number of points : İstenen nokta sayısı 500 30–100 000, adım 50 tabs/tab_validation.py:231-239

10.5.1 Rastgele (Random)

10.5.2 Tabakalı (Stratified)

10.5.3 Sistematik (Systematic)

10.5.4 CSV noktaları (CSV File)

10.6 Çalıştırma (Run Validation)

Run Validation işi arayüz iş parçacığında çalıştırır ve süresince adımları gösteren küçük bir pencere açar (tabs/tab_validation.py:550-558). Adımlar sonuç kutusuna "▸" ile yazılır: doğrulanan rasterın geçerli hücre sayısı, en küçük/en büyük/ortalama değeri ve tekil değer sayısı; sınıf sınırları; sınıf başına hücre sayıları; başvuru için aynısı; örnekleme ve geçerli nokta sayısı. Ardından bu metin sonuç raporuyla değiştirilir (tabs/tab_validation.py:963). Doğrulanan harita seçilmemişse "Please select a Validation Map.", başvuru seçilmemişse "Please select a Reference Map.", ortak geçerli nokta yoksa "No valid overlapping points found." iletisi çıkar.

Şekil 10.2. Validation sekmesi çalıştırıldıktan sonra: ikili mod, tabakalı 500 nokta (seed 42); 4 Results kutusunda Mode, Classes, Points ve PRIMARY METRICS başlığı altında genel doğruluk 0,8660 ve Kappa 0,7320; Save Report ve Save Points CSV düğmeleri etkin.
Şekil 10.2. Validation sekmesi çalıştırıldıktan sonra: ikili mod, tabakalı 500 nokta (seed 42); 4 Results kutusunda Mode, Classes, Points ve PRIMARY METRICS başlığı altında genel doğruluk 0,8660 ve Kappa 0,7320; Save Report ve Save Points CSV düğmeleri etkin.

10.7 Ölçütler ve sonuç metni

Örnek noktalardaki (başvuru sınıfı, doğrulanan sınıf) çiftlerinden scikit-learn ile bir karışıklık matrisi kurulur; satırlar başvuru, sütunlar doğrulanan haritadır (tabs/tab_validation.py:749-779). Sınıf listesi iki taraftaki gözlenen sınıfların birleşimidir.

10.7.1 Birincil ölçütler (PRIMARY METRICS)

Sonuç metnindeki ad Tanım Kod
Overall Accuracy (OA) Doğru sınıflanan nokta oranı accuracy_score, tabs/tab_validation.py:754
Cohen's Kappa (κ) Rastlantısal uyum düzeltilmiş uyum (Cohen 1960) cohen_kappa_score, :755
F1-Score (Macro) / F1-Score (Weighted) Sınıf başına F1'in basit / destek ağırlıklı ortalaması f1_score, :756-757
Precision (Macro) / Recall (Macro) Sınıf başına kesinlik / duyarlılığın basit ortalaması :758-759
Kappa Interpretation Kappa'nın sözel yorumu (aşağıda) :900-904

Bütün oranlarda payda sıfırsa sonuç 0 alınır (zero_division=0). Kappa,

\kappa = \frac{p_o - p_e}{1 - p_e}

ile hesaplanır; p_o gözlenen uyum (genel doğruluk), p_e iki haritanın sınıf paylarından beklenen rastlantısal uyumdur.

Kappa yorum ölçeği. Sonuç metni Kappa'yı şu ölçekle sözelleştirir (tabs/tab_validation.py:900-904): \kappa < 0 "Poor"; < 0{,}20 "Slight"; < 0{,}40 "Fair"; < 0{,}60 "Moderate"; < 0{,}80 "Substantial"; diğerleri "Almost Perfect". Bu, Landis ve Koch (1977)'un önerdiği ölçektir. Ölçek, gözlemciler arası uyum için önerilmiş bir uzlaşmadır; harita doğruluğu için kesin sınırlar değildir.

Dikkat: Kappa, varlık sınıfının yaygınlığına (prevalans) bağlıdır (Allouche vd. 2006). Aynı iki harita farklı örnekleme tasarımlarıyla çok farklı Kappa verebilir: örnek koşuda tabakalı örnekte 0,732, bütün hücrelerde 0,553 (§10.5.2). Kappa'yı tek başına raporlamayın; duyarlılık, özgüllük ve TSS'yi ve kullanılan örnekleme tasarımını birlikte verin.

10.7.2 İkili özet (BINARY SUMMARY)

İkili modda ve tam iki sınıf varsa sonuç metnine şunlar eklenir (tabs/tab_validation.py:906-922): karışıklık matrisi [0, 1] sırasıyla okunur; True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN); Sensitivity = TP/(TP+FN); Specificity = TN/(TN+FP); True Skill Stat TSS = duyarlılık + özgüllük − 1 (Allouche vd. 2006). TSS prevalanstan bağımsızdır; ikili doğrulamada Kappa'dan daha güvenilir bir özettir.

Örnek koşunun karışıklık matrisi (tabakalı, 500 nokta; rapor dosyasından): başvuruda yokluk olan 250 noktanın 238'i modelde de yokluk, 12'si varlık; başvuruda varlık olan 250 noktanın 55'i modelde yokluk, 195'i varlıktır. Buradan duyarlılık 0,780, özgüllük 0,952, TSS 0,732 çıkar. Eşit sayıda varlık ve yokluk örneklendiğinde Kappa ile TSS aynı değeri alır; örnekteki eşitlik bundandır.

10.7.3 Regresyon ölçütleri (yalnız sürekli mod)

Sürekli modda noktalardaki ham değerler (başvuru ve doğrulanan, 0–1) üzerinden hesaplanır (tabs/tab_validation.py:761-767, 923-927): R^2 (r2_score, belirleme katsayısı; Pearson r^2'si değildir ve negatif olabilir), RMSE, MAE, Bias = ortalama(doğrulanan − başvuru); pozitifse "(Over)", negatifse "(Under)" eklenir. Başvuru 0/1 bir haritaysa bu ölçütler bir olasılık haritasının 0/1'e uzaklığını ölçer ve sınırlı anlam taşır.

10.7.4 Karışıklık matrisi ve sınıf başına ölçütler

Sonuç metni üç tablo daha yazar (tabs/tab_validation.py:929-958):

Sonuç metninin başında mod, tarih, başvuru ve doğrulanan dosyanın adı, sınıf sayısı, sürekli modda iki eşik ve sınıf sınırları, nokta sayısı ve yöntem (tohumla), varsa ızgara notları ve süre yer alır.

10.8 Dışa aktarma

Arayüzdeki ad Ne yapar Varsayılan Kod
Save Report Sonucu uzantıya göre .txt (sonuç metni), .json (bütün sonuç sözlüğü) ya da .html (özet ve karışıklık matrisi) olarak kaydeder validation_report_<tarih_saat> tabs/tab_validation.py:970-992, 1021-1066
Save Points CSV Her noktayı kaydeder: id, x, y, ref_value, val_value, ref_class, val_class, match validation_points_<tarih_saat>.csv tabs/tab_validation.py:994-1019
(otomatik) Raster–raster modunda validation/Reclassify_ref_<ad>.tif ve validation/Reclassify_val_<ad>.tif — tabs/tab_validation.py:726-730, 819-839

İki düğme ilk başarılı çalıştırmaya kadar devre dışıdır. Yeniden sınıflanmış rasterlar float32 ve NoData = −9999 ile yazılır; başvuru hizalanmışsa doğrulanan rasterın coğrafi başvurusunu alır. JSON dosyası sınıf sınırlarını, karışıklık matrisini, sınıf raporunu, tohumu ve ızgara notlarını içerir; bir doğrulamanın sonradan denetlenmesi için en eksiksiz kayıttır.

⑧ Report'un 9. bölümü, sekmedeki en son doğrulama sonucunu kullanır (tabs/tab_report.py:2269-2320): mod, başvuru ve doğrulanan katman, nokta sayısı, genel doğruluk, Kappa, ağırlıklı F1, (varsa) R², RMSE, MAE, karışıklık matrisi ve yeniden sınıflanmış haritalar. Örnekleme yöntemi bu bölümde yer almaz; raporu yazarken ekleyin.

10.9 Uzman soruları

S1. Bu doğrulama neden "bağımsız" sayılıyor; ④ Evaluation'daki skorlardan farkı ne? ④ Evaluation, modelin eğitim kayıtlarından türetilen çapraz doğrulama katlarında hesaplanır; aynı kayıt kaynağı ve aynı sözde yokluk tasarımı kullanılır. ⑦ Validation ise haritayı dışarıdan gelen bir kaynakla karşılaştırır (tabs/tab_validation.py:550-817). Bağımsızlık başvurunun niteliğine bağlıdır: başvuru, modelin eğitim kayıtlarından türetilmiş bir yayılış haritasıysa (örneğin aynı herbaryum kayıtlarından çizilmişse) tam bağımsız sayılmaz. Program başvurunun kökenini denetlemez; bunu kullanıcı belirtmelidir.

S2. Tabakalı örneklemle bulunan genel doğruluk ve Kappa haritanın doğruluğunu yansıtır mı? Doğrudan yansıtmaz. Stratified her başvuru sınıfından eşit sayıda nokta alır (tabs/tab_validation.py:494-505) ve sonuçları alan payına göre ağırlıklandırmaz. Örnek koşuda tabakalı 500 noktada genel doğruluk 0,866 ve Kappa 0,732; bütün ortak hücrelerde 0,938 ve 0,553'tür (§10.5.2). Alan ağırlıklı kestirim için Olofsson vd. (2014)'ün tabakalı kestiricileri kullanılmalıdır; program bunları hesaplamaz. Sınıf içi oranlar (duyarlılık, özgüllük, TSS) tabakalı tasarımda da yansızdır ve raporlanması önerilir.

S3. Kappa yerine hangi ölçüt raporlanmalı? Kappa prevalansa bağlıdır (Allouche vd. 2006) ve harita doğruluğu literatüründe eleştirilmiştir; Pontius ve Millones (2011) miktar ve yerleşim uyuşmazlığını ayrı ayrı raporlamayı önerir. Program miktar/yerleşim uyuşmazlığını hesaplamaz. İkili modda TSS, duyarlılık ve özgüllük sonuç metnindedir (tabs/tab_validation.py:906-922); bunlar ve karışıklık matrisi raporlanırsa okur öteki ölçütleri kendisi hesaplayabilir. Miktar ve yerleşim uyuşmazlığı Save Points CSV çıktısından ya da yeniden sınıflanmış iki rasterdan hesaplanabilir.

S4. Başvuru ve doğrulanan haritanın ızgarası farklıysa ne olur? Başvuru, doğrulanan haritanın ızgarasına konumuna göre okunur: aynı ızgara olduğu gibi, tam hücre kayması kaydırmayla, öteki her durum yeniden örneklemeyle (ikili modda en yakın komşu, sürekli modda iki doğrusal) (sdm_grid.py:188-283). Yapılan işlem ve kapsanmayan hücre oranı sonuç metnine "NOTE (grid)" olarak yazılır; %5'i aşan kapsama açığı ayrıca uyarılır (tabs/tab_validation.py:436-452). Yeniden örnekleme ölçek farkı içeriyorsa (örneğin 1 km'lik bir başvuru 4,6 km'lik model ızgarasına) en yakın komşu seçimi başvurunun sınır hücrelerini değiştirir; ölçek uyumu kullanıcının sorumluluğundadır.

S5. Örnekleme hangi alanda yapılıyor; erişilebilir alanla sınırlı mı? Hayır. Random ve Stratified, başvurunun sınıflanmış hâlinde geçerli olan bütün hücrelerden seçer; ardından doğrulanan haritada NaN olanlar atılır (tabs/tab_validation.py:486-492, 709-722). Böylece örnekleme alanı, iki haritanın da değer taşıdığı bütün ızgaradır; ① Data'daki erişilebilir alanla sınırlanmaz. Erişilebilir alan dışındaki uzak, açıkça uygun olmayan hücreler kolay doğru sınıflanan yokluklardır ve genel doğruluğu yükseltir. Doğrulamayı erişilebilir alanla sınırlamak için başvuru haritasının bu alan dışını NoData yapmak gerekir.

S6. Sonuç tekrarlanabilir mi? Random ve Stratified, koşu tohumundan (random_seed; bilinmiyorsa 42) kurulan yerel bir üreteç kullanır (tabs/tab_validation.py:413-420, 699); aynı tohum, aynı haritalar ve aynı nokta sayısı aynı noktaları verir. Tohum sonuç metnine ("Stratified (seed 42)") ve JSON raporuna yazılır. Systematic ve CSV File rastgelelik içermez.

S7. 500 nokta yeterli mi; sonucun belirsizliği nedir? Program genel doğruluk ya da Kappa için güven aralığı vermez. Sonuç tek bir örneklemden kestirildiği için örnekleme belirsizliği taşır. Basit rastgele örneklemde genel doğruluğun standart hatası yaklaşık \sqrt{p(1-p)/n}'dir; p = 0{,}9 ve n = 500 için bu yaklaşık 0,013'tür. Nadir sınıfın doğruluğu için tabakalı tasarım ya da daha çok nokta gerekir (Olofsson vd. 2014). Farklı tohumlarla tekrarlayarak ya da Number of points'i artırarak (en çok 100 000) değişkenliği görmek mümkündür.

S8. Bir olasılık haritasını ikili bir başvuruyla nasıl karşılaştırmalıyım? En doğru yol, olasılık haritasını modelin seçilen eşiğiyle ikiye ayırmış haritayı (…_bin.tif) ikili modda kullanmaktır. İkili modda bir olasılık haritası seçilirse değerler yuvarlanır, yani 0,5 eşiği uygulanmış olur (tabs/tab_validation.py:601); bu, modelin eşiği değildir. Sürekli modda ise 0/1 başvuru yalnız 1. ve son sınıfa düşer ve ölçütler iki şeyi karışık ölçer (§10.4.1).

S9. CSV noktalarıyla doğrulamada saha varlık/yokluk verisini nasıl kullanmalıyım? CSV yönteminde reference_value her zaman başvuru sınıf sınırlarıyla (sürekli moddaki gibi) sınıflanır (tabs/tab_validation.py:642); doğrulanan harita ise ikili modda yuvarlanmış 0/1 değerlerle okunur. İkili modda bu iki kodlama uyuşmaz (başvuru 1 ve N, harita 0 ve 1) ve sonuç anlamsız olur. Saha 0/1 verisini doğru karşılaştırmak için sürekli modu, Number of classes = 2 ve iki alt eşiği aynı değerde (ör. 0.500) kullanın: o zaman başvurudaki 0 ve 1 sırasıyla 1. ve 2. sınıfa, doğrulanan olasılık haritası da aynı eşikle iki sınıfa ayrılır. Doğrulanan harita ikili (…_bin.tif) ise eşik 0 ile 1 arasında herhangi bir değer olabilir.

S10. Başvuru haritası olarak bir yayılış (chorology) haritası kullanmanın sınırları nelerdir? Caudullo vd. (2017) gibi yayılış haritaları uzman çizimidir ve genellikle türün doğal yayılışının dış sınırını gösterir; sınırın içinde türün bulunmadığı yerler (uygun olmayan yükseklik, arazi kullanımı) de "varlık" sayılır. Bu, modelin uygun bulmadığı ama yayılış içinde kalan hücrelerde yanlış negatif sayısını artırır. Örnek koşuda modeldeki varlık hücreleri (7102) başvurudakinden (4458) fazladır; modelin "fazla" gösterdiği yerlerin bir kısmı iklimsel olarak uygun ama türün ulaşmadığı yerler olabilir. Bu nedenle bu karşılaştırma harita uyumunu ölçer; modelin biyolojik doğruluğunun kesin kanıtı değildir.

S11. Sonuç rapora otomatik geçiyor mu, ve ne eksik kalıyor? Evet; ⑧ Report'un 9. bölümü en son doğrulama sonucunu kullanır (tabs/tab_report.py:2269-2320). Rapor örnekleme yöntemini ve tohumu yazmaz; bu bilgi JSON ve metin raporunda vardır. Raporun yorum cümlesindeki "κ values above 0.60 are generally considered acceptable …" ifadesi genel bir kalıptır; kaynak göstermez ve Kappa'nın prevalans bağımlılığını hesaba katmaz. Raporu yayımlamadan önce örnekleme tasarımını ekleyin ve yorumu uyarlayın.

10.10 Sık hatalar ve tuzaklar

10.11 Kaynaklar

Allouche, O., Tsoar, A., Kadmon, R., 2006. Assessing the accuracy of species distribution models: prevalence, kappa and the true skill statistic (TSS). Journal of Applied Ecology 43, 1223–1232. https://doi.org/10.1111/j.1365-2664.2006.01214.x

Caudullo, G., Welk, E., San-Miguel-Ayanz, J., 2017. Chorological maps for the main European woody species. Data in Brief 12, 662–666. https://doi.org/10.1016/j.dib.2017.05.007

Cohen, J., 1960. A coefficient of agreement for nominal scales. Educational and Psychological Measurement 20, 37–46. https://doi.org/10.1177/001316446002000104

Congalton, R.G., 1991. A review of assessing the accuracy of classifications of remotely sensed data. Remote Sensing of Environment 37, 35–46. https://doi.org/10.1016/0034-4257(91)90048-B

Landis, J.R., Koch, G.G., 1977. The measurement of observer agreement for categorical data. Biometrics 33, 159–174. https://doi.org/10.2307/2529310

Olofsson, P., Foody, G.M., Herold, M., Stehman, S.V., Woodcock, C.E., Wulder, M.A., 2014. Good practices for estimating area and assessing accuracy of land change. Remote Sensing of Environment 148, 42–57. https://doi.org/10.1016/j.rse.2014.02.015

Pontius, R.G., Millones, M., 2011. Death to Kappa: birth of quantity disagreement and allocation disagreement for accuracy assessment. International Journal of Remote Sensing 32, 4407–4429. https://doi.org/10.1080/01431161.2011.552923