Cum evaluezi un model AI: set de test, matrice de confuzie și metrici esențiale
Află cum evaluezi un model AI pe date nevăzute, cum interpretezi matricea de confuzie, accuracy, precision, recall și F1 și cum eviți data leakage.
Un model de inteligență artificială poate produce răspunsuri care par convingătoare, dar asta nu înseamnă automat că face predicții corecte sau că este potrivit pentru problema pe care vrei să o rezolvi. Înainte să îl folosești într-o aplicație, într-un flux de lucru sau într-un produs, trebuie să îl evaluezi pe date pe care nu le-a văzut în timpul antrenării.
Evaluarea nu înseamnă doar să citești câteva rezultate și să decizi dacă „par bune”. Ai nevoie de un set de test separat, de metrici potrivite sarcinii și de o metodă reproductibilă. În acest ghid folosim un exemplu de clasificare și biblioteca Python scikit-learn pentru a explica pașii esențiali.
Ce înseamnă evaluarea unui model AI?
Evaluarea măsoară cât de bine se comportă un model pe exemple pentru care răspunsul corect este cunoscut, dar care nu au fost folosite la antrenare. Într-o problemă de clasificare, modelul poate decide dacă un mesaj este spam, dacă o fotografie conține un anumit obiect sau dacă o solicitare aparține unei categorii.
Scopul este să estimăm cât de bine se va generaliza modelul la date noi. Un scor obținut pe aceleași exemple folosite la antrenare poate fi înșelător: modelul poate memora exemplele fără să învețe un tipar care funcționează în afara lor. Documentația scikit-learn explică această problemă prin conceptele de overfitting și evaluare pe date păstrate separat.
Separă datele în seturi de antrenare, validare și test
Într-un flux obișnuit de învățare automată, datele sunt împărțite în seturi cu roluri diferite:
- Training: exemplele pe care modelul învață parametrii.
- Validation: exemplele folosite pentru compararea variantelor și alegerea hiperparametrilor sau a pragului de decizie.
- Test: exemplele păstrate pentru evaluarea finală, după ce deciziile de dezvoltare au fost încheiate.
Nu există o proporție universală care să fie corectă pentru orice proiect. Dimensiunea seturilor depinde de volumul datelor, de distribuția claselor și de costul unei evaluări greșite. Pentru un set mic, validarea încrucișată poate folosi mai eficient datele disponibile, dar setul de test final trebuie păstrat separat dacă vrei o estimare independentă.
Cu scikit-learn, o împărțire simplă se poate face astfel:
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X,
y,
test_size=0.2,
random_state=42,
stratify=y
)
X reprezintă caracteristicile, iar y etichetele corecte. Parametrul stratify=y încearcă să păstreze proporțiile claselor în ambele subseturi, lucru util mai ales când clasele nu sunt distribuite uniform. El nu înlocuiește verificarea dimensiunii fiecărei clase și nu este potrivit pentru orice structură de date, de exemplu pentru unele serii temporale sau date grupate. Poți consulta și documentația oficială train_test_split din scikit-learn pentru parametri și limite.
Evită scurgerea de informații între seturi
Data leakage apare atunci când informații care ar trebui să fie disponibile numai la evaluare ajung, direct sau indirect, în procesul de antrenare. Un exemplu este calcularea valorilor de normalizare folosind întregul set înainte de împărțirea în training și test. Modelul beneficiază astfel de informații despre distribuția datelor de test.
Împarte datele înainte de a învăța transformările statistice. În scikit-learn, un Pipeline poate lega preprocesarea de model, astfel încât operațiile să fie învățate numai din datele de antrenare ale fiecărui fold. Nu folosi setul de test pentru a încerca repetat variante până când obții scorul dorit: în acel moment începi să te adaptezi indirect la test.
Matricea de confuzie: unde greșește clasificatorul?
Matricea de confuzie compară etichetele reale cu predicțiile modelului. Pentru o clasificare binară, apar patru situații:
- True Positive (TP): modelul identifică corect un caz pozitiv.
- True Negative (TN): modelul identifică corect un caz negativ.
- False Positive (FP): modelul semnalează pozitiv un caz care este negativ.
- False Negative (FN): modelul ratează un caz care este pozitiv.
Aceste erori nu au întotdeauna același cost. La filtrarea mesajelor, un false positive poate trimite un mesaj legitim în spam. Într-un sistem de triere, un false negative poate însemna că un caz important nu este semnalat. De aceea, matricea trebuie citită în contextul utilizării, nu doar ca un tabel de numere.
Accuracy, precision, recall și F1: ce măsoară fiecare?
Metricile de clasificare răspund la întrebări diferite. Acuratețea este proporția predicțiilor corecte din total, dar poate ascunde performanța slabă asupra unei clase rare.
| Metrică | Ce măsoară | Când este utilă |
|---|---|---|
| Accuracy | Proporția tuturor predicțiilor corecte | Când clasele și costurile erorilor sunt relativ echilibrate |
| Precision | Din predicțiile pozitive, câte sunt corecte | Când alarmele false sunt costisitoare |
| Recall | Din cazurile pozitive reale, câte sunt găsite | Când este important să nu ratezi cazuri pozitive |
| F1-score | Media armonică dintre precision și recall | Când vrei un compromis între cele două |
| Specificity | Proporția cazurilor negative identificate corect | Când contează controlul rezultatelor fals pozitive |
În clasificarea binară, formulele uzuale sunt:
accuracy = (TP + TN) / (TP + TN + FP + FN)precision = TP / (TP + FP)recall = TP / (TP + FN)F1 = 2 × precision × recall / (precision + recall)specificity = TN / (TN + FP)
F1 nu este o măsură universală a calității. Dacă un proiect are costuri diferite pentru FP și FN, trebuie să alegi metrica și pragul în funcție de acele costuri. Documentația scikit-learn descrie separat aceste metrici și variantele lor pentru clasificare binară, multiclasă și multilabel. Pentru un raport compact pe fiecare clasă, vezi și referința oficială classification_report.
Exemplu practic cu scikit-learn
Următorul exemplu folosește zece observații artificiale, create exclusiv pentru a ilustra calculul. Nu reprezintă un benchmark și nu descrie performanța unui model real. Eticheta 1 este clasa pozitivă, iar 0 este clasa negativă.
from sklearn.metrics import (
accuracy_score,
classification_report,
confusion_matrix
)
y_true = [1, 0, 1, 1, 0, 0, 1, 0, 1, 0]
y_pred = [1, 0, 0, 1, 0, 1, 1, 0, 1, 0]
print(confusion_matrix(y_true, y_pred, labels=[0, 1]))
print("Accuracy:", accuracy_score(y_true, y_pred))
print(classification_report(
y_true,
y_pred,
labels=[0, 1],
target_names=["negativ", "pozitiv"],
zero_division=0
))
Matricea de confuzie pentru acest exemplu este [[4, 1], [1, 4]], dacă ordinea etichetelor este [0, 1]. Modelul a clasificat corect opt din zece observații, deci accuracy este 0,8. Pentru clasa pozitivă are patru rezultate corecte și un fals pozitiv, respectiv un fals negativ: precision și recall sunt fiecare 0,8, iar F1 este tot 0,8.
Într-un proiect real, nu te opri la acest raport. Verifică numărul de exemple din fiecare clasă, distribuția erorilor și dacă setul de test reflectă modul în care aplicația va primi date după lansare.
De ce accuracy poate induce în eroare pe date dezechilibrate
Imaginează-ți un set de test cu 100 de exemple, dintre care 95 sunt negative și numai 5 pozitive. Un clasificator care prezice mereu clasa negativă obține 95% accuracy, dar recall pentru clasa pozitivă este zero: nu identifică niciun caz pozitiv.
Într-o asemenea situație, analizează precision, recall, F1 și matricea de confuzie. Poți consulta și balanced accuracy, care calculează media recall-ului pe clase, pentru a nu lăsa clasa majoritară să domine singură scorul. Alege metrica în funcție de problema concretă, nu pentru că oferă cel mai mare număr.
Macro, micro și weighted: cum agregi rezultatele pe mai multe clase?
La clasificarea cu mai mult de două clase, precision, recall și F1 pot fi calculate separat pentru fiecare clasă și apoi agregate:
- Macro: calculează metrica pentru fiecare clasă și face media simplă; fiecare clasă are aceeași pondere.
- Weighted: face media ponderată cu numărul de exemple din fiecare clasă.
- Micro: adună contribuțiile TP, FP și FN înainte de calcul; în clasificarea multiclasă obișnuită cu o singură etichetă per exemplu, poate coincide cu accuracy.
Raportarea macro poate scoate la iveală performanța slabă pe clase rare, în timp ce weighted reflectă mai mult distribuția setului. Este util să citești valorile pe fiecare clasă, nu doar media generală.
Pragul de decizie schimbă rezultatul
Multe clasificatoare produc un scor sau o probabilitate estimată, apoi aplică un prag pentru a decide eticheta finală. Pragul implicit nu este automat cel potrivit pentru orice aplicație. Un prag mai mic poate crește recall, dar poate crește și numărul de false positive; unul mai mare poate reduce alarmele false, dar poate rata mai multe cazuri pozitive.
Alege pragul folosind setul de validare și criteriul stabilit pentru proiect. Păstrează setul de test pentru evaluarea finală a configurației alese. Dacă ajustezi pragul după fiecare rezultat văzut pe test, scorul final nu mai este o estimare independentă.
Validarea încrucișată și repetabilitatea evaluării
În validarea încrucișată de tip k-fold, datele de antrenare sunt împărțite în k părți. Modelul este antrenat pe k−1 părți și evaluat pe partea rămasă, iar procesul se repetă astfel încât fiecare parte să fie folosită la validare. Rezultatele oferă o imagine mai stabilă decât o singură împărțire, mai ales când setul este redus.
Nu orice date trebuie amestecate aleatoriu. Pentru serii temporale, de exemplu, antrenarea pe observații viitoare și testarea pe trecut ar crea o evaluare nerealistă. Pentru persoane, clienți sau dispozitive care apar de mai multe ori, poate fi necesară separarea pe grupuri, ca exemplele aproape identice să nu ajungă în ambele subseturi.
Păstrează versiunea datelor, codul de preprocesare, configurația modelului, versiunea bibliotecilor și seed-ul aleatoriu folosit. Astfel, poți reproduce evaluarea și poți înțelege de ce două rulări au rezultate diferite. Găsești detalii despre variantele de validare în ghidul oficial de cross-validation.
Cum evaluezi un model generativ sau un sistem bazat pe RAG?
Metricile de clasificare nu sunt suficiente pentru un chatbot, un model generativ sau un sistem RAG. Construiește un set de prompturi reprezentative pentru sarcinile reale și definește criterii înainte să compari variantele: corectitudinea răspunsului, respectarea formatului, folosirea surselor furnizate, stabilitatea la reformulări, comportamentul la întrebări fără răspuns și rezistența la intrări neobișnuite.
Combină verificările automate cu evaluarea umană pe un eșantion bine ales. Pentru un sistem care răspunde din documente, verifică separat dacă a recuperat fragmente relevante și dacă răspunsul final este susținut de ele. Ghidul nostru despre funcționarea sistemelor RAG explică etapele de recuperare și generare, iar articolul despre AI multimodal tratează tipurile de intrări care pot necesita seturi de test diferite. Dacă verifici separat afirmațiile dintr-un răspuns, vezi și metoda de verificare a informațiilor generate de AI.
Notează și latența, costul pe solicitare, rata de eșec și comportamentul în condiții de încărcare. Dacă modelul face parte dintr-un agent, testează separat acțiunile, permisiunile și comportamentul la erori; ghidul despre agenții AI și limitele lor explică de ce această evaluare este diferită. Un răspuns bun într-un test izolat nu garantează că sistemul este potrivit pentru volumul, utilizatorii și constrângerile aplicației.
O evaluare responsabilă continuă și după lansare
Un model poate performa bine pe un set de test și totuși să se degradeze când se schimbă datele din lumea reală. Monitorizează distribuția intrărilor, rata erorilor, feedbackul utilizatorilor și diferențele dintre grupurile relevante pentru aplicație. Repetă evaluarea când schimbi datele, modelul, promptul, preprocesarea sau configurația de producție.
Cadrul NIST pentru managementul riscurilor AI recomandă tratarea evaluării ca parte a unui proces mai amplu de guvernanță și gestionare a riscurilor, nu ca pe un singur scor obținut la finalul dezvoltării. Pentru orientare, consultă AI Risk Management Framework publicat de NIST și documentația scikit-learn despre metricile de evaluare.
Un scor bun trebuie să răspundă unei întrebări concrete
Înainte să alegi un model, stabilește ce înseamnă o eroare pentru utilizator și ce rezultat vrei să optimizezi. Separă corect datele, păstrează testul neatins până la evaluarea finală, citește metricile pe fiecare clasă și verifică sistemul în condiții apropiate de utilizarea reală. Un scor nu certifică singur calitatea unui model; el devine util când este interpretat în raport cu sarcina, datele și riscurile aplicației.
Descoperă mai multe la Scoala IT
Abonează-te ca să primești ultimele articole prin email.