Dokazi i ograničenja

Zadnja provjera: listopad 2026.

Koliko možemo vjerovati zaključku koji smo dobili? To je pitanje ove lekcije.

U prethodnim lekcijama pitali smo što pojedine metode i znakovi mogu reći o osobi, a u lekciji [Mitovi i činjenice](/profiliranje/mitovi) jesu li popularne tvrdnje opravdane. Ova lekcija ide korak dublje i pita: **kako uopće procjenjujemo koliko je neki zaključak opravdan?**

Rečenica „svaka metoda ima ograničenja” točna je, ali sama po sebi ne pomaže. Korisno je znati **koja** ograničenja postoje, **kako** ih prepoznati i **koliko** mijenjaju zaključak. Neka ograničenja tek malo smanjuju sigurnost. Druga mogu pretvoriti naizgled snažan nalaz u gotovo bezvrijedan – kao što ćemo vidjeti na primjeru baznih stopa.

Lekcija ne završava porukom da ništa ne možemo znati. Cilj je drukčiji: naučiti razlikovati zaključke koje podaci podržavaju od onih koje samo dopuštaju – i one koje ne podržavaju uopće.

1. Tvrdnja, podatak i dokaz

Što je dokaz?

U lekciji [Kako nastaje profil?](/profiliranje/kako-nastaje-profil) razlikovali smo činjenicu, tvrdnju i interpretaciju. Ovdje dodajemo pojam **dokaza**. Podatak postaje dokaz tek u odnosu na neku tvrdnju: on je dokaz *za* nešto ili *protiv* nečega.

Isti podatak može biti snažan dokaz za jednu tvrdnju, a gotovo bez vrijednosti za drugu. Evidencija ulaznih kartica snažan je dokaz o tome kada je netko izašao iz zgrade, ali vrlo slab dokaz o tome što je radio unutra.

Kvaliteta podataka

Prije nego što pitamo što podatak znači, treba pitati koliko je dobar:

Loš podatak ne postaje bolji ni kada se dobro protumači.

Dokazna vrijednost: razlikuje li podatak hipoteze?

Najvažnije pitanje o nekom podatku nije „slaže li se s mojom hipotezom?”, nego **„koliko je vjerojatniji ako je moja hipoteza točna nego ako je točna neka druga?”**.

Ako je osoba nervozna na razgovoru, to se slaže s hipotezom da nešto skriva. Ali nervoza je česta i kod ljudi koji ništa ne skrivaju, a nalaze se u stresnoj situaciji. Ako je nervoza gotovo jednako česta u oba slučaja, podatak se slaže s hipotezom, ali je gotovo ne podržava – jer jednako dobro odgovara i suprotnoj hipotezi.

Ta se ideja u statistici izražava kao **omjer vjerodostojnosti**: koliko je puta neki podatak češći kada je hipoteza točna nego kada nije. Podatak koji je deset puta češći kod onih za koje hipoteza vrijedi ima veliku dokaznu vrijednost. Podatak koji je jednako čest u oba slučaja nema je, koliko god se činio „sumnjivim”. U lekciji o nastanku profila taj smo pojam opisali kao **razlikovni podatak**.

2. Korelacija i uzročnost

Treća varijabla

Dvije stvari mogu biti povezane, a da jedna ne uzrokuje drugu – jer ih obje uzrokuje nešto treće. Ako ljudi koji češće mijenjaju posao rjeđe napreduju, uzrok ne mora biti u samom mijenjanju posla. Oboje može biti posljedica nečeg trećeg, primjerice zdravstvenih poteškoća ili zanimanja u kojem su ugovori kratki.

Metodološki pregled zaključivanja iz opažajnih podataka upozorava da uzročni zaključci iz povezanosti nisu mehanički postupak, nego uvijek ovise o pretpostavkama o tome kako su varijable međusobno povezane. Čak i „kontroliranje” trećih varijabli može, ako se pogrešno primijeni – primjerice na nereprezentativnom uzorku – udaljiti procjenu od stvarnog uzročnog učinka (Rohrer, 2018).

Obrnuti smjer

Povezanost ne govori ni o smjeru. Ako su osobe koje se često sukobljavaju s kolegama i nezadovoljnije poslom, ne znamo uzrokuje li sukob nezadovoljstvo, nezadovoljstvo sukob ili oboje proizlazi iz loših uvjeta rada.

Od skupine do pojedinca

Ovo je za profiliranje možda i najvažnije. Povezanost na razini skupine ne govori koliko vrijedi za pojedinca. Ako je neko obilježje u prosjeku nešto češće kod ljudi koji krše pravila, većina ljudi s tim obilježjem može i dalje biti potpuno u skladu s pravilima. Iz toga što je nešto „povezano s” ne slijedi da je kod ove osobe to „znak za”.

3. Mjerenje: pouzdanost i valjanost

U lekciji [Metode i pristupi profiliranju](/profiliranje/metode) upoznali smo pouzdanost i valjanost kao kriterije za psihološke testove. Ovdje ih razdvajamo preciznije, jer se u praksi lako pomiješaju.

Pouzdanost

**Pouzdanost** odgovara na pitanje: *dobivamo li relativno stabilan i dosljedan rezultat?* Daju li dva procjenitelja isti rezultat? Daje li isti postupak sličan rezultat danas i za tjedan dana?

Valjanost

**Valjanost** odgovara na drukčije pitanje: *mjeri li ili predviđa postupak ono što tvrdimo da mjeri ili predviđa – i opravdava li zaključke koje iz njega izvodimo?* Suvremeno shvaćanje valjanosti ne promatra je kao svojstvo testa samog po sebi, nego kao svojstvo **tumačenja i upotrebe** rezultata, uključujući i posljedice te upotrebe (Messick, 1995).

Pouzdano, ali nevaljano

Vaga koja svaki put pokaže dva kilograma više vrlo je pouzdana: rezultat je uvijek isti. Ali nije valjana, jer ne pokazuje stvarnu težinu.

Isto vrijedi za procjene ljudi. Dva promatrača mogu se vrlo dobro složiti u tome koliko je puta osoba skrenula pogled tijekom razgovora – to je pouzdano opažanje. Ali kao što smo vidjeli u lekciji [Govor tijela](/profiliranje/govor-tijela), skretanje pogleda nije valjan pokazatelj laganja. Pouzdanost je nužan, ali ne i dovoljan uvjet valjanosti.

Valjano za jednu svrhu, ali ne i za drugu

Upitnik koji dobro mjeri savjesnost može biti koristan pokazatelj kako će osoba u prosjeku pristupati zadacima. Isti upitnik nije valjan za zaključak o tome je li osoba počinila određeni prekršaj. Rezultat nije postao lošiji – promijenila se svrha, a za novu svrhu valjanost nije provjerena.

Kriterijska i prediktivna valjanost

**Kriterijska valjanost** pokazuje koliko je rezultat povezan s nekim vanjskim kriterijem – primjerice s procjenama uspješnosti na poslu. Kada se kriterij mjeri kasnije, govorimo o **prediktivnoj valjanosti**: koliko dobro rezultat danas predviđa nešto što će se dogoditi sutra.

Inkrementalna valjanost

Za praksu je često važnije sljedeće pitanje: *dodaje li nova informacija išta onome što već znamo?* To je **inkrementalna valjanost**. Pregled tog područja upozorava da se ona u većini područja primijenjene psihologije premalo provjerava i da prijenos nalaza o skupinama na pojedinačne slučajeve nosi posebne izazove (Hunsley i Meyer, 2003). Postupak koji je sam po sebi valjan može biti beskoristan ako ponavlja ono što je već poznato iz jednostavnijeg izvora.

4. Veličina učinka i praktična korisnost

Statistička značajnost nije veličina

„Statistički značajna povezanost” znači da je malo vjerojatno da je nalaz posljedica slučajnosti u uzorku. Ne znači da je povezanost velika ni da je korisna. U vrlo velikom uzorku i sasvim mala povezanost može biti statistički značajna. Za praksu je važnija **veličina učinka** – koliko je povezanost ili razlika stvarno velika.

Koliko je velik „velik” učinak?

Veličine učinka u psihologiji često se pogrešno tumače kao zanemarive. Metodološki pregled predlaže da se procjenjuju kroz konkretne posljedice. Prema tom pregledu, pouzdano procijenjena korelacija od 0,30 predstavlja velik učinak, koristan i kratkoročno i dugoročno, a vrlo velike korelacije, od 0,40 i više, u psihološkim istraživanjima vjerojatno su često precijenjene (Funder i Ozer, 2019).

Pregled više od 125 meta-analiza valjanosti psiholoških testova pokazao je da je njihova valjanost usporediva s valjanošću mnogih medicinskih testova (Meyer i sur., 2001). Ograničena preciznost dakle ne znači da je mjerenje beskorisno.

Od prosjeka do pojedinca

Istodobno, učinak koji je velik za psihologiju još uvijek ostavlja mnogo neizvjesnosti za pojedinačnu odluku. Isti metodološki pregled naglašava da je korelacija od 0,05 vrlo mala za objašnjenje pojedinačnog događaja, iako može biti važna kroz mnogo ponavljanja (Funder i Ozer, 2019). Nalaz može biti važan za politiku koja se primjenjuje na tisuće ljudi, a vrlo slab za odluku o jednoj osobi.

5. Bazne stope: zašto isti rezultat može značiti vrlo različite stvari

Ovo je jedno od najvažnijih i najmanje intuitivnih područja cijele lekcije.

Intuitivni primjer

Zamislimo da netko kaže: „Ovaj postupak prepoznaje 90 % osoba koje traži.” Zvuči odlično. Ako postupak za nekoga pokaže „pozitivno”, većina ljudi pomisli da je vjerojatnost oko 90 % da je ta osoba doista ono što tražimo.

To je pogrešno – i pogreška može biti golema. Odgovor ovisi o nečemu što u toj rečenici uopće nije navedeno: koliko je ono što tražimo **često**.

Bazna stopa

**Bazna stopa** (ili **prevalencija**) jest koliko je neka pojava česta u skupini koju procjenjujemo. Ne treba je miješati s **baznom linijom** iz lekcija [Uvod u profiliranje](/profiliranje/uvod) i [Govor tijela](/profiliranje/govor-tijela): bazna linija je uobičajeni obrazac ponašanja jedne osobe, a bazna stopa učestalost pojave u određenoj populaciji. Klasičan rad iz psihološke procjene upozorio je da se bazne stope u istraživanjima gotovo nikad ne navode, a da bez njih nije moguće procijeniti je li neki postupak uopće korisniji od jednostavnog oslanjanja na to koliko je pojava česta (Meehl i Rosen, 1955). Istraživanja intuitivnog zaključivanja pokazala su da ljudi pri predviđanju bazne stope često zanemaruju i oslanjaju se na to koliko se slučaj „čini tipičnim” (Kahneman i Tversky, 1973).

Veliki numerički primjer: 10.000 zaposlenika

Velika tvrtka sumnja da netko odaje povjerljive podatke. Uprava razmišlja o tome da sve zaposlenike provjeri postupkom koji, prema proizvođaču, ima ova obilježja:

Pretpostavimo da je u tvrtki 10.000 zaposlenika i da podatke odaje njih 1 % – dakle 100 osoba.

Korak po korak:

Sada ključno pitanje: od tih 1.080 označenih, koliko ih doista odaje podatke? Samo 90.

*90 ÷ 1.080 = 0,083, odnosno oko 8 %.*

Postupak s „90 % točnosti” dao je rezultat u kojem je **više od 91 % označenih osoba nevino**. Na svakog stvarnog počinitelja dolazi jedanaest nevinih osoba pod sumnjom.

Osjetljivost nije isto što i pozitivna prediktivna vrijednost

Ta dva broja odgovaraju na različita pitanja:

Formula je jednostavna: pozitivna prediktivna vrijednost jednaka je broju istinito pozitivnih podijeljenom s ukupnim brojem pozitivnih rezultata, odnosno *istinito pozitivni ÷ (istinito pozitivni + lažno pozitivni)*.

Postoji i **negativna prediktivna vrijednost**: ako je postupak pokazao „nesumnjivo”, koliko je vjerojatno da osoba doista nije ono što tražimo? U primjeru: 8.910 od 8.920 negativnih rezultata je točno, odnosno oko 99,9 %. Postupak je dakle vrlo dobar u potvrđivanju da netko *nije* problem, a vrlo slab u potvrđivanju da netko *jest*. Takav obrazac nije neobičan: kao što smo spomenuli u lekciji o mitovima, i instrumenti za procjenu rizika od nasilja bolje prepoznaju osobe niskog rizika nego što potvrđuju visoki rizik (Fazel i sur., 2012).

Kada se bazna stopa promijeni

Isti postupak, s istom osjetljivošću i specifičnošću, primijenimo sada na skupinu od 10.000 osoba u kojoj je, zbog prethodne provjere drugim podacima, ciljana pojava znatno češća – 30 %:

*2.700 ÷ 3.400 = 0,794, odnosno oko 79 %.*

Isti „pozitivni rezultat” sada znači nešto potpuno drugo: od oko 8 % na oko 79 %. Postupak se nije promijenio – promijenila se skupina.

Kada se poboljša specifičnost

Vratimo se na baznu stopu od 1 %, ali zamislimo bolji postupak sa specifičnošću od 99 % umjesto 90 %:

*90 ÷ 189 = 0,476, odnosno oko 48 %.*

Čak i uz specifičnost od 99 %, otprilike svaka druga označena osoba je nevina. Kod rijetkih pojava i vrlo dobri postupci daju mnogo lažnih uzbuna.

Zašto je to teško?

Ljudi takve zadatke rješavaju mnogo lakše kada su informacije prikazane kao **broj slučajeva** („90 od 1.080 osoba”), a ne kao postoci i vjerojatnosti. U istraživanju u kojem su informacije bile prikazane u obliku učestalosti, sudionici bez statističkog obrazovanja znatno su češće dolazili do ispravnog zaključka (Gigerenzer i Hoffrage, 1995). Zato je u ovom primjeru sve prikazano na 10.000 osoba.

Pravilo koje vrijedi zapamtiti: **što je ono što tražimo rjeđe, to će veći dio „pozitivnih” rezultata biti lažan** – čak i kada je postupak dobar.

6. Lažno pozitivni i lažno negativni rezultati

Dvije vrste pogrešaka

Svaka odluka „da” ili „ne” može pogriješiti na dva načina:

Prag odluke

Kod većine postupaka može se pomicati prag – koliko „sumnje” je dovoljno da osobu označimo. Niži prag otkriva više stvarnih slučajeva, ali označava i više nevinih. Viši prag smanjuje lažne uzbune, ali propušta više stvarnih slučajeva. Pregled psihologije dijagnostičkih odluka naglašava da je izbor praga pitanje vrijednosti i posljedica, a ne samo statistike: treba odlučiti koja je pogreška u određenoj situaciji ozbiljnija (Swets, Dawes i Monahan, 2000).

Granice predviđanja rijetkih ponašanja

Zato je predviđanje rijetkih i ozbiljnih ponašanja posebno teško. Kao što smo vidjeli u lekciji o mitovima, ni instrumenti razvijeni upravo za procjenu rizika od nasilja ne predviđaju pouzdano postupak pojedinca (Fazel i sur., 2012). Usporedba devet često korištenih instrumenata pokazala je i da se njihova prediktivna vrijednost razlikuje: najbolje rezultate dao je instrument razvijen posebno za procjenu rizika od nasilja kod mladih, a među najslabijima je bila skala osobina ličnosti koja se često koristi i za procjenu rizika. Instrumenti su bili točniji u nekim skupinama ispitanika nego u drugima (Singh, Grann i Fazel, 2011).

7. Uzorak, generalizacija i prilagođavanje podacima

Tko je bio u uzorku?

Nalaz vrijedi prije svega za ljude slične onima koji su sudjelovali u istraživanju. Pregled istraživanja iz više područja psihologije pokazao je da se velik dio istraživanja oslanja na uzorke iz zapadnih, obrazovanih, industrijaliziranih, bogatih i demokratskih društava, koji se u mnogim područjima razlikuju od ostatka čovječanstva (Henrich, Heine i Norenzayan, 2010). Već smo vidjeli da su i instrumenti za procjenu rizika bili različito točni u različitim skupinama (Singh, Grann i Fazel, 2011).

Laboratorij i stvarni svijet

Mnogo istraživanja o laganju, procjeni ljudi i neverbalnom ponašanju provodi se u laboratoriju: sudionici lažu po uputi, ulozi su mali, a situacija je pojednostavljena. Takvi uvjeti omogućuju kontrolu, ali rezultati se ne moraju jednako prenijeti na stvarne situacije, u kojima su posljedice ozbiljne, a ljudi i okolnosti mnogo raznolikiji.

Prilagođavanje podacima

Kada se model ili skup pravila razvije na jednom skupu podataka, on se može previše prilagoditi tim podacima – uključujući i njihove slučajne osobitosti. Takav model izvrsno „objašnjava” podatke na kojima je nastao, a lošije predviđa nove slučajeve. To se naziva **prilagođavanje podacima** (engl. *overfitting*). Metodološki pregled upozorava da je psihologija dugo bila usmjerena na objašnjavanje mehanizama, a premalo na provjeru koliko dobro njezine teorije predviđaju buduće ponašanje na novim podacima (Yarkoni i Westfall, 2017).

Isto vrijedi i za neformalno profiliranje: profil koji je „pogodio” sve detalje poznatog slučaja ne mora ništa reći o sljedećem.

Jedno istraživanje nije konačan odgovor

U velikom projektu ponovljeno je 100 istraživanja objavljenih u psihološkim časopisima. Iako je 97 % izvornih istraživanja imalo statistički značajne rezultate, takve je rezultate dalo samo 36 % ponovljenih, a učinci u ponovljenim istraživanjima bili su u prosjeku upola manji (Open Science Collaboration, 2015). To ne znači da su izvorni nalazi bili izmišljeni, nego da jedno istraživanje, osobito s malim uzorkom, treba smatrati vrijednim, ali privremenim podatkom.

8. Više dokaza nije automatski bolji dokaz

U lekcijama o govoru tijela, komunikaciji i mitovima vidjeli smo da više znakova u istom smjeru ne znači nužno siguran zaključak. Ovdje objašnjavamo zašto.

Neovisni izvori

Dva su podatka **neovisna** kada nastaju na različite načine i kada pogreška u jednome ne utječe na drugi. Evidencija ulaznih kartica i snimka kamere u hodniku neovisni su: ako jedna griješi, nema razloga da i druga griješi na isti način.

Povezani pokazatelji i redundantne informacije

Pokazatelji su **povezani** kada proizlaze iz istog uzroka. Ako je osoba napeta, napetost se može pokazati u glasu, pogledu, rukama i načinu govora. To su četiri opažanja, ali jedan izvor informacija. Ako su četiri kolege čule istu glasinu od iste osobe, to je jedna informacija prenesena četiri puta. Takve informacije su **redundantne**: ponavljaju isto, a ne dodaju novo.

Numerička ilustracija: tri znaka

Zamislimo da tražimo nešto što je na početku vrlo rijetko – recimo, omjer je 1 prema 99 (oko 1 %). Zamislimo i znak koji je **dva puta** češći kod onih koje tražimo nego kod ostalih.

Primjer pokazuje dvije stvari. Povezani znakovi daju lažni osjećaj sigurnosti. A čak i tri neovisna, ali slaba znaka, uz rijetku pojavu, vode do zaključka koji je još uvijek vrlo daleko od sigurnosti.

Kumulativni dokaz

To ne znači da se dokazi ne mogu zbrajati. **Kumulativni dokaz** – više neovisnih podataka, od kojih svaki ima stvarnu dokaznu vrijednost – može opravdano dovesti do snažnog zaključka. Ključ je u neovisnosti i u dokaznoj vrijednosti svakog podatka, a ne u njihovu broju.

Postoji i manje očita zamka: podaci koji su na početku bili neovisni mogu prestati biti neovisni ako ih tumači netko tko već zna za druge podatke. Pregled forenzične pristranosti potvrđivanja opisuje kako, primjerice, saznanje o priznanju može utjecati na to kako svjedoci i stručnjaci tumače druge dokaze (Kassin, Dror i Kukucka, 2013). Tada „neovisne potvrde” zapravo nastaju iz istog početnog očekivanja.

Kada dodatna informacija pomaže, a kada šteti?

Intuitivno se čini da više informacija uvijek pomaže. Ali dodatna informacija može i pogoršati procjenu:

Dodatna informacija pomaže kada ima vlastitu dokaznu vrijednost i dodaje nešto novo – kada ima inkrementalnu valjanost. Ne pomaže samo zato što je „još jedan podatak”.

9. Kliničko i statističko predviđanje

Tri pristupa

Kada se o osobi donosi procjena na temelju više podataka, podaci se mogu kombinirati na različite načine:

Što istraživanja pokazuju?

Istraživanja koja uspoređuju te pristupe imaju dugu povijest, a pregledi dolaze do sličnog zaključka:

Zanimljivo je i to da čak i jednostavni modeli, u kojima svi prediktori imaju jednaku težinu, u predviđanju brojčanih ishoda iz brojčanih podataka često nadmašuju intuitivnu prosudbu (Dawes, 1979). Prednost formule često nije u njezinoj složenosti, nego u **dosljednosti**: primjenjuje ista pravila na svaki slučaj, ne umara se i ne mijenja težinu podataka ovisno o dojmu.

Gdje stručnjak ostaje važan?

To ne znači da je stručnjak suvišan:

Ægisdóttir i suradnici zato daju preporuke o tome kada se osloniti na formule, a kada na kliničke metode, umjesto da jedan pristup proglase uvijek boljim (Ægisdóttir i sur., 2006).

Rizici svakog pristupa

Razuman pristup često kombinira snage: stručnjak sustavno prikuplja podatke, a za njihovo kombiniranje koristi se provjereno pravilo kad god postoji.

10. Pristranost stručnjaka

Znanje ne štiti od pristranosti

Pristranost nije znak lošeg stručnjaka. Ona je posljedica toga kako ljudski um obrađuje informacije – i pojavljuje se i kod iskusnih ljudi s najboljim namjerama. Stručno znanje pomaže znati *što* gledati, ali ne čini procjenitelja imunim na to *kako* na njega djeluje ono što već zna ili očekuje.

Kontekst i očekivanja

Sidrenje

**Sidrenje** je pojava da se procjena „lijepi” uz neki početni broj ili informaciju, čak i kada ta informacija nije relevantna. U istraživanju s iskusnim pravnim stručnjacima, njihove odluke o kazni bile su pomaknute prema predloženoj kazni čak i kada su znali da je ona određena nasumično – pa i kada su je sami odredili bacanjem kocke. Stručnost i iskustvo nisu smanjili taj učinak (Englich, Mussweiler i Strack, 2006).

Za profiliranje to znači da i prva procjena, prvi dojam ili prvi broj koji netko izgovori mogu utjecati na sve što slijedi.

Naknadna pamet

Kao što smo vidjeli u [Uvodu u profiliranje](/profiliranje/uvod), kada znamo ishod, čini nam se da je bio predvidljiv (Fischhoff, 1975). Za procjenu dokaza to je posebno opasno: kada znamo tko je „kriv”, lako nam se čini da su svi podaci „očito” upućivali na njega.

Slijepa pjega za pristranost

Ljudi pristranost lakše vide kod drugih nego kod sebe. U nizu istraživanja sudionici su sebe procjenjivali manje pristranima od drugih, a i kada su pročitali kako bi pristranost mogla djelovati na njih, ostajali su uvjereni da su njihove procjene točne i objektivne (Pronin, Lin i Ross, 2002).

To vrijedi i za stručnjake. U anketi među 403 iskusna forenzična stručnjaka iz 21 zemlje većina je vjerovala da je imuna na pristranost ili da je može smanjiti samom voljom, a manje od polovice podržavalo je slijepo testiranje. Mnogi su pristranost priznavali kod drugih stručnjaka, ali ne i kod sebe (Kukucka i sur., 2017).

Upravo zato rješenje nije u tome da se stručnjacima kaže „budite objektivni”, nego u postupcima koji ograničavaju utjecaj nepotrebnih informacija.

11. Slijepi postupci i redoslijed informacija

Što je slijepa procjena?

**Slijepa** (engl. *blind*) procjena znači da procjenitelj tijekom određenog dijela procjene ne zna informaciju koja bi mogla utjecati na njegovu prosudbu, a nije mu potrebna za zadatak. U **dvostruko slijepom** postupku ni osoba koja provodi postupak ni osoba koja sudjeluje u njemu ne znaju ključnu informaciju.

Ideja je jednostavna: *ponekad je najbolji način da smanjimo utjecaj neke informacije taj da je procjenitelj ne vidi prije nego što donese određenu procjenu.*

Primjer iz prakse su preporuke za prepoznavanje osumnjičenih u nizu osoba: stručna skupina psihologa preporučuje da postupak provodi osoba koja ne zna tko je osumnjičeni, kako ne bi nenamjerno utjecala na svjedoka (Wells i sur., 2020).

Redoslijed: postupno otkrivanje informacija

Nije uvijek moguće ili poželjno da procjenitelj ne zna ništa. Neke informacije jesu potrebne za zadatak. Zato su predloženi postupci **postupnog otkrivanja**: procjenitelj najprije analizira i zabilježi svoju procjenu same građe, a tek zatim, korak po korak, dobiva dodatne informacije – pri čemu se bilježi što je znao u kojem trenutku (Dror i sur., 2015).

Za neformalnu procjenu ljudi ideja se može primijeniti jednostavno: najprije zapisati što smo opazili, a tek onda pročitati tuđe mišljenje, dosje ili „što se priča”.

Što slijepi postupci ne mogu riješiti?

Slijepi postupci nisu čarobno rješenje, nego jedan od alata koji smanjuje jedan važan izvor pogreške.

12. Poligraf: primjer fiziološke procjene

Poligraf je dobar primjer na kojem se mogu vidjeti gotovo svi pojmovi ove lekcije: mjerenje, valjanost, laboratorijski i stvarni uvjeti, bazne stope i lažno pozitivni rezultati.

Što poligraf zapravo mjeri?

Poligraf ne mjeri laž. Prema izvještaju američke Nacionalne akademije znanosti, instrument mjeri nekoliko fizioloških procesa, primjerice otkucaje srca, i njihove promjene (National Research Council, 2003). Iz tih se promjena zatim zaključuje o tome je li osoba reagirala jače na određena pitanja.

Fiziološka reakcija nije isto što i laž. Reakcija može biti posljedica straha, uzbuđenja, sramote, ljutnje zbog pitanja ili straha da nam se neće vjerovati – kod osobe koja govori istinu jednako kao i kod osobe koja laže.

Što istraživanja govore?

Isti izvještaj zaključio je da poligrafsko ispitivanje o određenom događaju može razlikovati laganje od govorenja istine bolje od slučajnosti, ali daleko od savršeno, te da gotovo stoljeće istraživanja u psihologiji i fiziologiji daje malo osnove za očekivanje da bi takav test mogao biti iznimno točan. Izvještaj navodi i da određene protumjere, barem u nekim laboratorijskim uvjetima, mogu osobi koja laže omogućiti da izgleda iskreno (National Research Council, 2003).

Pregled istraživanja objavljenih u sljedećih petnaest godina zaključio je da se kvaliteta istraživanja nije bitno promijenila, da se tvrdnje o točnosti od 90 % i više ne mogu opravdati izvještajem iz 2003. i da njegovi glavni zaključci i dalje vrijede: znanstvena osnova najčešće korištene tehnike je slaba, a stvarna stopa pogreške nije poznata (Iacono i Ben-Shakhar, 2019).

Laboratorij i stvarnost

U laboratoriju se zna tko laže, jer je to istraživač odredio. U stvarnim slučajevima to se često ne zna pouzdano, pa je teško utvrditi koliko je test stvarno točan. Osim toga, u laboratoriju su ulozi mali, a u stvarnosti osoba može imati mnogo razloga za snažnu fiziološku reakciju – uključujući i strah nevine osobe da će biti pogrešno optužena.

Problem probira i baznih stopa

Najjasnije se ograničenje vidi kada se poligraf koristi za probir – provjeru velikog broja ljudi u potrazi za rijetkim slučajevima. Izvještaj Nacionalne akademije znanosti prikazuje upravo takav primjer: među 10.000 zaposlenika nalazi se 10 osoba koje predstavljaju sigurnosnu prijetnju. Ako se test, uz pretpostavljeni indeks točnosti od 0,90, postavi tako da otkrije 8 od 10 takvih osoba, istodobno će kao sumnjivo označiti oko 1.606 osoba koje to nisu. Ako se prag podesi tako da lažnih uzbuna bude samo oko 40, 8 od 10 stvarnih prijetnji ostat će neotkriveno (National Research Council, 2003).

U prvom slučaju, od oko 1.614 označenih osoba, samo je 8 stvarna prijetnja – oko 0,5 %. To je isti obrazac koji smo vidjeli u primjeru s 10.000 zaposlenika: kod rijetke pojave čak i postupak bolji od slučajnosti daje mnogo više lažnih nego stvarnih „pogodaka”. Izvještaj zato zaključuje da poligrafski probir postavlja neprihvatljiv izbor između previše lojalnih zaposlenika pogrešno ocijenjenih kao neiskrenih i previše ozbiljnih prijetnji koje ostaju neotkrivene (National Research Council, 2003).

13. Neformalni profil i formalni instrument

Mnogi postupci koriste informacije o ponašanju, ali to ih ne čini metodološki jednakima. Korisno je razlikovati barem šest razina:

Zašto to nije isto?

Razlike su u onome što smo obradili u ovoj lekciji:

I validirani instrumenti imaju ograničenja, kao što smo vidjeli na primjeru procjene rizika. Ali kod njih ta ograničenja **znamo** i možemo ih uzeti u obzir. Kod neformalnog profila najčešće ne znamo ni koliko često griješi. Zato rečenica „i jedno i drugo koristi podatke o ponašanju” ne znači da imaju jednaku dokaznu težinu.

14. Veliki primjer: zaključak koji se promijenio

Na sveučilišnom kolegiju ispit se piše online, uz program za nadzor koji snima studente kamerom i automatski označava „sumnjiva” ponašanja. Student Leon na ispitu ostvari 94 %, iako je na kolokviju tijekom semestra imao 52 %. Program je njegov ispit označio oznakom „visok rizik”. Asistent koji pregledava snimke piše izvještaj, a nastavnica treba odlučiti što dalje.

Podaci

Dostupna su četiri izvora podataka:

Opažanje i mjerenje

Treba razlikovati što je opaženo, a što izmjereno:

Hipoteza

Početna hipoteza, koju dijele program, asistent i dojam velikog skoka u rezultatu, glasi: Leon je na ispitu koristio nedopuštena pomagala.

Procjena dokaza

Sada za svaki izvor pitamo koliku dokaznu vrijednost ima.

**Oznaka programa** djeluje najuvjerljivije: izgleda objektivno, brojčano i tehnički. Ali:

**Izvještaj asistenta** potencijalno je pristran. Nastavnica saznaje da je asistent, prije nego što je pogledao snimku, znao za oznaku programa i za veliki skok u rezultatu, a kolega mu je usput rekao da je „taj student sumnjiv”. Asistentovo opažanje i oznaka programa zato nisu neovisni: asistent je snimku gledao očekujući varanje.

**Skok u rezultatu** stvaran je i mjerljiv podatak. Ali skok od 52 % na 94 % slaže se i s varanjem i s intenzivnim učenjem između kolokvija i ispita.

Alternativna objašnjenja

Novi podatak

Nastavnica odlučuje prikupiti podatke koji bi mogli razlikovati hipoteze:

Kako se slika promijenila?

Procjena nesigurnosti

Ni sada nemamo potpunu sigurnost. Usmena provjera ne isključuje teoretski mogućnost da je Leon na ispitu ipak nešto pogledao i u međuvremenu naučio gradivo. Ali najvažniji podaci sada su neovisni i razlikovni, a podaci koji su upućivali na varanje pokazali su se slabima ili pristranima.

Što smo mislili na početku – i što možemo opravdano tvrditi na kraju

Na početku:

*„Program je označio visok rizik, asistent je na snimci vidio varanje, a rezultat je skočio s 52 % na 94 %. Tri neovisna dokaza upućuju na isto – student je varao.”*

Na kraju:

*„Oznaka programa ima nisku dokaznu vrijednost: program je označio 88 od 500 studenata, a njegova točnost nije neovisno provjerena. Asistentova procjena nastala je uz prethodno znanje o oznaci i sumnji, pa nije neovisna. Slijepa usporedba snimki nije pokazala da se Leonovo ponašanje razlikuje od ponašanja neoznačenih studenata. Evidencija dodatnih vježbi i točno riješeni novi zadaci na usmenoj provjeri podupiru objašnjenje da je student napredovao. Nema dovoljno podataka za zaključak o varanju.”*

Početni „tri dokaza” bili su zapravo jedan slab automatski signal, jedna procjena oblikovana tim signalom i jedan stvaran, ali dvoznačan podatak. Kao što smo naučili u lekciji [Kako nastaje profil?](/profiliranje/kako-nastaje-profil), procjena se mora ažurirati kada se pojave novi podaci – a ovaj primjer pokazuje da je jednako važno **aktivno potražiti** podatke koji mogu razlikovati hipoteze.

15. Neizvjesnost nije beskorisnost

Nakon svega navedenog lako je zaključiti da ništa ne možemo znati. To bi bila jednako pogrešna krajnost kao i vjerovanje u „tajne znakove”.

Tri razine zaključivanja

Korisno je razlikovati tri situacije:

Kako izraziti nesigurnost?

Dobra procjena ne skriva nesigurnost, nego je navodi:

Ne tražimo sigurnost tamo gdje je nema. Ali ne moramo odbaciti svako zaključivanje samo zato što nije sto posto sigurno.

Što dokazi mogu pokazati – a što ne mogu

Ključni pojmovi

Zapamti

Istraži dalje

Izvori i literatura