Dokazi i ograničenja
Zadnja provjera: listopad 2026.
Koliko možemo vjerovati zaključku koji smo dobili? To je pitanje ove lekcije.
U prethodnim lekcijama pitali smo što pojedine metode i znakovi mogu reći o osobi, a u lekciji [Mitovi i činjenice](/profiliranje/mitovi) jesu li popularne tvrdnje opravdane. Ova lekcija ide korak dublje i pita: **kako uopće procjenjujemo koliko je neki zaključak opravdan?**
Rečenica „svaka metoda ima ograničenja” točna je, ali sama po sebi ne pomaže. Korisno je znati **koja** ograničenja postoje, **kako** ih prepoznati i **koliko** mijenjaju zaključak. Neka ograničenja tek malo smanjuju sigurnost. Druga mogu pretvoriti naizgled snažan nalaz u gotovo bezvrijedan – kao što ćemo vidjeti na primjeru baznih stopa.
Lekcija ne završava porukom da ništa ne možemo znati. Cilj je drukčiji: naučiti razlikovati zaključke koje podaci podržavaju od onih koje samo dopuštaju – i one koje ne podržavaju uopće.
1. Tvrdnja, podatak i dokaz
Što je dokaz?
U lekciji [Kako nastaje profil?](/profiliranje/kako-nastaje-profil) razlikovali smo činjenicu, tvrdnju i interpretaciju. Ovdje dodajemo pojam **dokaza**. Podatak postaje dokaz tek u odnosu na neku tvrdnju: on je dokaz *za* nešto ili *protiv* nečega.
Isti podatak može biti snažan dokaz za jednu tvrdnju, a gotovo bez vrijednosti za drugu. Evidencija ulaznih kartica snažan je dokaz o tome kada je netko izašao iz zgrade, ali vrlo slab dokaz o tome što je radio unutra.
Kvaliteta podataka
Prije nego što pitamo što podatak znači, treba pitati koliko je dobar:
- **Kako je nastao?** Je li zabilježen u trenutku događaja ili rekonstruiran kasnije?
- **Tko ga je prikupio i s kojim ciljem?** Je li izvor imao razloga vidjeti ga na određeni način?
- **Je li mjeren ili procijenjen?** Je li postupak bio standardiziran ili je ovisio o dojmu?
- **Može li se provjeriti?** Postoji li neovisan izvor koji bi ga potvrdio ili opovrgnuo?
Loš podatak ne postaje bolji ni kada se dobro protumači.
Dokazna vrijednost: razlikuje li podatak hipoteze?
Najvažnije pitanje o nekom podatku nije „slaže li se s mojom hipotezom?”, nego **„koliko je vjerojatniji ako je moja hipoteza točna nego ako je točna neka druga?”**.
Ako je osoba nervozna na razgovoru, to se slaže s hipotezom da nešto skriva. Ali nervoza je česta i kod ljudi koji ništa ne skrivaju, a nalaze se u stresnoj situaciji. Ako je nervoza gotovo jednako česta u oba slučaja, podatak se slaže s hipotezom, ali je gotovo ne podržava – jer jednako dobro odgovara i suprotnoj hipotezi.
Ta se ideja u statistici izražava kao **omjer vjerodostojnosti**: koliko je puta neki podatak češći kada je hipoteza točna nego kada nije. Podatak koji je deset puta češći kod onih za koje hipoteza vrijedi ima veliku dokaznu vrijednost. Podatak koji je jednako čest u oba slučaja nema je, koliko god se činio „sumnjivim”. U lekciji o nastanku profila taj smo pojam opisali kao **razlikovni podatak**.
2. Korelacija i uzročnost
Treća varijabla
Dvije stvari mogu biti povezane, a da jedna ne uzrokuje drugu – jer ih obje uzrokuje nešto treće. Ako ljudi koji češće mijenjaju posao rjeđe napreduju, uzrok ne mora biti u samom mijenjanju posla. Oboje može biti posljedica nečeg trećeg, primjerice zdravstvenih poteškoća ili zanimanja u kojem su ugovori kratki.
Metodološki pregled zaključivanja iz opažajnih podataka upozorava da uzročni zaključci iz povezanosti nisu mehanički postupak, nego uvijek ovise o pretpostavkama o tome kako su varijable međusobno povezane. Čak i „kontroliranje” trećih varijabli može, ako se pogrešno primijeni – primjerice na nereprezentativnom uzorku – udaljiti procjenu od stvarnog uzročnog učinka (Rohrer, 2018).
Obrnuti smjer
Povezanost ne govori ni o smjeru. Ako su osobe koje se često sukobljavaju s kolegama i nezadovoljnije poslom, ne znamo uzrokuje li sukob nezadovoljstvo, nezadovoljstvo sukob ili oboje proizlazi iz loših uvjeta rada.
Od skupine do pojedinca
Ovo je za profiliranje možda i najvažnije. Povezanost na razini skupine ne govori koliko vrijedi za pojedinca. Ako je neko obilježje u prosjeku nešto češće kod ljudi koji krše pravila, većina ljudi s tim obilježjem može i dalje biti potpuno u skladu s pravilima. Iz toga što je nešto „povezano s” ne slijedi da je kod ove osobe to „znak za”.
3. Mjerenje: pouzdanost i valjanost
U lekciji [Metode i pristupi profiliranju](/profiliranje/metode) upoznali smo pouzdanost i valjanost kao kriterije za psihološke testove. Ovdje ih razdvajamo preciznije, jer se u praksi lako pomiješaju.
Pouzdanost
**Pouzdanost** odgovara na pitanje: *dobivamo li relativno stabilan i dosljedan rezultat?* Daju li dva procjenitelja isti rezultat? Daje li isti postupak sličan rezultat danas i za tjedan dana?
Valjanost
**Valjanost** odgovara na drukčije pitanje: *mjeri li ili predviđa postupak ono što tvrdimo da mjeri ili predviđa – i opravdava li zaključke koje iz njega izvodimo?* Suvremeno shvaćanje valjanosti ne promatra je kao svojstvo testa samog po sebi, nego kao svojstvo **tumačenja i upotrebe** rezultata, uključujući i posljedice te upotrebe (Messick, 1995).
Pouzdano, ali nevaljano
Vaga koja svaki put pokaže dva kilograma više vrlo je pouzdana: rezultat je uvijek isti. Ali nije valjana, jer ne pokazuje stvarnu težinu.
Isto vrijedi za procjene ljudi. Dva promatrača mogu se vrlo dobro složiti u tome koliko je puta osoba skrenula pogled tijekom razgovora – to je pouzdano opažanje. Ali kao što smo vidjeli u lekciji [Govor tijela](/profiliranje/govor-tijela), skretanje pogleda nije valjan pokazatelj laganja. Pouzdanost je nužan, ali ne i dovoljan uvjet valjanosti.
Valjano za jednu svrhu, ali ne i za drugu
Upitnik koji dobro mjeri savjesnost može biti koristan pokazatelj kako će osoba u prosjeku pristupati zadacima. Isti upitnik nije valjan za zaključak o tome je li osoba počinila određeni prekršaj. Rezultat nije postao lošiji – promijenila se svrha, a za novu svrhu valjanost nije provjerena.
Kriterijska i prediktivna valjanost
**Kriterijska valjanost** pokazuje koliko je rezultat povezan s nekim vanjskim kriterijem – primjerice s procjenama uspješnosti na poslu. Kada se kriterij mjeri kasnije, govorimo o **prediktivnoj valjanosti**: koliko dobro rezultat danas predviđa nešto što će se dogoditi sutra.
Inkrementalna valjanost
Za praksu je često važnije sljedeće pitanje: *dodaje li nova informacija išta onome što već znamo?* To je **inkrementalna valjanost**. Pregled tog područja upozorava da se ona u većini područja primijenjene psihologije premalo provjerava i da prijenos nalaza o skupinama na pojedinačne slučajeve nosi posebne izazove (Hunsley i Meyer, 2003). Postupak koji je sam po sebi valjan može biti beskoristan ako ponavlja ono što je već poznato iz jednostavnijeg izvora.
4. Veličina učinka i praktična korisnost
Statistička značajnost nije veličina
„Statistički značajna povezanost” znači da je malo vjerojatno da je nalaz posljedica slučajnosti u uzorku. Ne znači da je povezanost velika ni da je korisna. U vrlo velikom uzorku i sasvim mala povezanost može biti statistički značajna. Za praksu je važnija **veličina učinka** – koliko je povezanost ili razlika stvarno velika.
Koliko je velik „velik” učinak?
Veličine učinka u psihologiji često se pogrešno tumače kao zanemarive. Metodološki pregled predlaže da se procjenjuju kroz konkretne posljedice. Prema tom pregledu, pouzdano procijenjena korelacija od 0,30 predstavlja velik učinak, koristan i kratkoročno i dugoročno, a vrlo velike korelacije, od 0,40 i više, u psihološkim istraživanjima vjerojatno su često precijenjene (Funder i Ozer, 2019).
Pregled više od 125 meta-analiza valjanosti psiholoških testova pokazao je da je njihova valjanost usporediva s valjanošću mnogih medicinskih testova (Meyer i sur., 2001). Ograničena preciznost dakle ne znači da je mjerenje beskorisno.
Od prosjeka do pojedinca
Istodobno, učinak koji je velik za psihologiju još uvijek ostavlja mnogo neizvjesnosti za pojedinačnu odluku. Isti metodološki pregled naglašava da je korelacija od 0,05 vrlo mala za objašnjenje pojedinačnog događaja, iako može biti važna kroz mnogo ponavljanja (Funder i Ozer, 2019). Nalaz može biti važan za politiku koja se primjenjuje na tisuće ljudi, a vrlo slab za odluku o jednoj osobi.
5. Bazne stope: zašto isti rezultat može značiti vrlo različite stvari
Ovo je jedno od najvažnijih i najmanje intuitivnih područja cijele lekcije.
Intuitivni primjer
Zamislimo da netko kaže: „Ovaj postupak prepoznaje 90 % osoba koje traži.” Zvuči odlično. Ako postupak za nekoga pokaže „pozitivno”, većina ljudi pomisli da je vjerojatnost oko 90 % da je ta osoba doista ono što tražimo.
To je pogrešno – i pogreška može biti golema. Odgovor ovisi o nečemu što u toj rečenici uopće nije navedeno: koliko je ono što tražimo **često**.
Bazna stopa
**Bazna stopa** (ili **prevalencija**) jest koliko je neka pojava česta u skupini koju procjenjujemo. Ne treba je miješati s **baznom linijom** iz lekcija [Uvod u profiliranje](/profiliranje/uvod) i [Govor tijela](/profiliranje/govor-tijela): bazna linija je uobičajeni obrazac ponašanja jedne osobe, a bazna stopa učestalost pojave u određenoj populaciji. Klasičan rad iz psihološke procjene upozorio je da se bazne stope u istraživanjima gotovo nikad ne navode, a da bez njih nije moguće procijeniti je li neki postupak uopće korisniji od jednostavnog oslanjanja na to koliko je pojava česta (Meehl i Rosen, 1955). Istraživanja intuitivnog zaključivanja pokazala su da ljudi pri predviđanju bazne stope često zanemaruju i oslanjaju se na to koliko se slučaj „čini tipičnim” (Kahneman i Tversky, 1973).
Veliki numerički primjer: 10.000 zaposlenika
Velika tvrtka sumnja da netko odaje povjerljive podatke. Uprava razmišlja o tome da sve zaposlenike provjeri postupkom koji, prema proizvođaču, ima ova obilježja:
- **osjetljivost 90 %** – od osoba koje doista odaju podatke, postupak ih 90 % označi kao „sumnjive”,
- **specifičnost 90 %** – od osoba koje ne odaju podatke, postupak ih 90 % ispravno označi kao „nesumnjive”.
Pretpostavimo da je u tvrtki 10.000 zaposlenika i da podatke odaje njih 1 % – dakle 100 osoba.
Korak po korak:
- Od **100 osoba koje odaju podatke** postupak označi 90 % – to je **90 istinito pozitivnih**. Preostalih 10 ostaje neotkriveno – to su **lažno negativni**.
- Od **9.900 osoba koje ne odaju podatke** postupak ispravno propusti 90 % – to je **8.910 istinito negativnih**. Preostalih 10 % – **990 osoba** – pogrešno označi kao sumnjive. To su **lažno pozitivni**.
- Ukupno je kao „sumnjivo” označeno 90 + 990 = **1.080 osoba**.
Sada ključno pitanje: od tih 1.080 označenih, koliko ih doista odaje podatke? Samo 90.
*90 ÷ 1.080 = 0,083, odnosno oko 8 %.*
Postupak s „90 % točnosti” dao je rezultat u kojem je **više od 91 % označenih osoba nevino**. Na svakog stvarnog počinitelja dolazi jedanaest nevinih osoba pod sumnjom.
Osjetljivost nije isto što i pozitivna prediktivna vrijednost
Ta dva broja odgovaraju na različita pitanja:
- **Osjetljivost** – *ako osoba jest ono što tražimo, koliko je vjerojatno da će postupak to pokazati?* U primjeru: 90 %.
- **Pozitivna prediktivna vrijednost** – *ako je postupak pokazao „sumnjivo”, koliko je vjerojatno da osoba doista jest ono što tražimo?* U primjeru: oko 8 %.
Formula je jednostavna: pozitivna prediktivna vrijednost jednaka je broju istinito pozitivnih podijeljenom s ukupnim brojem pozitivnih rezultata, odnosno *istinito pozitivni ÷ (istinito pozitivni + lažno pozitivni)*.
Postoji i **negativna prediktivna vrijednost**: ako je postupak pokazao „nesumnjivo”, koliko je vjerojatno da osoba doista nije ono što tražimo? U primjeru: 8.910 od 8.920 negativnih rezultata je točno, odnosno oko 99,9 %. Postupak je dakle vrlo dobar u potvrđivanju da netko *nije* problem, a vrlo slab u potvrđivanju da netko *jest*. Takav obrazac nije neobičan: kao što smo spomenuli u lekciji o mitovima, i instrumenti za procjenu rizika od nasilja bolje prepoznaju osobe niskog rizika nego što potvrđuju visoki rizik (Fazel i sur., 2012).
Kada se bazna stopa promijeni
Isti postupak, s istom osjetljivošću i specifičnošću, primijenimo sada na skupinu od 10.000 osoba u kojoj je, zbog prethodne provjere drugim podacima, ciljana pojava znatno češća – 30 %:
- od **3.000 osoba** koje odaju podatke, postupak označi **2.700**,
- od **7.000 osoba** koje ne odaju podatke, pogrešno označi **700**,
- ukupno je označeno **3.400 osoba**, od kojih je 2.700 doista ono što tražimo.
*2.700 ÷ 3.400 = 0,794, odnosno oko 79 %.*
Isti „pozitivni rezultat” sada znači nešto potpuno drugo: od oko 8 % na oko 79 %. Postupak se nije promijenio – promijenila se skupina.
Kada se poboljša specifičnost
Vratimo se na baznu stopu od 1 %, ali zamislimo bolji postupak sa specifičnošću od 99 % umjesto 90 %:
- istinito pozitivnih i dalje je **90**,
- lažno pozitivnih sada je 1 % od 9.900, odnosno **99**,
- ukupno je označeno **189 osoba**.
*90 ÷ 189 = 0,476, odnosno oko 48 %.*
Čak i uz specifičnost od 99 %, otprilike svaka druga označena osoba je nevina. Kod rijetkih pojava i vrlo dobri postupci daju mnogo lažnih uzbuna.
Zašto je to teško?
Ljudi takve zadatke rješavaju mnogo lakše kada su informacije prikazane kao **broj slučajeva** („90 od 1.080 osoba”), a ne kao postoci i vjerojatnosti. U istraživanju u kojem su informacije bile prikazane u obliku učestalosti, sudionici bez statističkog obrazovanja znatno su češće dolazili do ispravnog zaključka (Gigerenzer i Hoffrage, 1995). Zato je u ovom primjeru sve prikazano na 10.000 osoba.
Pravilo koje vrijedi zapamtiti: **što je ono što tražimo rjeđe, to će veći dio „pozitivnih” rezultata biti lažan** – čak i kada je postupak dobar.
6. Lažno pozitivni i lažno negativni rezultati
Dvije vrste pogrešaka
Svaka odluka „da” ili „ne” može pogriješiti na dva načina:
- **lažno pozitivno** – procijenili smo da pojava postoji, a ne postoji (nevina osoba pod sumnjom),
- **lažno negativno** – procijenili smo da pojava ne postoji, a postoji (stvarni problem neotkriven).
Prag odluke
Kod većine postupaka može se pomicati prag – koliko „sumnje” je dovoljno da osobu označimo. Niži prag otkriva više stvarnih slučajeva, ali označava i više nevinih. Viši prag smanjuje lažne uzbune, ali propušta više stvarnih slučajeva. Pregled psihologije dijagnostičkih odluka naglašava da je izbor praga pitanje vrijednosti i posljedica, a ne samo statistike: treba odlučiti koja je pogreška u određenoj situaciji ozbiljnija (Swets, Dawes i Monahan, 2000).
Granice predviđanja rijetkih ponašanja
Zato je predviđanje rijetkih i ozbiljnih ponašanja posebno teško. Kao što smo vidjeli u lekciji o mitovima, ni instrumenti razvijeni upravo za procjenu rizika od nasilja ne predviđaju pouzdano postupak pojedinca (Fazel i sur., 2012). Usporedba devet često korištenih instrumenata pokazala je i da se njihova prediktivna vrijednost razlikuje: najbolje rezultate dao je instrument razvijen posebno za procjenu rizika od nasilja kod mladih, a među najslabijima je bila skala osobina ličnosti koja se često koristi i za procjenu rizika. Instrumenti su bili točniji u nekim skupinama ispitanika nego u drugima (Singh, Grann i Fazel, 2011).
7. Uzorak, generalizacija i prilagođavanje podacima
Tko je bio u uzorku?
Nalaz vrijedi prije svega za ljude slične onima koji su sudjelovali u istraživanju. Pregled istraživanja iz više područja psihologije pokazao je da se velik dio istraživanja oslanja na uzorke iz zapadnih, obrazovanih, industrijaliziranih, bogatih i demokratskih društava, koji se u mnogim područjima razlikuju od ostatka čovječanstva (Henrich, Heine i Norenzayan, 2010). Već smo vidjeli da su i instrumenti za procjenu rizika bili različito točni u različitim skupinama (Singh, Grann i Fazel, 2011).
Laboratorij i stvarni svijet
Mnogo istraživanja o laganju, procjeni ljudi i neverbalnom ponašanju provodi se u laboratoriju: sudionici lažu po uputi, ulozi su mali, a situacija je pojednostavljena. Takvi uvjeti omogućuju kontrolu, ali rezultati se ne moraju jednako prenijeti na stvarne situacije, u kojima su posljedice ozbiljne, a ljudi i okolnosti mnogo raznolikiji.
Prilagođavanje podacima
Kada se model ili skup pravila razvije na jednom skupu podataka, on se može previše prilagoditi tim podacima – uključujući i njihove slučajne osobitosti. Takav model izvrsno „objašnjava” podatke na kojima je nastao, a lošije predviđa nove slučajeve. To se naziva **prilagođavanje podacima** (engl. *overfitting*). Metodološki pregled upozorava da je psihologija dugo bila usmjerena na objašnjavanje mehanizama, a premalo na provjeru koliko dobro njezine teorije predviđaju buduće ponašanje na novim podacima (Yarkoni i Westfall, 2017).
Isto vrijedi i za neformalno profiliranje: profil koji je „pogodio” sve detalje poznatog slučaja ne mora ništa reći o sljedećem.
Jedno istraživanje nije konačan odgovor
U velikom projektu ponovljeno je 100 istraživanja objavljenih u psihološkim časopisima. Iako je 97 % izvornih istraživanja imalo statistički značajne rezultate, takve je rezultate dalo samo 36 % ponovljenih, a učinci u ponovljenim istraživanjima bili su u prosjeku upola manji (Open Science Collaboration, 2015). To ne znači da su izvorni nalazi bili izmišljeni, nego da jedno istraživanje, osobito s malim uzorkom, treba smatrati vrijednim, ali privremenim podatkom.
8. Više dokaza nije automatski bolji dokaz
U lekcijama o govoru tijela, komunikaciji i mitovima vidjeli smo da više znakova u istom smjeru ne znači nužno siguran zaključak. Ovdje objašnjavamo zašto.
Neovisni izvori
Dva su podatka **neovisna** kada nastaju na različite načine i kada pogreška u jednome ne utječe na drugi. Evidencija ulaznih kartica i snimka kamere u hodniku neovisni su: ako jedna griješi, nema razloga da i druga griješi na isti način.
Povezani pokazatelji i redundantne informacije
Pokazatelji su **povezani** kada proizlaze iz istog uzroka. Ako je osoba napeta, napetost se može pokazati u glasu, pogledu, rukama i načinu govora. To su četiri opažanja, ali jedan izvor informacija. Ako su četiri kolege čule istu glasinu od iste osobe, to je jedna informacija prenesena četiri puta. Takve informacije su **redundantne**: ponavljaju isto, a ne dodaju novo.
Numerička ilustracija: tri znaka
Zamislimo da tražimo nešto što je na početku vrlo rijetko – recimo, omjer je 1 prema 99 (oko 1 %). Zamislimo i znak koji je **dva puta** češći kod onih koje tražimo nego kod ostalih.
- **Jedan takav znak** podiže omjer na 2 prema 99, odnosno vjerojatnost na oko **2 %**.
- **Tri takva znaka koji su doista neovisni** množe se: 2 × 2 × 2 = 8, pa je omjer 8 prema 99, odnosno vjerojatnost oko **7,5 %**.
- **Tri znaka koji proizlaze iz istog uzroka** – primjerice tri izraza iste nervoze – nose otprilike koliko i jedan, pa vjerojatnost ostaje blizu **2 %**.
Primjer pokazuje dvije stvari. Povezani znakovi daju lažni osjećaj sigurnosti. A čak i tri neovisna, ali slaba znaka, uz rijetku pojavu, vode do zaključka koji je još uvijek vrlo daleko od sigurnosti.
Kumulativni dokaz
To ne znači da se dokazi ne mogu zbrajati. **Kumulativni dokaz** – više neovisnih podataka, od kojih svaki ima stvarnu dokaznu vrijednost – može opravdano dovesti do snažnog zaključka. Ključ je u neovisnosti i u dokaznoj vrijednosti svakog podatka, a ne u njihovu broju.
Postoji i manje očita zamka: podaci koji su na početku bili neovisni mogu prestati biti neovisni ako ih tumači netko tko već zna za druge podatke. Pregled forenzične pristranosti potvrđivanja opisuje kako, primjerice, saznanje o priznanju može utjecati na to kako svjedoci i stručnjaci tumače druge dokaze (Kassin, Dror i Kukucka, 2013). Tada „neovisne potvrde” zapravo nastaju iz istog početnog očekivanja.
Kada dodatna informacija pomaže, a kada šteti?
Intuitivno se čini da više informacija uvijek pomaže. Ali dodatna informacija može i pogoršati procjenu:
- **Razrjeđivanje.** Istraživanja su pokazala da informacije koje nisu razlikovne, a dodaju se uz razlikovne, mogu oslabiti utjecaj razlikovnih informacija na procjenu (Nisbett, Zukier i Lemley, 1981). Mnogo nevažnih detalja „razvodni” ono što je važno.
- **Nepotrebni kontekst.** Informacija koja nije potrebna za zadatak može usmjeriti tumačenje drugih podataka, kao što ćemo vidjeti u poglavlju o pristranosti.
- **Nestrukturirani razgovor.** U meta-analizi usporedbe kliničkog i statističkog predviđanja kliničke prosudbe bile su relativno slabije upravo kada su uključivale podatke iz kliničkog razgovora (Grove i sur., 2000).
Dodatna informacija pomaže kada ima vlastitu dokaznu vrijednost i dodaje nešto novo – kada ima inkrementalnu valjanost. Ne pomaže samo zato što je „još jedan podatak”.
9. Kliničko i statističko predviđanje
Tri pristupa
Kada se o osobi donosi procjena na temelju više podataka, podaci se mogu kombinirati na različite načine:
- **Klinička (holistička) prosudba** – stručnjak razmotri sve podatke i donese ukupnu procjenu prema vlastitoj prosudbi.
- **Statističko (aktuarsko, mehaničko) predviđanje** – podaci se kombiniraju prema unaprijed određenom pravilu ili formuli, koja je provjerena na drugim slučajevima.
- **Strukturirana stručna procjena** – stručnjak prolazi kroz unaprijed određen popis provjerenih čimbenika, ali ukupnu procjenu donosi sam.
Što istraživanja pokazuju?
Istraživanja koja uspoređuju te pristupe imaju dugu povijest, a pregledi dolaze do sličnog zaključka:
- Pregled objavljen u časopisu *Science* zaključio je da je aktuarski pristup u usporedbama bio točniji od kliničkog (Dawes, Faust i Meehl, 1989).
- Meta-analiza istraživanja o ljudskom zdravlju i ponašanju pokazala je da su mehanički postupci u prosjeku bili oko 10 % točniji. Kliničke prosudbe često su bile jednako točne, ali su samo u malom dijelu istraživanja bile znatno točnije. Prednost mehaničkih postupaka nije ovisila o iskustvu procjenitelja (Grove i sur., 2000).
- Meta-analiza 56 godina istraživanja u području mentalnog zdravlja pokazala je nešto veću točnost statističkih metoda, a u najstrože odabranim istraživanjima povećanje točnosti od 13 %. Razlika je ovisila o vrsti predviđanja, okruženju i količini informacija koje su bile dostupne (Ægisdóttir i sur., 2006).
- U odabiru zaposlenika i upisu na studij, holističko kombiniranje podataka dosljedno je gubilo prediktivnu vrijednost u odnosu na mehaničko – i kada su podatke kombinirali stručnjaci koji dobro poznaju posao i organizaciju (Kuncel i sur., 2013).
Zanimljivo je i to da čak i jednostavni modeli, u kojima svi prediktori imaju jednaku težinu, u predviđanju brojčanih ishoda iz brojčanih podataka često nadmašuju intuitivnu prosudbu (Dawes, 1979). Prednost formule često nije u njezinoj složenosti, nego u **dosljednosti**: primjenjuje ista pravila na svaki slučaj, ne umara se i ne mijenja težinu podataka ovisno o dojmu.
Gdje stručnjak ostaje važan?
To ne znači da je stručnjak suvišan:
- **Prikupljanje podataka.** Formula može kombinirati samo podatke koje joj netko da. Stručnjak zna koja pitanja postaviti, kako provesti razgovor i što zabilježiti.
- **Neobične okolnosti.** Formula ne zna za ono što nije u njoj predviđeno. Ako se dogodilo nešto što bitno mijenja situaciju, a nije među prediktorima, stručna prosudba može biti potrebna.
- **Odabir i provjera formule.** Netko mora procijeniti je li formula provjerena na sličnim ljudima i za istu svrhu.
- **Područja s pravilnom povratnom informacijom.** Kao što smo vidjeli u lekciji o mitovima, intuitivna stručnost može biti pouzdana u okolinama koje su predvidljive i u kojima osoba dobiva jasnu povratnu informaciju o svojim procjenama.
Ægisdóttir i suradnici zato daju preporuke o tome kada se osloniti na formule, a kada na kliničke metode, umjesto da jedan pristup proglase uvijek boljim (Ægisdóttir i sur., 2006).
Rizici svakog pristupa
- **Klinička prosudba:** nedosljednost, pristranost, prevelik utjecaj upečatljivih detalja i neprovjeren osjećaj sigurnosti.
- **Statističko predviđanje:** formula je onoliko dobra koliko su dobri podaci na kojima je razvijena. Može biti loše prenesena na drukčiju skupinu, može naslijediti pristranosti iz podataka i može stvoriti dojam preciznosti koju nema.
- **Strukturirana stručna procjena:** smanjuje nedosljednost, ali zadržava dio subjektivnosti u konačnoj odluci.
Razuman pristup često kombinira snage: stručnjak sustavno prikuplja podatke, a za njihovo kombiniranje koristi se provjereno pravilo kad god postoji.
10. Pristranost stručnjaka
Znanje ne štiti od pristranosti
Pristranost nije znak lošeg stručnjaka. Ona je posljedica toga kako ljudski um obrađuje informacije – i pojavljuje se i kod iskusnih ljudi s najboljim namjerama. Stručno znanje pomaže znati *što* gledati, ali ne čini procjenitelja imunim na to *kako* na njega djeluje ono što već zna ili očekuje.
Kontekst i očekivanja
- **Kontekstualna pristranost.** U jednom istraživanju iskusnim stručnjacima za otiske prstiju ponovno su pokazani otisci koje su sami ranije identificirali kao podudarne – ali uz kontekst koji je sugerirao da nisu. U tom novom kontekstu većina stručnjaka donijela je drukčiju odluku, suprotnu vlastitoj ranijoj identifikaciji (Dror, Charlton i Péron, 2006).
- **Forenzična pristranost potvrđivanja.** Pregled istraživanja opisuje kako informacije poput priznanja mogu pokrenuti pristranost potvrđivanja koja utječe na prosudbe stručnjaka u različitim forenzičnim područjima (Kassin, Dror i Kukucka, 2013).
- **Učinci očekivanja.** Pregled 345 eksperimenata pokazao je da očekivanja istraživača mogu nenamjerno utjecati na to kako se ponašaju prema sudionicima, a time i na rezultate koje dobivaju – učinak koji je zatim proširen na učitelje, poslodavce i terapeute (Rosenthal i Rubin, 1978).
Sidrenje
**Sidrenje** je pojava da se procjena „lijepi” uz neki početni broj ili informaciju, čak i kada ta informacija nije relevantna. U istraživanju s iskusnim pravnim stručnjacima, njihove odluke o kazni bile su pomaknute prema predloženoj kazni čak i kada su znali da je ona određena nasumično – pa i kada su je sami odredili bacanjem kocke. Stručnost i iskustvo nisu smanjili taj učinak (Englich, Mussweiler i Strack, 2006).
Za profiliranje to znači da i prva procjena, prvi dojam ili prvi broj koji netko izgovori mogu utjecati na sve što slijedi.
Naknadna pamet
Kao što smo vidjeli u [Uvodu u profiliranje](/profiliranje/uvod), kada znamo ishod, čini nam se da je bio predvidljiv (Fischhoff, 1975). Za procjenu dokaza to je posebno opasno: kada znamo tko je „kriv”, lako nam se čini da su svi podaci „očito” upućivali na njega.
Slijepa pjega za pristranost
Ljudi pristranost lakše vide kod drugih nego kod sebe. U nizu istraživanja sudionici su sebe procjenjivali manje pristranima od drugih, a i kada su pročitali kako bi pristranost mogla djelovati na njih, ostajali su uvjereni da su njihove procjene točne i objektivne (Pronin, Lin i Ross, 2002).
To vrijedi i za stručnjake. U anketi među 403 iskusna forenzična stručnjaka iz 21 zemlje većina je vjerovala da je imuna na pristranost ili da je može smanjiti samom voljom, a manje od polovice podržavalo je slijepo testiranje. Mnogi su pristranost priznavali kod drugih stručnjaka, ali ne i kod sebe (Kukucka i sur., 2017).
Upravo zato rješenje nije u tome da se stručnjacima kaže „budite objektivni”, nego u postupcima koji ograničavaju utjecaj nepotrebnih informacija.
11. Slijepi postupci i redoslijed informacija
Što je slijepa procjena?
**Slijepa** (engl. *blind*) procjena znači da procjenitelj tijekom određenog dijela procjene ne zna informaciju koja bi mogla utjecati na njegovu prosudbu, a nije mu potrebna za zadatak. U **dvostruko slijepom** postupku ni osoba koja provodi postupak ni osoba koja sudjeluje u njemu ne znaju ključnu informaciju.
Ideja je jednostavna: *ponekad je najbolji način da smanjimo utjecaj neke informacije taj da je procjenitelj ne vidi prije nego što donese određenu procjenu.*
Primjer iz prakse su preporuke za prepoznavanje osumnjičenih u nizu osoba: stručna skupina psihologa preporučuje da postupak provodi osoba koja ne zna tko je osumnjičeni, kako ne bi nenamjerno utjecala na svjedoka (Wells i sur., 2020).
Redoslijed: postupno otkrivanje informacija
Nije uvijek moguće ili poželjno da procjenitelj ne zna ništa. Neke informacije jesu potrebne za zadatak. Zato su predloženi postupci **postupnog otkrivanja**: procjenitelj najprije analizira i zabilježi svoju procjenu same građe, a tek zatim, korak po korak, dobiva dodatne informacije – pri čemu se bilježi što je znao u kojem trenutku (Dror i sur., 2015).
Za neformalnu procjenu ljudi ideja se može primijeniti jednostavno: najprije zapisati što smo opazili, a tek onda pročitati tuđe mišljenje, dosje ili „što se priča”.
Što slijepi postupci ne mogu riješiti?
- Ne popravljaju **lošu metodu**: ako postupak nije valjan, slijepa primjena neće ga učiniti valjanim.
- Ne uklanjaju **sve pristranosti**: procjenitelj i dalje ima vlastita očekivanja, iskustva i sklonosti.
- Ne odgovaraju na pitanje **koja je informacija relevantna**: odluka o tome što procjenitelj treba znati i sama zahtijeva promišljanje.
- Ne mogu se uvijek provesti: u mnogim situacijama procjenitelj neizbježno zna kontekst.
Slijepi postupci nisu čarobno rješenje, nego jedan od alata koji smanjuje jedan važan izvor pogreške.
12. Poligraf: primjer fiziološke procjene
Poligraf je dobar primjer na kojem se mogu vidjeti gotovo svi pojmovi ove lekcije: mjerenje, valjanost, laboratorijski i stvarni uvjeti, bazne stope i lažno pozitivni rezultati.
Što poligraf zapravo mjeri?
Poligraf ne mjeri laž. Prema izvještaju američke Nacionalne akademije znanosti, instrument mjeri nekoliko fizioloških procesa, primjerice otkucaje srca, i njihove promjene (National Research Council, 2003). Iz tih se promjena zatim zaključuje o tome je li osoba reagirala jače na određena pitanja.
Fiziološka reakcija nije isto što i laž. Reakcija može biti posljedica straha, uzbuđenja, sramote, ljutnje zbog pitanja ili straha da nam se neće vjerovati – kod osobe koja govori istinu jednako kao i kod osobe koja laže.
Što istraživanja govore?
Isti izvještaj zaključio je da poligrafsko ispitivanje o određenom događaju može razlikovati laganje od govorenja istine bolje od slučajnosti, ali daleko od savršeno, te da gotovo stoljeće istraživanja u psihologiji i fiziologiji daje malo osnove za očekivanje da bi takav test mogao biti iznimno točan. Izvještaj navodi i da određene protumjere, barem u nekim laboratorijskim uvjetima, mogu osobi koja laže omogućiti da izgleda iskreno (National Research Council, 2003).
Pregled istraživanja objavljenih u sljedećih petnaest godina zaključio je da se kvaliteta istraživanja nije bitno promijenila, da se tvrdnje o točnosti od 90 % i više ne mogu opravdati izvještajem iz 2003. i da njegovi glavni zaključci i dalje vrijede: znanstvena osnova najčešće korištene tehnike je slaba, a stvarna stopa pogreške nije poznata (Iacono i Ben-Shakhar, 2019).
Laboratorij i stvarnost
U laboratoriju se zna tko laže, jer je to istraživač odredio. U stvarnim slučajevima to se često ne zna pouzdano, pa je teško utvrditi koliko je test stvarno točan. Osim toga, u laboratoriju su ulozi mali, a u stvarnosti osoba može imati mnogo razloga za snažnu fiziološku reakciju – uključujući i strah nevine osobe da će biti pogrešno optužena.
Problem probira i baznih stopa
Najjasnije se ograničenje vidi kada se poligraf koristi za probir – provjeru velikog broja ljudi u potrazi za rijetkim slučajevima. Izvještaj Nacionalne akademije znanosti prikazuje upravo takav primjer: među 10.000 zaposlenika nalazi se 10 osoba koje predstavljaju sigurnosnu prijetnju. Ako se test, uz pretpostavljeni indeks točnosti od 0,90, postavi tako da otkrije 8 od 10 takvih osoba, istodobno će kao sumnjivo označiti oko 1.606 osoba koje to nisu. Ako se prag podesi tako da lažnih uzbuna bude samo oko 40, 8 od 10 stvarnih prijetnji ostat će neotkriveno (National Research Council, 2003).
U prvom slučaju, od oko 1.614 označenih osoba, samo je 8 stvarna prijetnja – oko 0,5 %. To je isti obrazac koji smo vidjeli u primjeru s 10.000 zaposlenika: kod rijetke pojave čak i postupak bolji od slučajnosti daje mnogo više lažnih nego stvarnih „pogodaka”. Izvještaj zato zaključuje da poligrafski probir postavlja neprihvatljiv izbor između previše lojalnih zaposlenika pogrešno ocijenjenih kao neiskrenih i previše ozbiljnih prijetnji koje ostaju neotkrivene (National Research Council, 2003).
13. Neformalni profil i formalni instrument
Mnogi postupci koriste informacije o ponašanju, ali to ih ne čini metodološki jednakima. Korisno je razlikovati barem šest razina:
- **A) Neformalni profil** – opis koji osoba gradi iz vlastitih opažanja i dojmova. Nema standardiziran postupak ni poznatu stopu pogreške. Vrijednost mu ovisi o tome koliko je pažljivo izgrađen – načelima kakva smo opisali u lekciji [Kako nastaje profil?](/profiliranje/kako-nastaje-profil).
- **B) Strukturirani intervju** – razgovor s unaprijed određenim pitanjima i pravilima procjene. Kao što smo vidjeli u lekciji o metodama, struktura mjerljivo povećava dosljednost i prediktivnu vrijednost.
- **C) Psihološki test** – standardiziran postupak s provjerenom pouzdanošću, valjanošću za određenu svrhu i normama.
- **D) Validirani procjenski instrument** – postupak razvijen i provjeren za određenu odluku, primjerice za procjenu rizika, s poznatom točnošću u određenim skupinama.
- **E) Statistički model** – formalno pravilo za kombiniranje podataka, razvijeno i provjereno na drugim slučajevima.
- **F) Kriminalistička analiza ponašanja** – analiza obilježja kaznenih djela u istražne svrhe, čiji ćemo dokazni status detaljno razmotriti u sljedećoj lekciji.
Zašto to nije isto?
Razlike su u onome što smo obradili u ovoj lekciji:
- je li postupak **standardiziran**, tako da ga različiti ljudi provode na isti način,
- je li **pouzdanost** provjerena,
- je li **valjanost** provjerena – i to za upravo onu svrhu za koju se koristi,
- je li poznata **stopa pogreške**, uključujući lažno pozitivne i lažno negativne rezultate,
- je li provjeren na **sličnim ljudima** u sličnim okolnostima.
I validirani instrumenti imaju ograničenja, kao što smo vidjeli na primjeru procjene rizika. Ali kod njih ta ograničenja **znamo** i možemo ih uzeti u obzir. Kod neformalnog profila najčešće ne znamo ni koliko često griješi. Zato rečenica „i jedno i drugo koristi podatke o ponašanju” ne znači da imaju jednaku dokaznu težinu.
14. Veliki primjer: zaključak koji se promijenio
Na sveučilišnom kolegiju ispit se piše online, uz program za nadzor koji snima studente kamerom i automatski označava „sumnjiva” ponašanja. Student Leon na ispitu ostvari 94 %, iako je na kolokviju tijekom semestra imao 52 %. Program je njegov ispit označio oznakom „visok rizik”. Asistent koji pregledava snimke piše izvještaj, a nastavnica treba odlučiti što dalje.
Podaci
Dostupna su četiri izvora podataka:
- **Rezultati:** 52 % na kolokviju, 94 % na ispitu.
- **Automatska oznaka programa:** „visok rizik”, uz napomenu da je student „14 puta skrenuo pogled izvan ekrana”.
- **Izvještaj asistenta:** *„Na snimci se jasno vidi da često gleda u stranu, kao da čita. Ponaša se nemirno. Smatram da je vrlo vjerojatno koristio nedopuštena pomagala.”*
- **Opće informacije o programu:** proizvođač navodi da program „prepoznaje 80 % slučajeva varanja”.
Opažanje i mjerenje
Treba razlikovati što je opaženo, a što izmjereno:
- **Izmjereno:** rezultat na kolokviju i na ispitu – standardizirani podaci koji se mogu provjeriti.
- **Izmjereno, ali nejasne valjanosti:** broj skretanja pogleda koji je program zabilježio. Mjerenje može biti pouzdano – program svaki put broji na isti način – ali to ne govori je li skretanje pogleda valjan pokazatelj varanja.
- **Opaženo i protumačeno:** asistentov opis da student „gleda u stranu, kao da čita” i „ponaša se nemirno”.
Hipoteza
Početna hipoteza, koju dijele program, asistent i dojam velikog skoka u rezultatu, glasi: Leon je na ispitu koristio nedopuštena pomagala.
Procjena dokaza
Sada za svaki izvor pitamo koliku dokaznu vrijednost ima.
**Oznaka programa** djeluje najuvjerljivije: izgleda objektivno, brojčano i tehnički. Ali:
- „Prepoznaje 80 % slučajeva varanja” opisuje **osjetljivost**, a ne pozitivnu prediktivnu vrijednost.
- Nastavnica provjerava podatke: program je na tom ispitu „visokim rizikom” označio 88 od 500 studenata.
- Zamislimo, radi ilustracije, da je varalo 4 % studenata – dakle 20 od 500 – i da program doista otkriva njih 80 %, odnosno 16. Tada je preostalih 72 od 88 označenih studenata označeno pogrešno. Pozitivna prediktivna vrijednost bila bi *16 ÷ 88 ≈ 18 %*: otprilike četiri od pet označenih studenata nisu varali.
- Uz to, ne postoji neovisna provjera valjanosti programa – podatak o 80 % dolazi od proizvođača. Skretanje pogleda, kao što znamo iz lekcije o govoru tijela, ima mnogo uzroka, uključujući razmišljanje.
**Izvještaj asistenta** potencijalno je pristran. Nastavnica saznaje da je asistent, prije nego što je pogledao snimku, znao za oznaku programa i za veliki skok u rezultatu, a kolega mu je usput rekao da je „taj student sumnjiv”. Asistentovo opažanje i oznaka programa zato nisu neovisni: asistent je snimku gledao očekujući varanje.
**Skok u rezultatu** stvaran je i mjerljiv podatak. Ali skok od 52 % na 94 % slaže se i s varanjem i s intenzivnim učenjem između kolokvija i ispita.
Alternativna objašnjenja
- **H1:** Leon je koristio nedopuštena pomagala.
- **H2:** Leon je između kolokvija i ispita intenzivno učio i znatno napredovao.
- **H3:** Kolokvij nije odražavao njegovo znanje – primjerice zbog bolesti ili zato što je pokrivao drukčije gradivo.
- **H4:** Skretanje pogleda posljedica je načina razmišljanja ili postavke računala, primjerice drugog ekrana koji je bio isključen ili papira za računanje koji je bio dopušten.
Novi podatak
Nastavnica odlučuje prikupiti podatke koji bi mogli razlikovati hipoteze:
- Snimku Leonova ispita, zajedno sa snimkama četiri nasumično odabrana studenta koji nisu bili označeni, daje kolegi koji ne zna koji je student označen ni kakve rezultate imaju. Kolega ne izdvaja Leonovu snimku kao neobičnu: dvoje od četiri neoznačena studenta skreće pogled jednako često.
- Iz evidencije demonstratura vidi se da je Leon u tri tjedna prije ispita sudjelovao na šest dodatnih termina vježbi.
- Leon pristaje na usmenu provjeru. Dobiva tri nova zadatka iste težine kao na ispitu i rješava ih točno, uz objašnjenje postupka.
Kako se slika promijenila?
- **H1** je znatno oslabljena. Usmena provjera daje neovisan i razlikovni podatak: student koji je ispit riješio uz nedopuštena pomagala teško bi pod nadzorom točno riješio nove zadatke iste težine.
- **H2** je poduprta evidencijom demonstratura i usmenom provjerom.
- **H4** je poduprta slijepom usporedbom snimki: skretanje pogleda nije razlikovalo Leona od neoznačenih studenata.
- **H3** nije provjerena, ali za zaključak više nije presudna.
Procjena nesigurnosti
Ni sada nemamo potpunu sigurnost. Usmena provjera ne isključuje teoretski mogućnost da je Leon na ispitu ipak nešto pogledao i u međuvremenu naučio gradivo. Ali najvažniji podaci sada su neovisni i razlikovni, a podaci koji su upućivali na varanje pokazali su se slabima ili pristranima.
Što smo mislili na početku – i što možemo opravdano tvrditi na kraju
Na početku:
*„Program je označio visok rizik, asistent je na snimci vidio varanje, a rezultat je skočio s 52 % na 94 %. Tri neovisna dokaza upućuju na isto – student je varao.”*
Na kraju:
*„Oznaka programa ima nisku dokaznu vrijednost: program je označio 88 od 500 studenata, a njegova točnost nije neovisno provjerena. Asistentova procjena nastala je uz prethodno znanje o oznaci i sumnji, pa nije neovisna. Slijepa usporedba snimki nije pokazala da se Leonovo ponašanje razlikuje od ponašanja neoznačenih studenata. Evidencija dodatnih vježbi i točno riješeni novi zadaci na usmenoj provjeri podupiru objašnjenje da je student napredovao. Nema dovoljno podataka za zaključak o varanju.”*
Početni „tri dokaza” bili su zapravo jedan slab automatski signal, jedna procjena oblikovana tim signalom i jedan stvaran, ali dvoznačan podatak. Kao što smo naučili u lekciji [Kako nastaje profil?](/profiliranje/kako-nastaje-profil), procjena se mora ažurirati kada se pojave novi podaci – a ovaj primjer pokazuje da je jednako važno **aktivno potražiti** podatke koji mogu razlikovati hipoteze.
15. Neizvjesnost nije beskorisnost
Nakon svega navedenog lako je zaključiti da ništa ne možemo znati. To bi bila jednako pogrešna krajnost kao i vjerovanje u „tajne znakove”.
Tri razine zaključivanja
Korisno je razlikovati tri situacije:
- **Nema dovoljno podataka.** Podaci ne razlikuju hipoteze ili su previše slabi. Pošten odgovor glasi: *„Ne znamo.”* To nije neuspjeh, nego točan opis stanja.
- **Podaci podupiru hipotezu, ali postoji značajna neizvjesnost.** Imamo podatke s određenom dokaznom vrijednošću, ali i otvorena alternativna objašnjenja. Odgovor glasi: *„Podaci više upućuju na A nego na B, ali B nije isključen.”*
- **Relativno snažan dokaz za određenu tvrdnju u određenom kontekstu.** Više neovisnih, razlikovnih podataka, po mogućnosti iz provjerenih izvora, upućuje na isto, a alternative su provjerene i oslabljene. Odgovor glasi: *„Na temelju ovih podataka, za ovu svrhu, možemo s razmjerno velikom sigurnošću tvrditi da…”*
Kako izraziti nesigurnost?
Dobra procjena ne skriva nesigurnost, nego je navodi:
- **na čemu** se temelji – koji podaci, iz kojih izvora,
- **koliko** su ti podaci razlikovni i neovisni,
- **što bi** promijenilo procjenu,
- **za koju svrhu** procjena vrijedi.
Ne tražimo sigurnost tamo gdje je nema. Ali ne moramo odbaciti svako zaključivanje samo zato što nije sto posto sigurno.
Što dokazi mogu pokazati – a što ne mogu
- **Dokaz** se procjenjuje u odnosu na tvrdnju: najvažnije je koliko razlikuje hipoteze, a ne slaže li se s jednom od njih.
- **Povezanost** ne pokazuje uzrok ni smjer, a povezanost u skupini ne pokazuje što vrijedi za pojedinca.
- **Pouzdanost** pokazuje dosljednost, a ne točnost; **valjanost** vrijedi za određenu svrhu.
- **Veličina učinka** važnija je od statističke značajnosti, a i velik učinak ostavlja neizvjesnost za pojedinca.
- **Osjetljivost nije pozitivna prediktivna vrijednost**: kod rijetkih pojava većina pozitivnih rezultata može biti lažna.
- **Više znakova** vrijedi više samo ako su neovisni i razlikovni.
- **Formalna pravila** za kombiniranje podataka u prosjeku su točnija od holističke prosudbe, ali ovise o kvaliteti podataka i o tome jesu li provjerena na sličnim ljudima.
- **Stručnjaci** znaju više, ali nisu imuni na pristranost; postupci poput slijepe procjene mogu je smanjiti, ali ne ukloniti.
- **Poligraf** mjeri fiziološke reakcije, a ne laž.
- **Neizvjesnost** nije beskorisnost – važno je znati koliko je zaključak jak.
Ključni pojmovi
- **Dokazna vrijednost** – koliko podatak razlikuje jednu hipotezu od druge.
- **Omjer vjerodostojnosti** – koliko je puta neki podatak češći kada je hipoteza točna nego kada nije.
- **Pouzdanost** – dosljednost i stabilnost rezultata mjerenja.
- **Valjanost** – opravdanost tumačenja i upotrebe rezultata za određenu svrhu.
- **Kriterijska i prediktivna valjanost** – povezanost rezultata s vanjskim kriterijem, odnosno s budućim ishodom.
- **Inkrementalna valjanost** – koliko nova informacija poboljšava procjenu iznad onoga što već znamo.
- **Veličina učinka** – koliko je povezanost ili razlika stvarno velika, neovisno o statističkoj značajnosti.
- **Bazna stopa (prevalencija)** – koliko je neka pojava česta u skupini koju procjenjujemo.
- **Osjetljivost** – udio stvarnih slučajeva koje postupak ispravno prepozna.
- **Specifičnost** – udio slučajeva bez pojave koje postupak ispravno prepozna kao takve.
- **Pozitivna prediktivna vrijednost** – udio pozitivnih rezultata koji su stvarno točni.
- **Negativna prediktivna vrijednost** – udio negativnih rezultata koji su stvarno točni.
- **Lažno pozitivan i lažno negativan rezultat** – pogrešno pronađena, odnosno pogrešno propuštena pojava.
- **Prilagođavanje podacima** – kada model previše odgovara podacima na kojima je razvijen, pa lošije predviđa nove slučajeve.
- **Kliničko i statističko predviđanje** – kombiniranje podataka prosudbom stručnjaka, odnosno unaprijed određenim provjerenim pravilom.
- **Kontekstualna pristranost** – utjecaj informacija koje nisu potrebne za zadatak na stručnu prosudbu.
- **Sidrenje** – „lijepljenje” procjene uz početnu informaciju, i kada ona nije relevantna.
- **Slijepa pjega za pristranost** – sklonost da se pristranost vidi kod drugih, ali ne i kod sebe.
- **Slijepa procjena** – procjena bez znanja o informacijama koje bi mogle utjecati na prosudbu, a nisu potrebne za zadatak.
Zapamti
- Pitaj **koliko podatak razlikuje hipoteze**, a ne samo slaže li se s tvojom.
- **Korelacija nije uzročnost**, a nalaz o skupini nije zaključak o pojedincu.
- **Pouzdano ne znači valjano**, a valjano za jednu svrhu ne znači valjano za drugu.
- **Statistički značajno ne znači veliko**, a velik učinak ne znači siguran zaključak o pojedincu.
- **Osjetljivost nije pozitivna prediktivna vrijednost** – uvijek pitaj koliko je ono što tražiš često.
- **Tri povezana znaka nisu tri dokaza.**
- **Formule su dosljednije, stručnjaci prikupljaju podatke** – najbolji pristup često kombinira oboje.
- **Iskustvo ne štiti od pristranosti**; pomažu postupci, a ne dobra volja.
- **Poligraf mjeri fiziološke reakcije, a ne laž.**
- **Neizvjesnost nije beskorisnost** – reci koliko je zaključak jak i na čemu se temelji.
Istraži dalje
- [Uvod u profiliranje](/profiliranje/uvod) – pristranosti u procjeni i ograničena vrijednost detekcije laži.
- [Kako nastaje profil?](/profiliranje/kako-nastaje-profil) – hipoteze, razlikovni podaci i ažuriranje procjene.
- [Metode i pristupi profiliranju](/profiliranje/metode) – testovi, intervju i triangulacija.
- [Osobnost i ponašanje](/profiliranje/osobnost-i-ponasanje) – što osobine mogu, a što ne mogu predvidjeti.
- [Govor tijela](/profiliranje/govor-tijela) – zašto pouzdano opažanje nije nužno valjan pokazatelj.
- [Komunikacija](/profiliranje/komunikacija) – iskazi, dosljednost i verbalni pristupi procjeni iskaza.
- [Mitovi i činjenice](/profiliranje/mitovi) – kako nastaju uvjerljive, ali loše utemeljene tvrdnje.
- [Kriminalističko profiliranje](/profiliranje/kriminalisticko-profiliranje) – primjena i dokazni status analize ponašanja u istragama.
- [Studije slučaja](/profiliranje/studije-slucaja) – analiza dokumentiranih slučajeva.
Izvori i literatura
- Ægisdóttir, S., White, M. J., Spengler, P. M., Maugherman, A. S., Anderson, L. A., Cook, R. S., Nichols, C. N., Lampropoulos, G. K., Walker, B. S., Cohen, G. i Rush, J. D. (2006). The Meta-Analysis of Clinical Judgment Project: Fifty-six years of accumulated research on clinical versus statistical prediction. *The Counseling Psychologist*, 34(3), 341–382. [doi.org/10.1177/0011000005285875](https://doi.org/10.1177/0011000005285875)
- Dawes, R. M. (1979). The robust beauty of improper linear models in decision making. *American Psychologist*, 34(7), 571–582. [doi.org/10.1037/0003-066X.34.7.571](https://doi.org/10.1037/0003-066X.34.7.571)
- Dawes, R. M., Faust, D. i Meehl, P. E. (1989). Clinical versus actuarial judgment. *Science*, 243(4899), 1668–1674. [doi.org/10.1126/science.2648573](https://doi.org/10.1126/science.2648573)
- Dror, I. E., Charlton, D. i Péron, A. E. (2006). Contextual information renders experts vulnerable to making erroneous identifications. *Forensic Science International*, 156(1), 74–78. [doi.org/10.1016/j.forsciint.2005.10.017](https://doi.org/10.1016/j.forsciint.2005.10.017)
- Dror, I. E., Thompson, W. C., Meissner, C. A., Kornfield, I., Krane, D., Saks, M. i Risinger, M. (2015). Context management toolbox: A linear sequential unmasking (LSU) approach for minimizing cognitive bias in forensic decision making. *Journal of Forensic Sciences*, 60(4), 1111–1112. [doi.org/10.1111/1556-4029.12805](https://doi.org/10.1111/1556-4029.12805)
- Englich, B., Mussweiler, T. i Strack, F. (2006). Playing dice with criminal sentences: The influence of irrelevant anchors on experts' judicial decision making. *Personality and Social Psychology Bulletin*, 32(2), 188–200. [doi.org/10.1177/0146167205282152](https://doi.org/10.1177/0146167205282152)
- Fazel, S., Singh, J. P., Doll, H. i Grann, M. (2012). Use of risk assessment instruments to predict violence and antisocial behaviour in 73 samples involving 24 827 people: Systematic review and meta-analysis. *BMJ*, 345, e4692. [doi.org/10.1136/bmj.e4692](https://doi.org/10.1136/bmj.e4692)
- Fischhoff, B. (1975). Hindsight is not equal to foresight: The effect of outcome knowledge on judgment under uncertainty. *Journal of Experimental Psychology: Human Perception and Performance*, 1(3), 288–299. [doi.org/10.1037/0096-1523.1.3.288](https://doi.org/10.1037/0096-1523.1.3.288)
- Funder, D. C. i Ozer, D. J. (2019). Evaluating effect size in psychological research: Sense and nonsense. *Advances in Methods and Practices in Psychological Science*, 2(2), 156–168. [doi.org/10.1177/2515245919847202](https://doi.org/10.1177/2515245919847202)
- Gigerenzer, G. i Hoffrage, U. (1995). How to improve Bayesian reasoning without instruction: Frequency formats. *Psychological Review*, 102(4), 684–704. [doi.org/10.1037/0033-295X.102.4.684](https://doi.org/10.1037/0033-295X.102.4.684)
- Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E. i Nelson, C. (2000). Clinical versus mechanical prediction: A meta-analysis. *Psychological Assessment*, 12(1), 19–30. [doi.org/10.1037/1040-3590.12.1.19](https://doi.org/10.1037/1040-3590.12.1.19)
- Henrich, J., Heine, S. J. i Norenzayan, A. (2010). The weirdest people in the world? *Behavioral and Brain Sciences*, 33(2–3), 61–83. [doi.org/10.1017/S0140525X0999152X](https://doi.org/10.1017/S0140525X0999152X)
- Hunsley, J. i Meyer, G. J. (2003). The incremental validity of psychological testing and assessment: Conceptual, methodological, and statistical issues. *Psychological Assessment*, 15(4), 446–455. [doi.org/10.1037/1040-3590.15.4.446](https://doi.org/10.1037/1040-3590.15.4.446)
- Iacono, W. G. i Ben-Shakhar, G. (2019). Current status of forensic lie detection with the comparison question technique: An update of the 2003 National Academy of Sciences report on polygraph testing. *Law and Human Behavior*, 43(1), 86–98. [doi.org/10.1037/lhb0000307](https://doi.org/10.1037/lhb0000307)
- Kahneman, D. i Tversky, A. (1973). On the psychology of prediction. *Psychological Review*, 80(4), 237–251. [doi.org/10.1037/h0034747](https://doi.org/10.1037/h0034747)
- Kassin, S. M., Dror, I. E. i Kukucka, J. (2013). The forensic confirmation bias: Problems, perspectives, and proposed solutions. *Journal of Applied Research in Memory and Cognition*, 2(1), 42–52. [doi.org/10.1016/j.jarmac.2013.01.001](https://doi.org/10.1016/j.jarmac.2013.01.001)
- Kukucka, J., Kassin, S. M., Zapf, P. A. i Dror, I. E. (2017). Cognitive bias and blindness: A global survey of forensic science examiners. *Journal of Applied Research in Memory and Cognition*, 6(4), 452–459. [doi.org/10.1016/j.jarmac.2017.09.001](https://doi.org/10.1016/j.jarmac.2017.09.001)
- Kuncel, N. R., Klieger, D. M., Connelly, B. S. i Ones, D. S. (2013). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. *Journal of Applied Psychology*, 98(6), 1060–1072. [doi.org/10.1037/a0034156](https://doi.org/10.1037/a0034156)
- Meehl, P. E. i Rosen, A. (1955). Antecedent probability and the efficiency of psychometric signs, patterns, or cutting scores. *Psychological Bulletin*, 52(3), 194–216. [doi.org/10.1037/h0048070](https://doi.org/10.1037/h0048070)
- Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning. *American Psychologist*, 50(9), 741–749. [doi.org/10.1037/0003-066X.50.9.741](https://doi.org/10.1037/0003-066X.50.9.741)
- Meyer, G. J., Finn, S. E., Eyde, L. D., Kay, G. G., Moreland, K. L., Dies, R. R., Eisman, E. J., Kubiszyn, T. W. i Reed, G. M. (2001). Psychological testing and psychological assessment: A review of evidence and issues. *American Psychologist*, 56(2), 128–165. [doi.org/10.1037/0003-066X.56.2.128](https://doi.org/10.1037/0003-066X.56.2.128)
- National Research Council (2003). *The Polygraph and Lie Detection*. The National Academies Press. [doi.org/10.17226/10420](https://doi.org/10.17226/10420)
- Nisbett, R. E., Zukier, H. i Lemley, R. E. (1981). The dilution effect: Nondiagnostic information weakens the implications of diagnostic information. *Cognitive Psychology*, 13(2), 248–277. [doi.org/10.1016/0010-0285(81)90010-4](https://doi.org/10.1016/0010-0285%2881%2990010-4)
- Open Science Collaboration (2015). Estimating the reproducibility of psychological science. *Science*, 349(6251), aac4716. [doi.org/10.1126/science.aac4716](https://doi.org/10.1126/science.aac4716)
- Pronin, E., Lin, D. Y. i Ross, L. (2002). The bias blind spot: Perceptions of bias in self versus others. *Personality and Social Psychology Bulletin*, 28(3), 369–381. [doi.org/10.1177/0146167202286008](https://doi.org/10.1177/0146167202286008)
- Rohrer, J. M. (2018). Thinking clearly about correlations and causation: Graphical causal models for observational data. *Advances in Methods and Practices in Psychological Science*, 1(1), 27–42. [doi.org/10.1177/2515245917745629](https://doi.org/10.1177/2515245917745629)
- Rosenthal, R. i Rubin, D. B. (1978). Interpersonal expectancy effects: The first 345 studies. *Behavioral and Brain Sciences*, 1(3), 377–386. [doi.org/10.1017/S0140525X00075506](https://doi.org/10.1017/S0140525X00075506)
- Singh, J. P., Grann, M. i Fazel, S. (2011). A comparative study of violence risk assessment tools: A systematic review and metaregression analysis of 68 studies involving 25,980 participants. *Clinical Psychology Review*, 31(3), 499–513. [doi.org/10.1016/j.cpr.2010.11.009](https://doi.org/10.1016/j.cpr.2010.11.009)
- Swets, J. A., Dawes, R. M. i Monahan, J. (2000). Psychological science can improve diagnostic decisions. *Psychological Science in the Public Interest*, 1(1), 1–26. [doi.org/10.1111/1529-1006.001](https://doi.org/10.1111/1529-1006.001)
- Wells, G. L., Kovera, M. B., Douglass, A. B., Brewer, N., Meissner, C. A. i Wixted, J. T. (2020). Policy and procedure recommendations for the collection and preservation of eyewitness identification evidence. *Law and Human Behavior*, 44(1), 3–36. [doi.org/10.1037/lhb0000359](https://doi.org/10.1037/lhb0000359)
- Yarkoni, T. i Westfall, J. (2017). Choosing prediction over explanation in psychology: Lessons from machine learning. *Perspectives on Psychological Science*, 12(6), 1100–1122. [doi.org/10.1177/1745691617693393](https://doi.org/10.1177/1745691617693393)