Néhány gyakorlati tanács a tesztek kiválasztásához

Néhány gyakorlati tanács a tesztek kiválasztásához

Kutatási eredmények szerint a megfelelően kialakított pszichometriai tesztek jobban előre jelzik a teljesítményt, mint bármilyen más módszer önmagában. Ennek egyik oka az, hogy a tesztek objektív információt nyújtanak a jelöltről, és így elkerülik az egyéb módszerekre – az interjúra – jellemző szubjektivitást.

A tesztek különösen relevánsak az olyan emberek számára, akikre a szubjektívebb módszerek esetleg hátrányos megkülönböztetést jelentenek. A fogyatékossággal élő személyek ilyen értelemben hátrányos csoportot jelentenek, akiket kedvezőtlenül érint a sztereotípia és a címkézés. A tesztek különösen hasznosak az olyan jelöltek képességeinek meghatározására, akik nem rendelkeznek formális iskolai végzettséggel. A fogyatékossággal élőknél gyakran az a helyzet, hogy nehezebben tudják elvégezni a formális tanfolyamokat. A fogyatékossággal élők gyakran szívesen élnek azzal a lehetőséggel, hogy a képességeiket teszteken keresztül mutassák meg.

További fontos jellemzők és tanácsok:

  • A tesztek kiválasztásának mindig gondos munkakörelemzésen kell alapulnia.
  • Fogyatékossággal élők vizsgálata esetén fokozottan ügyelni kell arra, hogy a tesztek és az egyéb kiválasztási módszerek valóban relevánsak legyenek.
  • A különböző fogyatékossággal élő csoportok számára különböző problémák jelentkezhetnek a tesztek adminisztrációjával kapcsolatban.
  • Érthető módon a fogyatékossággal élők aggódnak amiatt, hogy mennyire képesek megoldani a tesztfeladatokat.
  • A fogyatékossággal élő tesztelők általában örömmel veszik, ha lehetőségük nyílik a gyakorló feladatok megoldására, mielőtt a tesztelésre jönnének.

A tesztek kiválasztásának mindig gondos munkakörelemzésen kell alapulnia: csak így állapíthatók meg, milyen képességekre, milyen mértékben van szükség az adott munkában. Fontos, hogy különbséget tegyünk a lényeges és a csupán csak kívánatos tulajdonságok között, mert ez nagyobb flexibilitást biztosít a megfelelő jelöltek kiválasztásában. A fogyatékossággal élők esetleg a többiektől eltérő módon végzik majd a munkát, de lehet, hogy a többiekhez hasonló hatékonysággal. Fogyatékossággal élők vizsgálata esetén fokozottan ügyelni kell arra, hogy a tesztek és az egyéb kiválasztási módszerek valóban relevánsak legyenek. A különböző fogyatékossággal élő csoportok számára különböző problémák jelentkezhetnek a tesztek adminisztrációjával kapcsolatban. Például: a siket jelöltek nem képesek megérteni a szóbeli útmutatót, vagy az értelmi fogyatékossággal élő jelölt számára hosszabb ideig tart a kérdések elolvasása. Ezeken a nehézségeken úrrá lehetünk oly módon, hogy megváltoztatjuk az adminisztráció folyamatát. Ennek azonban komoly hatásai lehetnek a tesztértékek értelmezésére, mert ily módon a teszt feltételei nem azonosak az összes jelölt számára. A problémára nincs általános recept, a legjobb megoldást tesztenként kell átgondolni – ebben a tesztforgalmazók általában szívesen nyújtanak segítséget. Érthető módon a fogyatékossággal élők aggódnak amiatt, hogy mennyire képesek megoldani a tesztfeladatokat. A stressz és a feszültség növelheti a fogyatékosság hatását, és így károsan befolyásolhatja a tesztben nyújtott teljesítményt. A fogyatékossággal élő tesztelők általában örömmel veszik, ha lehetőségük nyílik a gyakorló feladatok megoldására, mielőtt a tesztelésre jönnének. Így képet nyerhetnek arról, hogy mit fognak elvárni tőlük, és lehetőségük van arra, hogy előre feltárják, milyen problémák merülhetnek fel a tesztelés során. Ahhoz, hogy a teszt lebonyolítását a fogyatékossággal élőhöz igazíthassuk, érdemes vele előre megbeszélni, hogyan közelítene az adott feladatok megoldásához, illetve a későbbi munkához. Bár nem mindig lehetséges, hogy a teszteléshez a többi jelölthöz hasonló körülményeket teremtsünk a fogyatékossággal élők számára, de az ilyen előzetes megbeszélés elősegíti a legjobb megoldás megtalálását. A fogyatékossággal élő személyek gyakran nagyon találékonyak fogyatékosságuk leküzdésében.

Ellenőrző lista a tesztelés előtti teendőkről:

Amikor bármilyen jelöltet meghív a tesztvizsgálatra:

  • Részletesen írja le a vizsgálat folyamatát, hogy a jelölt előre jelezhesse esetleges nehézségeit.
  • Nyújtson a jelölt számára gyakorlási lehetőséget.
  • Nyújtson lehetőséget a jelölt számára, hogy esetleges nehézségeit egy konkrét személlyel előzetesen megbeszélhesse.

Ha a jelölt fogyatékossággal élő:

  • Kérdezze meg a fogyatékosság jellegéről és arról, hogyan birkózik meg vele.
  • Beszélje meg vele a várható problémákat és kérdezze meg, milyen megoldást javasol.
  • Vegye figyelembe a tesztforgalmazók ajánlásait.
  • Ellenőrizze, hogy a tesztelés helyszíne megfelelő-e.
  • Biztosítsa a szükséges eszközök rendelkezésre állását.
  • Biztosítsa, hogy a jelölt eljusson a tesztelés színhelyére.

A különböző fogyatékosságok esetén sorra vesszük, milyen módon lehetünk úrrá a kiválasztási folyamat során a fogyatékosságból eredő problémákon.

 

Az eredmények értelmezése

Az egyéni teszteredményeket általában valamilyen csoport (normacsoport) eredményeihez viszonyítjuk. Ez a csoport sztenderd körülmények között töltötte ki a tesztet (sztenderd útmutatóval, időbeli korláttal és válaszmódszerrel). Nem lenne praktikus és hasznos sem, ha megpróbálnánk külön-külön normacsoportot készíteni mindenféle fogyatékossággal élő csoport számára. A fogyatékossággal élő személy tesztértékét a meglévők tesztértékéhez kell viszonyítani, mert így kapjuk meg teljesítményük legmegfelelőbb mutatóját. Ha azonban a tesztfelvételi eljárást megváltoztattuk, akkor nem szabad mereven értelmezni a teszteredményeket (például nagyobb hibahatárt használunk). De ez csak egy durva szabály: érdemes minden alkalommal szakértővel konzultálni. Az egyéni értelmezés legfontosabb szempontja, hogy megválaszoljuk, a jelölt megfelelő képességekkel rendelkezik-e a munka ellátásához.

 

Néhány gyakorlati tanács a tesztek kiválasztására

Először is fontolja meg, hogy valóban a teszt-e a legjobb módszer célja elérésére! A következő szempontok segíthetik a megfelelő módszer kiválasztásában:

Például a numerikus képességeket vizsgáló tesztek teljes általánosságban mérik azt, hogy a jelölt hogyan tud bánni számokkal, táblázatokkal, mennyire képes számszerű következtetéseket levonni. De léteznek olyan, egy-egy konkrét esetre kidolgozott módszerek is (nevezhetjük őket munkapróbáknak), amelyek a szóban forgó munkakör egy-egy feladatának gyors, pontos elvégzését képesek ellenőrizni. Kérdés, melyik vizsgálatból dönthető el jobban, hogy a jelölt mennyire rendelkezik az adott munkakörben szükséges jártassággal, illetve milyen képességek birtokában tudja ezt a jártasságot gyorsabban megszerezni.

Mekkora hibával méri az eszköz a vizsgált tulajdonságot, és máskor, lényegében ugyanolyan körülmények közt ugyanazt az eredményt adja-e a mérés? Olyan vizsgálati eszközt kell keresnünk, amelynek megbízhatósági mérőszáma („megbízhatósági együtthatója”) 0,7–0,9 közt van.

A hitelesség (validitás) több mindent jelenthet.

Legtömörebb megfogalmazása ez: valóban azt méri a vizsgálati eljárás, amit készítőik állítása szerint mér? De az is a hitelességhez tartozik, hogy az a tulajdonság, amelyet az eszközzel (pl. teszttel) mérni akarunk, ténylegesen szükséges-e a munka jobb elvégzéséhez. Jó lenne tudni, vajon van-e számszerű bizonyíték a teszteredmény és a későbbi munkateljesítmény közti összefüggés létezésére. Az ilyen összefüggés többnyire csak feltevésen alapszik: „számolási munkakörben a numerikus képességeket vizsgáló tesztben jobb eredményeket elérők jobban teljesítenek”. De van-e erre vonatkozó vizsgálat, bizonyították-e ezt (és a többi hasonló) feltevést? A tesztek közti válogatás során többnyire olyanokkal fognak találkozni, amelyeknek validitási együtthatója 0,3–0,5 közt van, talán egy kicsivel fölötte; ennél nagyobb érték ritkán fordul elő. Annak megállapítására, hogy alkalmazott módszerünk mennyire jó, az előre jelző validitás (predictive validity) a leginkább megfelelő, de használható az egyidejű validitás (concurrent validity) is. Még jó validitási mutatók birtokában is külön meg kell vizsgálni, mennyire érvényes a mérés annak a munkakörnek az esetében, amelyre éppen most a válogatást végezzük. Lehet, hogy a tesztet közlő szerző más munkafeladatot végző személyek adataira alapozta validitási vizsgálatait, és önnek kell azt eldöntenie, hogy az ott vizsgált képességek mennyire hasonlítanak azokhoz, amelyek mérésére az adott esetben szükség van.

 

Egyenlő esély

Egyik ember számára mást jelenthet a teszt egy-egy mondata (vagy akár az egész teszt), mint a másik számára. Ez a hatás különösen akkor lényeges, ha – nemi, etnikai, életkori vagy egyéb – különbség van az illetők közt. Az ilyen különbségek torzíthatják a teszteredményeket. Minden mérési módszer esetében előfordulhatnak torzítások. Elkerülni nem tudjuk őket, de hatásukat kivédhetjük, az eredményeket korrigálhatjuk. A tesztek készítőinek ismerniük kell a lehetséges torzítások forrását, és közölniük kell az erre vonatkozó adatokat (így pl. meg kell adniuk a nemekre, fogyatékossággal élőkre vonatkozó információkat).

Amikor elemzi ezeket az adatokat, ilyesféle kérdéseket kell feltennie:

  • Különböznek-e a férfiak és nők eredményei?
  • Jobb-e az idősebb dolgozók eredménye, mint a fiataloké?
  • A különböző etnikai csoportokból származó személyek eredményei szignifikánsan eltérnek-e egymástól?

Az egyenlő esély biztosítása a teszt alkalmazójának kötelessége!

​​​​​​​

Figyeljen a következőkre:

  1. Műveltségi szint: Ellenőriznie kell, hogy a tesztet kitöltők megértik-e, miről van szó. A teszt nyelve az ő anyanyelvük? Ha nem, próbáljon meg beszerezni különböző nyelvű változatokat a teszt készítőitől.
  2. Fogyatékossággal élők: Megfelelően tájékozódott Ön arról, hogy milyen speciális adottságok, műveletek szükségesek a teszt kitöltéséhez? Föl van rá készülve, hogy esetleg ennek megfelelő segítséget kell nyújtania a tesztek kitöltőinek?
  3. Teljesség: A teszteredményeken alapuló választást gyakran ki kell egészíteni más eljárásokkal, hogy a munkával kapcsolatos minden fontos szempontot vizsgáljon. Gondolja meg: nem lehetséges, hogy a választott módszer kizár olyanokat, akik egyébként alkalmasak lennének az állásra?
    • Ha a teszteket csak online kitöltésre kínáljuk fel, nem zárunk-e ki ezzel olyan idősebb személyeket, akik vélhetően kisebb valószínűséggel látogatják az álláslehetőségeket hirdető weboldalakat?
    • Hogyan érzi magát valaki egy nyolc jelöltből és négy bírálóból álló csoport közepén, ha mind között ő az egyedüli fogyatékossággal élő? Mennyire változtatja meg megszokott viselkedését ez a rendkívüli helyzet?
    • Mennyire valószínű, hogy kisgyermekes anyák válaszolni fognak egy olyan hirdetésre, amely „agresszív”, „eltökélt” embereket keres, olyanokat, akik „fölkészültek rá, hogy az időt nem kímélve mindent keresztülvisznek”?

 

Törekedjen a következőkre:

  • Legyen kiváló tesztelő: A tesztfelvételt mindig, minden csoportban azonos körülmények között végezze és biztosítsa a megfelelő körülményeket a teszteléshez, érje el, hogy a tesztkitöltők jól érezzék magukat.
  • Adjon egyforma esélyt a résztvevőknek: Ha a tesztben van olyan elem, amely rontja az egyenlő esélyt, tegyen meg mindent ennek ellensúlyozására, kiküszöbölésére – lehetőleg már az előkészítés során. Ha tudja, hogy bizonyos tesztekben a fogyatékossággal élők hajlamosak alul teljesíteni, olyan helyeken kell hirdetni az állást, amelyek nagyobb valószínűséggel jutnak el a hozzájuk. Megváltoztathatja a hirdetés szövegét is, beleírva, hogy „örömmel váruk megváltozott munkaképességű jelentkezőket”. Vagy szervezhet külön tréninget, amelyen a jelentkezők hasonló teszteken gyakorolhatják a tesztkitöltés „mesterségét”, mint amilyeneket a válogatás során kell majd kitölteniük.
  • Legyen aktív és találékony: Ha hiányoznak a teszt természetére vonatkozó információk, például amelyek az egyenlő esély megteremtését segítenék, vegye fel a kapcsolatot a teszt készítőivel, és kérjen el minden ilyen adatot! Mint fogyasztónak és lehetséges partnernek, ehhez joga van.
  • Használjon többféle mérőeszközt: Gyakran még egy hiteles, jó előre jelző tulajdonságokkal rendelkező teszt validitását is növelni lehet egy más mérőeszköz, például strukturált interjú vagy próbamunka párhuzamos alkalmazásával. Az eltérő mérésmód használata azt eredményezi, hogy a feladat ellátásához szükséges képességek szélesebb skáláját sikerül feltérképezni. További előny, hogy az általános képben kevésbé számít minden olyan torzító tényező hatása, amely egyik vagy másik vizsgálatban fellép.
  • Saját adataira támaszkodjon: Általában nincs elég adatunk ahhoz, hogy ezt tekintsük viszonyítási alapnak. De nemcsak jogunk, kötelességünk is különböző vizsgálati adataink összegyűjtése és rendszerezése. Ha már elegendő adatunk van, készíthetünk (saját vizsgálatainkra érvényes) megbízhatósági és hitelességi mérőszámokat, majd figyelembe vehetjük őket az egyenlő esély biztosítását célzó korrekciók elkészítésekor. Adatainkat természetesen mindig nagyon óvatosan, szigorú kritikával kell kezelnünk.

Lássunk egy könnyen átlátható példát!

Száz férfi és száz nő jelentkezett ugyanarra a munkára. Elvégeztünk egy szelekciós eljárást (például egy tesztet), és azt kaptuk, hogy a nők 60%-a, a férfiaknak pedig 30%-a „ment át” a vizsgán. (Ez éppen 60 nőt, illetve 30 férfit jelent.) Nem túlságosan nagy ez a különbség ahhoz, hogy egyszerűen elfogadjuk az eredményt? Hátha a férfiak számára a teszt nem biztosít ugyanakkora esélyt? (A teszt, és nem a jelöltek hibájából, természetesen.) Általános választ adni persze nehéz, de – megkönnyítendő a tesztelők dolgát – Amerikában alkalmazni szokás egy durva szabályt (és ez Európában is egyre inkább terjed), ha valaki ellen a diszkrimináció vádjával lépnek fel. Ez a szabály a „négyötödös”, vagy másképp kifejezve 80%-os szabály: akkor tekintünk különbözőnek két csoportot, ha a rosszabbik eredménye nem éri el a jobbik eredményének 4/5-ét (80%-át). Mint a fenti példában is: a 60 jól teljesítő nő 80%-a 48, a férfiak ezt nem érték el, tehát – valami miatt – hátrányban voltak az eljárás során a nőkkel szemben. Az ilyen szabálynak persze semmiféle elvi alapja nincs. Egyszerűen kitalálta valaki, alkalmazni könnyű és valahol meg kellett húzni a határt. (A mérnöki munkában az ilyet „hüvelykujj-szabálynak” nevezik, arra célozva, hogy olyan matematikai formulát ne alkalmazzon egy mérnök a gyakorlatban, amelynek leírt alakja nem takarható le egy hüvelykujjal.)

 

Normacsoportok

A tesztkészítő által közzétett normacsoportok képezik a jelöltek minősítésének alapját. Legjobb az lenne, ha minden szervezet rendelkezne saját normacsoportokkal, de ehhez is el kell indulni valahonnan; erre igen megfelelőek a teszthez mellékelt normacsoportok. A norma teszi egyáltalán használhatóvá az adatokat, hiszen ezáltal tudjuk átalakítani állításainkat.

XY jelölt 16 pontot ért el a lehetséges 35-ből, ami a normacsoporttal való összevetés után így alakul: XY eredménye a populáció felső 30%-ába tartozik. A teszthasználónak (tehát Önnek) ellenőriznie kell, milyen normacsoportokra építették a tesztet. Elsősorban azt nézze meg, milyen nagy a normacsoport (minél nagyobb, annál megbízhatóbb), és mennyire felel meg annak a csoportnak, amelyikkel ön találkozik munkája során. Ha például valamilyen fogyatékossággal élő csoport a közölt normacsoportnak legfeljebb 2%-át teszi ki, míg az ön által vizsgált esetben a jelentkezőknek akár 30%-a is ehhez tartozhat, akkor a normacsoport nem reprezentálja megfelelően azokat a jelölteket, akikkel Ön találkozik. Döntenie kell: használja-e ezek után ezt a tesztet vagy mást választ.

A jelölt együttműködése

Elfogadják-e a jelöltek azt az eljárást, amellyel Ön a mérést végzi? Általában az a helyzet, hogy mennél közelebb áll a használt módszer a megcélzott munkához, annál elfogadhatóbb az a jelölt szempontjából. Egy tesztről néha kiderül, hogy használható, annak ellenére, hogy ez ránézésre nem nyilvánvaló. De akármilyen is a mérőmódszer, a célt és az okot, amiért éppen ezt az eljárást alkalmazzuk, el kell magyaráznunk a jelöltnek, mert így valószínűbb, hogy megnyerjük az együttműködését. Emellett igaz az is, hogy a jelöltek együttműködése valószínűbb, ha látják, hogyan fogják felhasználni adataikat, és tudják, hogy később megnézhetik azokat, és visszajelzést is kapnak.

 

Gyakorlati szempontok

Amikor vizsgálati eszközt választunk, általában figyelembe kell venni a következőket:

  • Mennyibe kerül?
  • Milyen források állnak rendelkezésre, és milyen forrásokat követel meg a választott módszer?
  • Mennyi időt vesz igénybe?
  • Milyen felszerelés, milyen műszer kell hozzá?

A képességvizsgáló tesztek általában igen jól „vizsgáznak” ezekben a gyakorlati kérdésekben; ezért is olyan népszerűek: könnyű őket alkalmazni (különösen az online változatokat), és más módszerekhez (pl. egy értékelő központhoz) hasonlítva nagyon „költséghatékonyak”. A felsorolt szempontok mindegyikében azt kell mérlegelni, hogy ahhoz képest mennyire drágák, idő- és munkaigényesek, amennyit „hoznak” a kiválasztás szempontjából. Egy nagyon jó, magas előrejelző validitással rendelkező teszt esetleg igen drága; egy rossz döntés, egy nem megfelelő kiválasztás „ára” azonban ennél sokkal magasabb lehet. Még egy fontos gyakorlati szempont lehet a helyszín, ahol a módszert alkalmazzuk. Gondoljunk arra, hogy egy értékelő központ mennyire drága; látszólag nem éri meg kiválasztási célra alkalmazni. De ha csak az eljárás végén alkalmazzák, amikor már csak néhány jelölt van versenyben, akkor már megérheti ezt a magasabb árat.

 

Végezetül

A kiválasztás célja általában a hatékonyság fokozása, de sohasem szabad szem elől téveszteni, hogy a hatékonyságnak az embert kell szolgálnia.

 

Felhasznált forrás:

Dr. Klein Balázs, Prof. Dr. Klein Sándor, Zentai Anita: Célcsoport-specifikus felmérő eszközök gyűjteménye megváltozott munkaképességű személyek kompetencia-vizsgálatára, FSZK Nonprofit Kft. 2015.