B-kategooria sõidueksami edukust mõjutavad tegurid

Avaandmetel põhinev analüüs

Allikas

Sissejuhatus

Analüüsi ajendiks on avaandmetest nähtav trend, et Transpordiameti eksamineerijad on erineva rangusega. Ühega saavad enamik sõidueksamist läbi, teisega kukub suurem osa läbi. Tahtsin andmetesse veidi rohkem sisse vaadata. Nimelt tõusatusid mõtted paaris aspektis:

• punkthinnangud (keskmised) ei anna väga täpset pilti, kui kindlad selles hinnangus oleme. Kindluses on suur erinevus kui meil on 10 või 1000 eksamit eksamineerija kohta;
• lisaks eksamineerijale sõltub eksamitulemus ka eksamineeritavast, keda omakorda mõjutab autokool, enesekindlus jne;
• erinevad faktorid võivad olla omavahel korrelatsioonis. Näiteks eksamineerijad töötavad enamasti enamiku ajast ühes piirkonnas ja ning hulk autokoole on seotud konkreetse piirkonnaga. Kui selles piirkonnas on nõrk autokool, siis viib see ka eksamineerija tulemuse alla, kuigi ei pruugi olla seotud otseselt tema eksamineerimise tasemega.

Erinevate seoste paremaks lahti harutamiseks kasutan Bayesi mudelit. Minu eesmärk ei ole niivõrd luua mudelit, mis prognoosiks väga täpselt eksami tulemust, vaid mis selgitaks erinevate komponentide mõju eksami tulemusele.

Lühikokkuvõte

Neile, kes pikka teksti lugeda ei viitsi, teen lühikokkuvõtte tulemustest:

• Transpordiameti eksamineerijate leebuse/rangus on olemasolevates andmetes kõige suurema efektiga tegur sõidueksami tulemusele. Eksamineerija annab kuni +15%-punkti või võtab kuni -12%-punkti tõenäosust vähemaks, et eksam saab tehtud
• ka autokoolide vahel on erisused: mõne õpilased saavad tõenäolisemalt sõidueksami tehtud. Autokooli efekt on väiksem kui eksamineerija oma
• ära võta sõiduõpetajat eksamile kaasa. Pigem võta lisasõidutunde.

Tulemuste visualiseering on siin.

Andmed

Andmed sain avaandmete portaalist ning on aastate 2021–2024 kohta. Filtreerisin välja B-kategooria sõidueksamid, mille eritingimuses oli märge 101 (esmase juhtimisõiguse taotlemine). Jätsin alles ka read, kus oli eritingimuseks kood 78 (automaatkäigukast). Eemaldasin eritingimusega 96 eksamid, kuna see puudutas suurema massiga sõidukit ning suure tõenäosusega ei hõlma inimesi, kes taotlevad esimest korda juhtimisõigust. Lisaks eemaldasin ka need eksamid, kus eksami sooritaja ei tulnud kohale. Need read ei anna infot eksami tegeliku edukuse kohta. Kokku hõlmas mudelisse läinud andmestik 118 532 eksamit, millest 57 095 lõppes positiivse tulemusega. Andmete puhastamine ja mudelidamise kood on siin.

Mudel

Mudeli loomisel lisasin muutujaid alguses oma tunnetuse, hiljem selle järgi, kui olulist mõju nad lõpptulemusele avaldasid. Esimesed muutujad, mis mudelisse lisasin:

• eksamineerija ID
• viimane autokool
• büroo, kus eksam tehti

Mängisin ka ajaga (nädalapäev, nädal, kuu, aasta), kuid nende efektid olid ebaolulised, mistõttu lõplikku mudelisse neid ei jäänud.

Lisaks katsetasin eritingimustega. Eritingimustest ei omanud automaatkäigukastiga eksami tegemine statistiliselt olulist mõju. Ainus mõju oli koodil 101 — esmase juhiloa taotlemine. Kui seda koodi ei olnud, siis oli ka suurem tõenäosus eksam sooritada. See näitab, et kui load on kauem käes olnud, siis suureneb ka tõenäosus järgmise taseme eksam sooritada.

Viimasena lisasin mudelisse muutuja, kas eksamil oli sõiduõpetaja kaasas või mitte. Kuna see osutus statistiliselt oluliseks tunnuseks, siis jäi see lõplikku mudelisse. Vastavalt konvergeerumise parandamiseks muutsin mudeli vajadusel hierarhiliseks. Mudeli kõik parameetrid konvergeerusid (r-hat oli 1.01 või alla selle).

Tulemused

Mudeli täpsem struktuur ja treenimiseks kasutatud parameetrid on siin.

Mudeli baastõenäosuseks, et sõidueksam saab edukalt tehtud (ilma muud infot omamata) on 49.8% (95% tõenäosusintervall: [48.4%, 51.1%]). Teades rohkem infot eksami kohta, on võimalik seda tõenäosust täpsemaks muuta.

Lõplikus mudelis on komponentide efektid sõidueksami läbimisele toodud alljärgneval graafikul:

Komponentide efektid eksami tulemusele absoluutskaalal (%-punkti muutust)

Kõige suurema efektiga on eksamineerija (nii keskmise kui ka maksimaalse efekti osas). Teist kohta jagavad autokool (suurem maksimaalne efekt) ja sõiduõpetaja kaasas (suurem keskmine efekt). Vaatleme nüüd efekte eraldi.

Eksamineerija

Eksamineerija on selles mudelis vaieldamatult kõige suurema efektiga muutuja. Küll aga pole igal eksamineerijal sama suur efekt. Andmestikus oli kokku 58 eksamineerijat. Neist 14 oli selge positiivne ning 16 negatiivne efekt. Selge positiivne efekt tähendab, et nende efekti tõenäosusintervall ei läbinud 0-i.

Eksamineerijad, kelle mõju sõidueksami läbimisele on satistiliselt oluline

Kõige suurem positiivne eksamineerja efekt on ca 15%-punkti (tõenäosusintervall on [12.8%-punkti, 17.0%-punkti]. See tähendab, et tema juurde eksamit tegema minnes on sul 15%-punkti suurem tõenäosus eksam läbida (ehk siis kogu tõenäosus eksam läbi saada on on 49.8%+15%). Seevastu sattudes kõige rangema eksamineerija juurde on sul kohe karistuseks ca -12%-punkti (95%-lise tõenäosusintervalliga [-14.2%-punkti, 10.1%-punkti] ehk siis kogu tõenäosus eksam läbi saada on 49.8%-12%).

Arvestades kui palju eksamineerijaid on statistiliselt olulise efektiga ning kui suur on maksimumi ja miinimumi vahe (ca -12% kuni +15% ehk ligi 27%-punkti), võib öelda, et siin on ruumi eksamineerijate taseme ühtlustamiseks. Vahe pole küll nii suur kui ainult keskmisi uurides (ERRi artiklis oli alumise ja ülemise tipu vahe 50%-punkti), kuid siiski suhteliselt suur.

Autokool

Autokoolil on samuti märgatav efekt sõidueksami tulemusele. Samas on see väiksem kui eksamineerija oma. Andmestikus on 352 autokooli, statistiliselt olulise efektiga on neist 26 (14 positiivse ja 12 negatiivse efektiga). Kõige selgema positiivse efektiga on Rakvere Motokool OÜ (keskmiselt +7.1%-punkti, 95%-lise tõenäosusintervalliga [+4.7%-punkti, 9.5%-punkti]). Selge positiivse efektiga on ka Eesti suurim autokool Autosõit OÜ (+2.3%-punkti, 95%-lise tõenäosusintervalliga [+1.5%-punkti, 3.2%-punkti]), mille keskmise tõenäosusintervall on kitsam. Neil on palju õpilasi, mis annab rohkem andmestikku mida tulemuste kohta arvata. Negatiivse efekti osas võidab Juaus OÜ (keskmiselt -8%-punkti, 95%-lise tõenäosusintervalliga [-10.4%-punkti, -5.6%-punkti]).

Autokoolid, mille mõju sõidueksami läbimisele on satistiliselt oluline

Tulemuste tõlgendamisel tasub olla ettevaatlik, kuna autokoolid võivad tõmmata/pakkuda koolitust erinevatele õppuritele. Näiteks kui sa oled autokool, mis keskendub tehnikahuvilistele, siis võib oodata ka neilt keskmiselt paremat sõidueksami sooritamist. See ei pruugi otse tähendada, et autokool kui selline pakub üle keskmise koolitust. Teisipidi võib mõni väike autokool olla siin pildilt väljas, kuna neil on vähem õpilasi, mistõttu on raskem selgelt väita, et tulemus on statistiliselt oluline (kuigi suurema andmestiku pealt oleks seda võimalik näha).

Transpordiameti teenindusbüroo

See, millises teenindusbüroos eksamit tehti ei oma statistiliselt olulist efekti sõidueksami tulemusele. Büroode keskmised on küll erinevad (Narva keskmiselt +2%-punkti vs Pärnu keskmiselt-2%-punkti), kuid ebaolulised.

Teenindusbüroode efekt sõidueksami läbimise tõenäosusele

See ei tähenda, et igas teenindusbüroos oleks sama tõenäosus sõidueksam positiivselt lõpetada. Igas büroos on eksamineerijad, kes töötavad rohkem just seal. Vahe, miks ühes või teises büroos on läbisaamise tõenäosus erinev, tuleneb suuresti eksamineerijate erinevusest. See viitab ka sellele, et kohad, kus sõidueksamit tehakse, ei ole ise üldjoontes väga erinevad (mõni koht oleks eriti raske või kerge).

Sõiduõpetaja kaasas

Viimane tegur, mis osutus statistiliselt oluliseks, oli sõiduõpetaja olemasolu eksamil. Sellel on väike (keskmiselt -2.5%-punkti, 95%-line tõenäosusintervall [-3.4%-punkti, -1.7%-punkti]), kuid selge negatiivne efekt eksami tulemusele. See ei tähenda, et sõiduõpetaja midagi eksamil vussi keeraks. Pigem võib see viidata sellele, et õpilane pole endas nii kindel/on närvis ja tahab toredat õpetajat julgustuseks kaasa. Võib-olla see tekitab lisapinget (ma pean ju hästi sõitma, et mitte häbi teha) või viitab sellele, et tal oleks vaja rohkem sõidukogemust (et tunda ennast ka võhivõõraga sõites piisavalt rahulikult).

Kui tunned, et tahad sõiduõpetajat kaasa võtta, siis arvatavasti on sul vaja veel sõidupraktikat. Kuid eks seegi on hüpotees, mida tulevikus testida.

Analüüsi piirangud

Käesolev mudel pole kindlasti kõikvõimas. Tulemuste tõlgendamisel tasub arvestada teatud piirangute/eeldustega:

• mudelis ei ole palju infot juhi kandidaatide kohta. Osaliselt võib see imbuda tulemusse läbi selle, kas sõiduõpetaja on eksamil kaasas (see juhtub õpilase soovil) ning osaliselt läbi autokooli (mõnes koolis on näiteks tehnikahuvilisi, kus selle tõttu võib tase olla kõrgem). Kuid mudel ei arvesta seda, mitmendat korda eksamit tehti (kui esimesel korral ei saadud läbi), kui palju on õpilasel sõidupraktikat jne. See info aitaks selgemini eristada autokooli ja õpilasega seotud efektid.
• näiteks ei oska mudel arvesse võtta seda, kui sõidutunnid võtsid Tallinnas, kuid eksamile läksid Paidesse. Sellel võib olla oluline efekt lõpptulemusele.
• mudel toimib olukorras, kus inimesed läbivad autokooli (vähemalt miinimumtasemel) ja lähevad seejärel sõidueksamit sooritama. Mudel ei aita sind, kui sa ei oska sõita ning tahad optimeerida oma sõidueksami sooritamise võimalust.
• mudel eeldab, et eksamineerijate vahel jagunevad eksamineeritavad enam vähem juhuslikult (et ei oleks efekti, et ühel eksamineerijal on keskmisest oskuslikumad/vähem oskuslikumad eksamineeritavad).
• mudeli seosed ei pruugi olla põhjuslikud. Näiteks sõiduõpetaja kaasa võtmine ei põhjusta otseselt kehvemat tulemust vaid võib viidata eksamineeritava ebakindlusele (kuid seda oleks vaja eraldi analüüsida)
• mudel annab sulle ülevaate keskmistest efektidest. Iga nüanssi mudel arvesse võtta ei oska. Seega ei pruugi see mudel sulle konkreetsel juhul väga kasulik olla. Tasub meeles pidada ka seda, et mudel on ca 60% täpsusega (F1-skoor, kui mudeli tulemus klassifitseerimiseks pöörata), seega mudel teeb vigu. Küll aga on eelnevast näha, saame mudelist leida üldiseid seoseid

Interaktiivne visualiseering

Kellel on huvi rohkem tulemuste vastu, saab mudeli tulemustega interaktiivselt mängida siin. Kindlasti ära hakka selle põhjal põhjapanevaid järeldusi tegema. Võib olla on see vidin abiks mõnele algajale autojuhile autokooli valikul.

Visualiseering liidab erinevad efektid kokku, kuid ei arvesta praktiliste piirangutega. Näiteks kõik eksamineerijad ei tööta igas teenindusbüroos (ning sa ei saa eksamineerijat valida). Samuti on mõistlik teha sõidueksam linnas, kus tehti õppesõitu. Kõige kindlam viis sõidueksami läbimiseks on omada piisavalt sõidupraktikat.

Kokkuvõte

Kokkuvõtvalt saab teha järgnevad järeldused:

• mõne Transpordiameti eksamineerijaga on suurem ning mõnega väiksem tõenäosus B-kategooria sõidueksam ära teha. Vahe rangeima ja kõige leebema vahel on peaaegu 30%-punkti. Siin tasuks mõelda taseme ühtlustamiseks (ja ega see vahe päris 0%-punkti vast ka olema pea). Samas ei ole see nii suur kui lihtsalt keskmiste võrdlemisel.
• enamik autokoole on väikese efektiga (st ei anna otseselt eelist ega sea õpilast ebasoodsasse positsiooni), kuid mõne puhul on positiivne ja negatiivne efekt siiski tuvastatav.
• teenindusbüroo, kus eksamit tehakse, ei ole olulise efektiga. Olulisemat efekti omab tõsiasi, milline eksamineerija satub eksamit vastu võtma.
• sõidueksamile ei tasu sõiduõpetajat kaasa võtta. Kui eksamineeritav tunneb, et tahab seda teha, siis arvatavasti oleks tal vaja rohkem sõidupraktikat.

Kõik need järeldused on tõenäosuslikud ning ei pruugi olla põhjuslikud (nt võttes sõiduõpetaja eksamile kaasa ei tähenda see, et oled automaatselt läbi kukkunud) ning kõige parem on tulemusi kasutada üldiste trendide analüüsimiseks (nt millised eksamineerijad on rangemad/leebemad). Head põrumist!