Reakce na kritiku Mapy školy

20. 2. 2018
Mapa_reakce

Letos v lednu jsme školám nabídli novou verzi dotazníkového šetření Mapa školy. Začátkem února se k nám dostala písemná kritika, na kterou reagoval náš kolega Petr Holpuch, spoluautor dotazníkového šetření.

Mapa

Letos v lednu společnost Scio začala školám nabízet novou verzi svého výzkumného nástroje Mapa školy. Začátkem února se k nám následně od jednoho z pedagogů dostala písemná kritika tohoto produktu, která pro nás představuje především užitečný pohled na to, jakým způsobem může být nástroj Mapa škola vnímán z pohledu zvenčí. Přestože v této kritice nacházíme některé zajímavé podněty pro naši další práci, z větší části ji vnímáme spíše jako neporozumění tomu, na čem se Mapa školy zakládá, a co je jejím smyslem. Proto níže uvádíme vyjádření našeho kolegy Petra Holpucha, spoluautora dotazníkového šetření Mapa školy.

V tomto textu bych rád na zmíněnou kritiku zareagoval, abychom předešli dalším budoucím nedorozuměním ve výkladu toho, z čeho tento výzkumný nástroj vychází a hlavně k čemu školám může a má reálně sloužit.

Zmíněná kritika Mapy školy stojí z větší části na vybraných výrocích a otázkách z prvních dvou otázek našeho dotazníku pro druhý stupeň žáků ZŠ (celkem je v tomto dotazníku úloh 27, přičemž celkový počet dotazníků pro ZŠ je 5). Autor například uvádí:

Jsou tu například velmi často vícehlavňové otázky (výrok nebo otázka se ptá na víc, než je možné jednou škálou odpovědět). Žák se má třeba vyjádřit k tomuto: U nás ve škole je dobrá nabídka kroužků (dostatečné množství, atraktivní zaměření, dobrá úroveň vedoucích atd.)

Reálně vypadá výrok v dotazníku takto:

U nás ve škole je dobrá nabídka kroužků (dostatečné množství, atraktivní zaměření, dobrá úroveň vedoucích atd.)

Zmíněné otázky i výroky jsou ve skutečnosti z metodologického hlediska v pořádku. To, co na nich autor kritiky označuje termínem „vícehlavňové“, nejsou výroky a otázky samotné, nýbrž jejich detailnější popis, který je uveden v závorkách za nimi (a to zmenšeným nevýrazným písmem, nikoliv velkým tučným, jak to ve svém textu autor kritiky prezentuje). A co je smyslem těchto „vícehlavňových závorek“, v nichž je skutečně obsaženo vždy několik odlišných podoblastí? Zatímco průměrný osmák má v tom, co pro něj znamená „kvalitní výuka“, jasno, pomalejší či méně zdatný šesťák může při hledání odpovědi na tuto otázku ve svém nitru v určitých případech tápat. Pretestace, tedy zkušební testování našich dotazníků, odhalila, že některé menší děti nedovedou propojit abstraktní výrazy jako „dobrý“, „kvalitní“, „příjemný“ atd. s konkrétními zkušenostmi ze školy. Efektivním řešením tohoto problému se ukázala být právě aktivace osobních zkušeností dětí konkrétními příklady toho, co daná položka může představovat. Závorky se zmenšeným písmem, které naleznete za položkami kritizovaných výroků, ve skutečnosti většina dětí při letmém vyplňování dotazníku vůbec číst nepotřebuje, protože odpověď jim naskočí hned po přečtení samotného výroku nebo otázky.

Autor kritiky pokračuje:

To nejsou dvouhlavňové otázky, ale mnohohlavňové otázky! A takových jsou tu desítky. V podstatě to diskvalifikuje celý ten dvoustránkový dotazník. Je to čirý alibismus: výrok je jakoby zaměřen na danou oblast, ale ve skutečnosti z odpovědí žáků škola nezíská data, která by potřebovala!

Ve skutečnosti se jedná o dvě úzce provázané baterie, z nichž ta první sestává z dvanácti výroků a druhá z dvanácti otázek. Před kritikou těchto prvních dvou baterií otázek z dotazníku je důležité se seznámit s jejich účelem. Každý z výroků / každá z otázek zde reprezentuje jednu z dvanácti základních oblastí, které dělají školu školou. Zatímco baterie výroků sleduje pohled žáků na kvalitativní úroveň jednotlivých oblastí, následující baterie otázek sleduje intenzitu touhy žáků po zlepšení stávající úrovně v těchto oblastech. Výstupy z těchto dvou baterií jsou podkladem k sestavení jednotného přehledného grafického zobrazení (viz níže), které ředitele či ředitelku školy upozorní na ty oblasti jejich školy, které si zasluhují zvýšenou pozornost. Cílem zde není pojmenovat konkrétní zdroje problémů v dané oblasti, jak tvrdí autor kritiky (k tomu do jisté míry slouží až některé další části dotazníku). Jejich hlavním smyslem je poskytnout ředitelům srovnání, na jehož základě pochopí, že například výuka práce na počítačích je v dané škole vnímána jako nejpalčivější problém, s nímž by si žáci přáli něco dělat. A to nejen díky hodnocení žáků dané školy, ale také díky srovnání s výsledky z přibližně dvou set dalších základních škol, které se tohoto šetření paralelně účastní. Je pak už na řediteli samotném, zda se rozhodne investovat svůj čas do detailnější analýzy, která odhalí, kvůli čemu přesně jsou žáci na jeho škole nejvíce nespokojeni s výukou práce na PC. 

Následující část kritiky cituji především proto, abych vzápětí vyjasnil, čím Mapa školy není a co byste od ní očekávat neměli:

„Mapa školy“ si hraje na měření klimatu, a sociometrii zároveň, ale nic z toho nedělá pořádně.

Mapa školy není primárně nástrojem pro výzkum sociálního klimatu a už vůbec ne sociometrickým měřením. Jak už název výzkumu napovídá, má sloužit především ke zmapování a určení silných a slabých stránek školy jako celku – od vnímání sociálního klimatu ve třídě přes analýzu potřeb učitelů až po zdánlivě okrajové téma spokojenosti žáků s úklidem toalet.

Autor dále kritizuje „asymetričnost škál“ některých odpovědí v dotazníku pro děti prvního stupně. Zde se nabízí otázka, proč jsou mezi dotazníky pro žáky z prvního a druhého stupně tak obrovské rozdíly? Důvod je prostý. Zatímco dotazník pro druhý stupeň vyplňují děti, u nichž už abstraktní myšlení funguje relativně dobře, dotazník pro první stupeň musí zvládnout vyplnit i méně zdatní druháčci. Malým dětem je vhodnější předkládat takové odpovědi, které si přímo dovedou propojit se svými pocity. A co by se stalo, kdybychom pro odpovědi na kritizovanou otázku z dotazníku pro první stupeň „Máš ve škole strach z některých dětí?“ vytvořili dokonale symetrickou osmibodovou škálu monitorující intenzitu strachu? Výsledkem by byl matematicky přesný výzkumný nástroj, který by naši malí respondenti naplnili nepřesnými daty až po okraj. Malé děti spíše dovedou vybrat z nabídky předložených jednoduchých výroků ten, který jejich prožitku odpovídá nejvíce, nežli určit intenzitu či častost prožívání svého strachu (či jiné emoce) na několikastupňové symetrické škále.

Autor také dále kritizuje způsob, jakým náš dotazník zjišťuje efektivitu výuky:

Haló, Scio!!! Budíček! Sami provozujete školy, kde jsou místo učitelů průvodci a ptáte se v dotazníku na to, jak žáci ocení výklad a „předávání poznatků“?! Proč se neptáte na opravdu kvalitní a moderní vyučování a jeho znaky? Říká vám něco vzájemné učení žáků? Projekty? Myšlenkové mapy a brainstormingy?

O reálném fungování školy a používaných moderních a aktuálních pedagogických metodách mají naši klienti (tedy především ředitelé jednotlivých škol) dostatek informací ze své každodenní praxe a je jen na jejich uvážení, jakým směrem se bude výuka na jejich škole ubírat. Co ale neznají, je to, jak tento jejich vedením formovaný sociální, ideový a v neposlední řadě fyzický prostor zvaný „škola“ subjektivně vnímají samotní žáci, rodiče, učitelé a provozní zaměstnanci. A právě tento typ informací Mapa školy zprostředkovává. Po realizaci šetření naši klienti zjistí, jak jejich stávající podobu výuky na škole vnímají samotní žáci – jak jsou s ní spokojení, co si z ní odnášejí, zda ji považují za přínosnou atd. Součástí tohoto šetření však není a ani nemá být žádný kritický „audit“ stávající koncepce výuky dle měřítek společnosti Scio.

Autor kritiky je také pobaven jednou z nabízených odpovědí v dotazníku pro žáky ZŠ, kterou ve svém textu interpretuje jako nástroj pro určení „lži skóre“ (tedy jako nástroj, který má odhalit podíl respondentů, kteří v dotazníku uvádějí nepravdivé odpovědi):

Pobaví třeba představa autorů dotazníku o tom, jak zjistit „lži skore“. Přece – normálně se zeptat! Malý test inteligence: myslí si autoři dotazníku, že pokud si žák celou dobu vymýšlel (ať z nudy, legrace nebo úmyslně), náhle u poslední položky zatrhne: „většinu odpovědí jsem si vymyslel“? Anebo bude spíše pokračovat ve spanilé jízdě a zatrhne „většinu odpovědí jsem si vymyslel“? :-D

V Mapě školy jsme velmi limitovaní prostorem papírového dotazníku, nemůžeme si proto dovolit obětovat jej sadě kontrolních otázek, které by na základě odlišné formulace stejného problému prokazovaly rozpory v odpovědích žáků. Z tohoto důvodu se o odhalení podílu žáků, kteří odpovídají nepravdivě, ani nepokoušíme (vzhledem k anonymitě a tématu výzkumu není důvod předpokládat jejich významnější množství). Otázka, na kterou autor kritiky tímto naráží, ve skutečnosti zjišťuje pouze míru obav žáků z vyplňování dotazníku. Jím citovaná, z kontextu vytržená odpověď ve znění „Většinu odpovědí jsem si vymyslel.“ reprezentuje pouze jeden z možných přístupů k vyplňování dotazníku, který respondentům nabízíme.

Při práci s rozmanitou skupinou respondentů, jejichž kognitivní schopnosti se výrazně liší (což jsou právě například žáci ve věku 6–18 let), hraje klíčovou roli porozumění tomu, zda si interpretují zadání stejným způsobem jako autoři výzkumu. A k tomu slouží především důkladná pretestace dotazníků, s kterou má společnost Scio mnohaleté zkušenosti a která zde probíhá na velmi vysoké úrovni. Formulace otázek z výzkumného nástroje produktu Mapa školy pro ZŠ jsou dnes díky tomu v souladu se schopnostmi a myšlením cílové skupiny respondentů, zatímco výzkumné cíle tohoto šetření odpovídají potřebám ředitelů a ředitelek ZŠ.

Pravdu má autor kritiky v hodnocení staré verze Mapy školy, z níž se díky průběžným nesystematickým úpravám postupně vytratila jednotná koncepce – ve výsledku působila do značné míry jako změť jednotlivých spolu nesouvisejících otázek. V letošní nové verzi Mapy školy se potom odrážejí nedostatky staré verze v několika málo otázkách, které byly zachovány v původní podobě, zejména kvůli potřebě návaznosti a srovnatelnosti s předchozími ročníky výzkumu.

Autor kritiky ve svém textu také opakovaně zpochybňuje schopnosti a odbornost našeho týmu, který je za vývoj Mapy školy odpovědný:

„Inu, všeobecný přehled, vyšší intelekt a Google (tři hlavní pracovní nástroje pravého SCIOmana) nestačí, je ještě třeba přidat trochu té odbornosti.“

Jako začínající Scioman i jako zkušený sociolog preferuji při své práci selský rozum, jednoduchost a schopnost kreativně vytvořit prostředky na míru jasně formulovaným výzkumným cílům. Zároveň jsem si však díky svému teoretickému vzdělání i mnohaleté praxi v oblasti sociologického výzkumu dobře vědom mantinelů, které by při koncipování výzkumu v oblasti vzdělávání překročeny být neměly. Jinými slovy, naše práce je v souladu se současným poznáním v oblasti empirické sociologie, která od devadesátých let minulého století ustupuje od snahy vytvořit univerzálně aplikovatelné výzkumné techniky a klade stále větší důraz na schopnost flexibilně adaptovat výzkumné nástroje na aktuální způsob myšlení respondentů z dané sociální skupiny. Historické základy současného empirického výzkumu, z nichž vycházím, jsou prakticky shrnuty například v knize Raye Pawsona „Measure for Measures: A Manifesto for Empirical Sociology“.

Na závěr bych rád doplnil, že každé konstruktivní kritiky Mapy školy si ceníme, jelikož nás jednak nutí znovu si připomenout, co je jejím cílem, a také zvážit, zda by v příštím ročníku nebylo dobré udělat něco jinak. Mapa školy je totiž živým nástrojem, v němž dochází po každé vlně realizace ke kritickému zhodnocení a revizi jeho stávající podoby.

Petr Holpuch (spoluautor dotazníkového šetření Mapa školy

Nebojte se zeptat

Rádi vám pomůžeme s výběrem vhodného projektu pro vaši školu, poradíme s administrací či vyřídíme objednávku.

telefon 234 705 055

Nevybrali jste?

Vyzkoušejte našeho on-line poradce, který vám usnadní výběr vhodného projektu na základě toho, co je pro vás a vaši školu důležité.

online poradce on-line poradce