Автор:  Володимир Бахрушин 

Добігло кінця зовнішнє незалежне оцінювання 2015 р. З’явилися перші статистичні дані про його результати. Тож є можливість підбити деякі підсумки. Звісно, що на цей момент вони можуть бути лише попередніми. Надати більш точну і повну оцінку можна буде лише після публікації та вивчення узагальнених звітів про результати ЗНО та інформації вищих навчальних закладів про кореляцію його результатів з якістю навчання цьогорічних першокурсників. З іншого боку, вже зараз треба починати інтенсивну підготовку до ЗНО-2016 р. Тому хоча б перші висновки теж актуальні і важливі, ПИШЕ education-ua.org

        Зовнішнє незалежне оцінювання 2015 р. мало низку істотних відмінностей від попередніх років. Зокрема, це:

поєднання ЗНО з української мови і літератури та державної підсумкової атестації всіх випускників загальноосвітніх шкіл; запровадження дворівневих тестів з деяких дисциплін; використання нового способу встановлення порогу успішності; скасування можливості використовувати результати ЗНО попередніх років при вступі до вищих навчальних закладів; надання всім учасникам тестування можливості отримувати скановані копії своїх робіт  у віддаленому режимі.

Одночасно відбувалися і важливі зміни в організації вступної кампанії до вищих навчальних закладів. Зокрема, варто згадати про запровадження алгоритмів зарахування абітурієнтів з використанням комп’ютерних технологій і на основі заздалегідь визначених пріоритетів. Однією із цілей цього нововведення є усування можливості маніпулювання списками абітурієнтів, насамперед, у так звану четверту хвилю. Наскільки вдалою буде ця спроба поки сказати неможливо. Але без сумніву вона підвищує значущість результатів ЗНО для успішності вступу. Іншим важливим нововведенням вступної кампанії є надання вищим навчальним закладам можливості самостійно встановлювати вагові коефіцієнти для балів ЗНО при розрахунку підсумкового конкурсного бала.

Говорячи про підсумки, неможливо обійти увагою і скандал навколо припущень щодо виправлення результатів ЗНО окремих абітурієнтів шляхом несанкціонованого втручання до бази Українського центру оцінювання якості освіти. Незалежно від того, підтвердяться ці підозри чи ні, він, з одного боку, істотно впливає на репутацію ЗНО, як одного з важливих та ефективних засобів подолання корупції в освіті, а з іншого – ставить питання про необхідність вдосконалення системи захисту інформації у базі результатів тестування.

Для участі в основній сесії ЗНО з української мови та літератури зареєструвалися близько 290 тис. осіб, переважна більшість яких (майже 93%) обрали базовий рівень тесту [1]. Пороговий бал для базового рівня дорівнював 22 зі 104 можливих. Його не змогли подолати 8,4% випускників. Слід зазначити, що деякі завдання цього тесту викликали гостру дискусію стосовно їх коректності та мали незадовільні психометричні характеристики. Через це УЦОЯО був змушений не враховувати їх при державній підсумковій атестації і надати за їх виконання по одному балу всім учасникам незалежно від обраного ними варіанту відповіді. Подібні ситуації траплялися в окремих тестах і раніше. Але цього року реальна проблема була істотно перебільшена у громадській думці, що імовірно пов’язане із загальним наступом опонентів освітніх реформ на ЗНО. 

Результати статистичного аналізу свідчать про те, що у цілому складність цьогорічного тесту була приблизно такою саме, як і для тестів 2010 – 2014 р. Він також не відрізнявся від тестів попередніх років за показниками якості завдань (коефіцієнти кореляції та дискримінації). Як приклад, на рисунках 1, 2 наведено загальний розподіл показників складності і коефіцієнтів кореляції завдань для тестів останніх років.

Рис. 1. Діаграми розкиду показника складності завдань ЗНО-2015 з української мови та літератури. Діаграма 2015а відповідає тесту 2015 р. без завдань 29 – 32.

Рис. 2. Діаграми розкиду коєфіцієнтів кореляції завдань ЗНО-2015 з української мови та літератури. Діаграма 2015а відповідає тесту 2015 р. без завдань 29 – 32.  

Для тих, хто обізнаний у математичній статистиці, додам, що p-values для тесту Колмогорова-Смирнова при перевірці гіпотез про однорідність показників якості завдань цьогорічного тесту з аналогічними показниками тестів 2010 – 2014 років у більшості випадків перебуває в межах 0.5 – 0.9 і у всіх випадках істотно перевищує значення 0.05, яке в подібних випадках зазвичай розглядають як критичне для відхилення гіпотези про однорідність. Також статистичний аналіз свідчить, що проблемні завдання не впливають суттєво на якісні характеристики тесту у цілому і на підсумкові результати більшості учасників тестування, які визначаються не відповідями на ці завдання, а сукупністю відповідей на всі завдання тесту. 

Тому можна стверджувати, що висловлювані учасниками цих дискусій думки про можливість суттєвого впливу дискусійних завдань на результати тестування базуються переважно на нерозумінні природи тестових оцінок. Разом з тим, враховуючи суспільну значущість результатів, у майбутньому варто ще раз переглянути методики відбору та експертизи завдань. Зокрема, покращити процедури їх апробації. Особливо важливим це є для найбільш масових тестів, які у наступному році також передбачається поєднати з державною підсумковою атестацією. 

Одним із наслідків поєднання ДПА і ЗНО стало те, що цього року частина потенційних медалістів залишилася без шкільних медалей, оскільки не підтвердила якість своїх знань під час тестування. Ще одним наслідком стало те, що випускники, які були видалені з тестування через серйозні порушення процедур, могли взагалі залишитися без атестатів про повну середню освіту. Цього року МОН надало їм можливість пройти додатково звичайну процедуру державної підсумкової атестації. Але право вступу до вищих навчальних закладів у цьому році вони втратили. 

Поєднання ДПА і ЗНО також створило можливість побудови рейтингу загальноосвітніх навчальних закладів за результатами ЗНО з української мови і літератури. Його результати [2] для багатьох виявилися неочікуваними і не дуже втішними. Так, частина престижних і добре розрекламованих гімназій і ліцеїв з високою оплатою за навчання істотно поступилася не тільки іншим спеціалізованим закладам але і «звичайним» школам. Іншою несподіванкою стало те, що на фоні загального порівняно низького рівня освіти у маленьких місцях та сільській місцевості окремі з розташованих в них закладів освіти посіли у рейтингу досить високі місця. Прикладом є Калуська гімназія, що перебуває у загальному рейтингу на 4 місці з понад 7200 врахованих закладів. Аналогічний висновок можна зробити і з аналізу даних про заклади, випускники яких отримали найкращі результати ЗНО. Зокрема обидві абітурієнтки, що отримали по 200 балів з трьох дисциплін, закінчили навчальні заклади у м. Ніжин Чернігівської області. Є чимало випускників сільських шкіл серед тих, то отримав по 200 балів з двох дисциплін [3]. 

Головним мотивом для запровадженням дворівневих тестів з української мови і літератури та математики було існування спеціальностей з істотно різним рівнем вимог до попередньої підготовки студентів з цих дисциплін. Тести поглибленого рівня розробляли переважно для майбутніх філологів, математиків, фізиків та студентів деяких інших спеціальностей. Але на практиці лише одиниці університетів у правилах прийому вимагали саме поглиблений рівень тестів. Переважна більшість обмежилася базовим рівнем. Тому не дивно, що частки учасників тестування, які обрали поглиблений рівень, були невеликими – близько 7,5% для української мови і літератури та 12% для математики. 

Для тесту базового рівня з математики аномально велика кількість учасників має високі результати. Зокрема, максимальну кількість балів (48 із 48) отримали 1379 учасників. Для порівняння – з інших дисциплін кількість учасників з максимальною кількістю балів була набагато меншою, наприклад для англійської мови – 6, а історії України – 15. Такий розподіл погіршує роздільну здатність тестів базового рівня для групи добре підготовлених абітурієнтів. А враховуючи вибір більшістю університетів для вступу саме цих тестів, погана роздільна здатність ускладнює відбір, через те, що стає неможливим вирізняти просто добре підготовлених абітурієнтів і абітурієнтів, що мають глибокі і якісні знання з дисципліни. Тому у наступному році варто додати до тестів базового рівня певну частку складних завдань, спрямованих на диференціацію саме цієї групи абітурієнтів. 

В тесті базового рівня з математики варто додати також і певну кількість простих завдань. Можливо, за рахунок збільшення загальної довжини тесту. Такі завдання мають стимулювати абітурієнтів відмовитися від вгадування відповідей і не боятися спробувати попрацювати над завданнями. Це надасть змогу зсунути поріг успішності від «порогу вгадування». Аналогічна пропозиція стосується також і тесту з фізики. 

Важливим нововведенням стало запровадження нової методики визначення порогу успішності (склав/ не склав). Раніше його розраховували, виходячи із формального порогу 124 бали, які за старою методикою відповідали відсіюванню приблизно 8 – 10% абітурієнтів (через особливості розподілу результатів іноді і менше). У цьому році пороговий бал спочатку визначали за методом Ангоффа – Беука [4], який передбачає формальний пошук точки компромісу між двома оцінками предметних експертних комісій, а потім уточнювали на відкритих засіданнях загальної експертної комісії з урахуванням багатьох інших обставин. Зокрема, комісія враховувала: частку абітурієнтів, що не подолають поріг при тому чи іншому виборі; наявність зауважень учасників тестування до змісту завдань; близькість пропонованого порогу успішності до порогу вгадування; спеціальності, де буде вчитися переважна більшість тих, хто складав тест, тощо. У таблиці наведено порівняння частки тих, хто не подолав поріг у різні роки, за даними [5]. 

Частка абітурієнтів, що не подолали поріг успішності, %

Предмет

2012

2013

2014

2015

Англійська мова

8,6

8,6

9,2

15,0

Біологія

8,0

9,0

9,4

10,7

Географія

8,6

9,7

10,3

6,8

Історія України

8,3

8,3

3,5

11,7

Математика

9,3

7,3

7,1

21,8

Українська мова і література

8,9

9,2

9,1

8,4

Фізика

9,1

8,1

6,3

23,3

Хімія

8,2

10,1

9,5

15,3

      У більшості випадків нова система визначення порогового бала призвела до суттєвого підвищення частки абітурієнтів, які не подолали поріг. Найбільш істотною в абсолютному вимірі ця частка є для тесту з математики, де поріг не подолали 26563 абітурієнти, а у відносному вимірі – для тесту з фізики. Це не є дивним, бо саме на погані знання шкільної програми з фізики і математики найбільше скаржаться представники вищих навчальних закладів. Для тесту з української мови і літератури відсів був на рівні попередніх років, а для тесту з географії – навіть дещо нижчий. У першому випадку це зумовлено згаданими вище зауваженнями до окремих завдань. Також експерти взяли до уваги те, що тест складали всі випускники шкіл. Незважаючи на те, що поріг не впливав на результати державної підсумкової атестації, експерти імовірно вирішили трохи перестрахуватися і помітно знизили пропонований предметною комісією поріг, не дивлячись на те, що за спірні завдання кожний абітурієнт автоматично отримав по одному балу незалежно від обраного ним варіанту відповіді. Що стосується тесту з географії, то предметна комісія оцінила тест як складний і тому встановила низький поріг. 

Запровадження нового методу оцінювання результатів ЗНО призвело до ще одного наслідку. В новій ситуації вищим навчальним закладам важко було восени у правилах прийому встановити вимоги до оцінок сертифікатів своїх абітурієнтів, оскільки підсумковий бал залежить від встановленого порогу успішності. Тому практично всі дали змогу вступати на всі спеціальності абітурієнтам, що отримали на ЗНО будь-які позитивні оцінки. Тим більше, що новий закон про вищу освіту не вимагає визначення профільних сертифікатів і надає можливість врахування важливості тих чи інших дисциплін через вагові коефіцієнти. Втім, хотілось би сподіватися, що за рік – два вищі навчальні заклади зорієнтуються у новій системі, і принаймні провідні з них будуть встановлювати певні обмеження для профільних дисциплін. Для стимулювання такого підходу можна запропонувати МОН визначити (рекомендовані) профільні дисципліни ЗНО для спеціальностей і пороговий бал ЗНО з цих дисциплін, за якого студент зможе претендувати на навчання за державним замовленням чи на інші форми державної підтримки. 

Палкі дискусії цього року викликало скасування можливості використання результатів ЗНО минулих років при вступі. Ця проблема активно обговорювалася і на порталі «Освітня політика» [6, 7]. Є відомі технічні проблеми пов’язані із переведенням результатів минулих років у нову шкалу. Разом з тим, треба зазначити, що проблема забезпечення у майбутньому порівнянності оцінок ЗНО різних років (принаймні протягом 3 – 5 років), як це практикується у багатьох країнах, є актуальною. Тому важливим є, з одного боку, пошук методів обробки результатів, які б забезпечували більшу стійкість підсумкових балів до варіацій складності тестів, неоднорідності учасників тестування та інших факторів, а з іншого боку – пошук шляхів зменшення самої варіації цих факторів. Як один із заходів можна розглядати використання декількох критеріальних порогів успішності. Наприклад, можливо запровадження двох порогів, один з яких збігався би із запровадженим у цьому році порогом «склав/ не склав», а другий – відповідав межі між задовільним та хорошим рівнями підготовки. Важливою є також стабілізація програм ЗНО, які повинні відповідати програмам загальної середньої освіти, але могли б бути вужчими за ці програми і охоплювати лише їх постійну складову. 

На завершення цієї теми додам, що результати цьогорічного ЗНО не підтвердили припущення, за яким випускники минулих років не здатні скласти тести, і для них потрібно використовувати або результати ЗНО минулих років (якщо такі є) або тести іншого типу. Так, тільки у Дніпропетровській та Запорізькій областях за даними ДРЦОЯО 5 випускників минулих років отримали максимальний результат тестування з математики і англійської мови [8]. Це переконливо свідчить, що справа не у році випуску, а у серйозності намірів отримати якісну вищу освіту. 

Цьогорічне ЗНО відзначилося і низкою технологічних новацій. Чи не найважливішою серед них є забезпечення всім учасникам тестування можливості отримувати електронні скан-копії своїх робіт. По-перше, це дає їм змогу визначити необхідність і доцільність подання апеляції на результати. За наявності такої копії та інформації про схему оцінювання і правильні відповіді, яку публікує УЦОЯО відразу після закінчення тесту, абітурієнт у багатьох випадках може самостійно встановити коректність отриманих ним оцінок. Це особливо важливо для тих, кому з різних причин може бути важко потрапити до Києва. Певні сумніви можуть залишитися лише за наявності завдань з розгорнутою відкритою відповіддю, які є не у всіх тестах. Другою важливою перевагою такої методики є те, що наявність електронного доступу до своїх робіт робить фактично неможливою підміну робіт з метою надання переваги іншим учасникам, оскільки така підміна відразу виявлялась би постраждалими від неї учасниками тестування. 

Говорячи про підсумки цьогорічного ЗНО, неможливо оминути увагою декілька скандалів, які були зумовлені як реальними, так і надуманими причинами. Вище я вже згадував проблему, пов’язану з окремими завданнями тесту з української мови і літератури. Незважаючи на те, що було знайдено рішення, яке більш-менш влаштовує всі зацікавлені сторони, вона ще раз висвітлила необхідність вдосконалення методик розробки та експертизи (і, зокрема, апробації) тестових завдань. Про таку необхідність багато говорять і учасники різноманітних обговорень якості завдань ЗНО у соціальних мережах. Нерідко згадується і невідповідність окремих завдань вимогам програм. Щоправда конкретних прикладів такої невідповідності критики зазвичай не наводять. А коли наводять, то часто виявляється, що проблема не стільки в невідповідності тестових завдань програмам, скільки в невідповідності самих програм реальним можливостям багатьох загальноосвітніх закладів, невідповідності підручників програмам, а іноді і чиїхось методичних рекомендаціях, які не відповідають ані програмам, ані підручникам. І тут є над чим думати, щоб з одного боку зупинити падіння якості освіти, а з іншого – перевіряти під час ЗНО те, що дійсно важливо для подальшого навчання, а не знання з другорядних тем, ілюстративний матеріал тощо. 

Вже під час вступної кампанії спалахнув набагато гучніший скандал, пов'язаний із підозрою працівників УЦОЯО у несанкціонованому втручанні до бази результатів ЗНО з метою корегування результатів окремих учасників. Суто теоретично таке втручання безсумнівно можливо. Не існує електронних баз, до яких людина, що знає алгоритми їх роботи, не могла б проникнути і щось в них змінити. Про це свідчать періодичні згадування у печаті про хакерів, які проникають до найбільш захищених у світі систем, що належать урядам та спеціальним службам найпотужніших держав світу, провідним фінансовим установам тощо. Але питання не у принциповій можливості, а у реальній. Тобто з урахуванням співвідношення витрат і результату, потрібних зусиль, часу й т. д. З огляду на це, багато учасників обговорень цієї проблеми просто не бачать сенсу у реалізації подібних схем. Бо потенційні замовники, здатні оплатити такі «послуги», без проблем можуть за ті самі чи навіть менші гроші влаштувати своїх чад вчитися за контрактною формою, або у закордонних вищих навчальних закладах, де ЗНО взагалі непотрібно. А кваліфіковані програмісти, що потенційно могли б реалізувати таке втручання, мають можливість цілком легально заробляти набагато більші гроші і не мають потреби у сумнівних підробітках. 

Для того, щоб запобігти несанкціонованим втручанням, створюють спеціалізовані системи захисту інформації, а також спеціалізовані служби, призначені для експертизи цих систем і контролю за їх діяльністю. Такі системи, зокрема, передбачають розосередження інформації, потрібної для доступу к системі, динамічне кодування даних, протоколювання всіх подій тощо. Очевидно, що така система існує і в УЦОЯО. Наскільки вона якісна і відповідає сучасним вимогам – це інше питання. І скоріше не до керівництва Центру, а до тих установ, що здійснювали експертизу системи захисту та фінансують діяльність УЦОЯО. 

Слід додати. Незважаючи на те, що цьогорічне ЗНО в основному завершилося, необхідність санкціоновано втручатися до бази і змінювати окремі записи поки є. Хоча б через те, що до 20 липня учасники додаткової сесії мали можливість подавати апеляції на результати. Насправді немає проблеми у тому, щоб встановити, були випадки підміни результатів у базі, чи ні. Достатньо порівняти результати підозрюваних абітурієнтів на сайті vstup.info зі скан-копіями чи оригіналами їх робіт. І буде зрозуміло, чи є потреба щось шукати далі. 

Не можна не зупинитися і на обговорюваних у цьому контексті можливих механізмах підміни. Нібито хтось підбирав абітурієнтів з того самого регіону, які мали подібні до замовника «психометричні характеристики». Ті, хто озвучує такі припущення імовірно не знають (та й не повинні знати), що психометричні характеристики існують лише у тестів і тестових завдань, але не в окремих абітурієнтів. Але і в цьому випадку можна було б здогадатися, що навіть, якщо йде мова про якісь інші характеристики, немає жодного сенсу міняти шило на мило, бо у абітурієнта з подібними характеристиками підсумковий результат буде той самий. 

Сьогодні є багато припущень стосовно можливих причин і замовників цього скандалу. Але, незважаючи на те, були порушення чи ні, беззаперечним фактом є його використання для дискредитації ЗНО, і, зокрема, для того, щоб посіяти сумніви в його результатах і надійності одержуваних абітурієнтами оцінок. У цьому контексті можна абсолютно впевнено стверджувати, що такі побоювання є сильно перебільшеними. Навіть, якщо підозри у викривленні результатів окремих абітурієнтів підтвердяться, це жодним чином не вплине на результати інших абітурієнтів через статистичний характер оцінювання. Для підтвердження такого висновку наведу лише такі числа. Сьогодні йде мова про можливість близько 10 випадків корегування результатів. Імовірно з різних дисциплін. Якщо візьмемо тест з історії України, то кількість учасників, які отримали однакові бали для переважної більшості можливих оцінок перебуває в межах від декількох сотень до декількох тисяч. Наприклад, оцінку 140 отримали 4503, а оцінку 180 – 494 учасника. В тесті з математики такі оцінки отримали, відповідно, 3939 та 1832 учасники; в тесті з англійської мови – 2052 та 980 учасників. Тобто жодного реального впливу на загальні результати чи показники окремих учасників ці зловживання, якщо вони і мали місце, справляти не можуть. 

Підбиваючи підсумки, хочу зазначити, що цьогорічна конфліктність навколо ЗНО значною мірою пов’язана із намаганням керівництва УЦОЯО та МОН зупинити деградацію української освіти. Через це вони змушені приймати непопулярні рішення, які викликають спротив певної частини освітян, учнів та батьків. Разом з тим, ми маємо розуміти, що і само ЗНО потребує подальшого вдосконалення. Як в тих напрямах, про які говориться у статті, так і в багатьох інших. Але, говорячи про будь-яке вдосконалення, ми обов’язково стикаємося з проблемами фінансування. Треба оновлювати комп’ютерну техніку, систему захисту даних, платити авторам і експертам, які мають забезпечити наповнення бази тестових завдань якісним матеріалом, тощо. А для цього потрібно мати спільне розуміння того, якою ми хочемо бачити українську освіту, як це можна забезпечити і яке місце у цьому має посідати ЗНО. 

1. http://osvita.ua/test/rez_zno/46941 

2. http://testportal.gov.ua/files/other/Rating.pdf 

3. http://testportal.gov.ua/files/other/Analit_2.pdf 

4. І. Лікарчук. Як будемо визначати результати ЗНО? http://education-ua.org/ua/articles/376-yak-budemo-viznachati-rezultati-zno 

5. http://osvita.ua/test/rez_zno 

6. В. Бахрушин. Про черговий законопроект щодо забезпечення рівних прав на здобуття вищої освіти. http://www.education-ua.org/ua/articles/388-pro-chergovij-zakonoproekt-shchodo-zabezpechennya-rivnikh-prav-na-zdobuttya-vishchoji-osviti 

7. В. Бахрушин. Як прирівняти непорівнянне? http://www.education-ua.org/ua/tsifri-i-fakti/400-yak-pririvnyati-neporivnyanne. 

8.http://dneprtest.dp.ua/cms/index.php?option=com_content&view=article&id=50 

Володимир Бахрушин, д.ф.-м.н., професор, академік АН вищої школи України

Вісті Калущини ⁵