Польські учні минулого тижня складали випускний іспит – матуру – з польської мови. Gazeta Wyborcza вирішила перевірити, як впорається із цьогорічними іспитовими завданнями з польської мови ChatGPT (чат-бот зі штучним інтелектом, розроблений лабораторією дослідження штучного інтелекту OpenAI).
Творці ChatGPT – OpenAI – хваляться, що створений ними штучний інтелект легко складає складні іспити на різних рівнях – від середньої школи до випускних на юридичному факультеті. Журналісти Gazeta Wyborcza вирішили перевірити, як ChatGPT впорається з матурою з польської мови. Роботу, написану чатом, перевірила Адріана Саюр, вчителька польської мови в Загальноосвітньому ліцеї ім. Маленького принца в Тарнобжезі.
У результаті ChatGPT набрав 52 бали з 60 можливих, що дало результат 86 відсотків виконаних завдань. Це краще, ніж у 96 відсотків учнів, які складали випускні іспити. Середній результат іспиту з польської – близько 55 відсотків.
ChatGPT легко відповів на більшість запитань з першої частини, в якій перевіряються як знання учня, так і його вміння аналізувати подані тексти. У цій частині ChatGPT невірно відповів лише на два з 19 питань, одне з яких оцінювалося аж у 4 бали. Проте він чудово впорався з другою частиною – твором, який екзаменатор оцінив у 32/35 балів.
У першій частині чат GPT «запоров» завдання, у якому він мав написати замітку, яка б узагальнювала інформацію про тексти, які він прочитав раніше. ChatGPT, який здобув усі можливі бали в попередніх завданнях за ті ж два тексти, відповів, але не так, як очікувалося. «Текст не відповідає формальним вимогам, немає посилання на обидва тексти та немає викладу позицій авторів, – прокоментувала Адріана Саюр. – В інструкції до завдання не було вказано, які елементи має містити відповідь, щоб набрати максимальну кількість балів. Це те, що учні вивчали під час уроку».
Ще один бал у першій частині ChatGPT втратив під час виконання тричастинного завдання № 10. Слід було прочитати фрагмент тексту Віктора Вейнтрауба, а потім (завдання 10.1) учень повинен був відповісти (обрати з чотирьох варіантів на вибір), про який роман пише письменник. ChatGPT обрав правильну відповідь – «Дзяди. Частина III».
У завданні 10.2 учень мав пояснити, на підставі чого можна підозрювати, що герой, про якого пише Віктор Вейнтрауб, одержимий дияволом. Надаючи відповідь, слід було пригадати прочитане. У відповідь на це завдання ChatGPT придумав сцену, якої немає в «Дзядах», за що отримав нуль балів (з одного можливого).
Окрім цих двох випадків, ChatGPT зразково відповів на всі запитання з першої частини, як відкриті, так і закриті.
ChatGPT також впорався з двома завданнями, де потрібно було проаналізувати графічні зображення. Позаяк ChatGPT не має можливості обробляти графічну інформацію (йому можна передавати тільки текстові дані), він отримав словесний опис того, що знаходиться на картинці. За ці завдання чат отримав максимальну кількість балів.
У другій частині випускного іспиту було завдання написати твір на одну з двох поданих тем на підставі творів, обов’язкових для прочитання, а також інших літературних творів. ChatGPT впорався із завданням і отримав оцінку 32/35. На вибір були такі теми: «Різне ставлення людей до власних помилок» та «Відданість ідеї та особисте щастя».
«Учень» обрав тему № 2. Він написав твір на 511 слів, у якому посилався на «Антігону» Софокла та «Дзяди» Адама Міцкевича. Тут ChatGPT зробив помилку, яку, напевно, не зробив би навіть найгірший учень – переплутав назви творів Адама Міцкевича, а також назвав «Дзяди» віршем.
Крім зазначених помилок, екзаменаторка додатково вказала на відсутність власної думки та її обґрунтування в іспитовій роботі. Оцінюючи твір, вона виставила максимальну кількість балів за структурованість, зв’язність і стиль, зазначивши, що робота спланована та продумана, висновки випливають із наведених аргументів, робота виконана стилістично правильно. ChatGPT також не зробив жодної орфографічної помилки. Однак він допустив кілька дрібних мовних помилок, які не вплинули на втрату балів – повторення, неправильний синтаксис і неправильне відмінювання.
Підозру вчительки викликав правильний, але абсолютно безособовий і нейтральний стиль роботи та довжина відповідей, на які звичайний студент не знайшов би часу під час випускного іспиту. «Якби я отримала таку роботу від учня, я б засумнівалася, чи він написав її самостійно. Відповіді в першій частині аркуша є дуже розлогими, при складанні підсумкового іспиту традиційним способом на них не вистачило часу. Стиль роботи безособовий і нейтральний, що теж додає сумнівів», – говорить екзаменаторка.
Як повідомляють журналісти, для експерименту було обрано пробну версію випускного іспиту з польської мови від грудня 2022 року на базовому рівні, підготовленого Центральною екзаменаційною комісією. На запитання відповідав ChatGPT версії GPT-4. Завдання було скопійовано з екзаменаційного бланка та вставлено безпосередньо в інтерфейс чату без змін.
У випадку двох завдань із графічними елементами ChatGPT отримав словесний опис ілюстрацій. Для написання есе ChatGPT отримав список літератури, необхідної для прочитання та додаткову інформацію з аркуша (наприклад, мінімальну кількість слів).
Джерело: Gazeta wyborcza