Застосування моделей IRT та MIRT до аналізу тестів з аналітичній геометрії
DOI:
https://doi.org/10.20535/1560-8956.38.2021.233179Ключові слова:
комп’ютерне тестування, «вбудовані відповіді», КТТ, IRT, MIRT, MOODLEАнотація
У статті проведено дослідження щодо побудови методики аналізу комп’ютерних контрольних робіт з вищої математики, які містять тестові завдання різних типів, у тому числі, й завдання типу «вбудовані відповіді», які мають декілька пов’язаних між собою підзавдань, та проведенння на підставі цієї методики аналізу якості контрольної роботи з вищої математики. В основу методики покладено методи Класичної Теорії Тестів (КТТ) та Сучасної Теорії Тестів (IRT), які довели свою ефективність у статистичному аналізі тестів. Основну увагу в роботі зосереджено на використанні моделей
Multidimensional Item Response Theory (MIRT), яка дозволяє відразу проводити дослідження цілого вектору компетентностей студентів, та більш ретельно аналізувати їх. Також у дослідженні використовуються й одновимірні моделі IRT, результати застосування яких порівнюються з використанням MIRT. Серед одновимірних моделей було
відібрано добре відомі моделі Муракі і Бірнбаума, а серед багатовимірних - двовимірні 2-PL і GPCM. Залучені у дослідження багатовимірні моделі є компенсаторними. Питання застосування некомпенсаторних моделей не розглядалось. Порівняння відповідності даним різних моделей було проведено на основі спеціальних інформаційних критеріїв. На їх підставі дещо кращим виявились одновимірні моделі. В якості основного інструментарію обрано середовище програмування R, яке надає потужний набір програмних засобів статистичного аналізу тестів. У якості базового пакету програм обрано пакет mirt. Даними для дослідження обрано модульну контрольну роботу з аналітичної геометрії. Контрольну роботу писало 105 студентів ФІОТ НТУУ «КПІ імені І. Сікорського» 121 спеціальності потоку ІТ. Контрольну розміщено на платформі MOODLE і проводилась вона дистанційно. Аналіз результатів тестів на підставі обраних моделей продемонстрував узгодженість результатів аналізу як одновимірних, так і багатовимірних моделей. Але багатовимірні моделі дозволяють деталізувати аналіз різних компетентностей, у даному випадку – знань з векторної алгебри й знань прямих, площин, поверхонь у просторі. Проведений аналіз показав, що тестову контрольну роботу складено у цілому правильно, дозволив систематизувати завдання за складністю, а для питань типу «вбудовані
відповіді» - деталізувати складності підзавдань. Оцінюючи у цілому результати застосування одновимірних та багатовимірних моделей IRT, слід відмітити їх ефективність в аналізі як тестів з вищої математики, так і у контролі знань з інших дисциплін.
Бібл. 19, іл. 5, табл. 6
Посилання
Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Belmont: CA:Wadsworth, 2006. 527 p.
Челышкова М.Б. Теория и практика конструирования педагогических тестов. Москва: Логос, 2002. 432 с.
Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen: Danish Institute for Educational Research, 1960. 184 p.
Muraki E., Carlson E. Full-information factor analysis for polytomous item responses // Applied Psychological Measurement. 1995. № 19 (1). P. 73-90.
Linden W., Hambleton R. Handbook of modern item response theory. CRC Press, 2018. 576 p.
Baker F. The Basics of Item Response Theory. College Park, MD: ERIC Clearinghouse on Assessment and Evaluation// 2001. URL:
http://echo.edres.org:8080/irt/baker/ (дата звернення: 24.04.2020).
Лісова Т.В. Моделі та методи сучасної теорії тестів. Ніжин: Видавець ПП Лисенко М.М., 2012. 112 с.
Диховичний О.О., Дудко А.Ф. Комплексна методика аналізу якості тестів з вищої математики// Науковий часопис НПУ імені М. П. Драгоманова, серія 2 : Комп'ютерно-орієнтовані системи навчання. 2015. №. 15. С. 139–144.
Dykovychnyi O., Zlyvkov V., Kruglova N., Lukomska S., Kotukh O. Using the multidimensional models to the teacher authenticity scale adaptation// Actual Problems of Psychology. 2018. № 14 (1). P. 137–146.
Dykhovychnyi O.O., Kruglova N.V., Moskalov I. O. Using of mathematical models for analyzing of the results in psychological Guilford test// Mathematics in Modern Technical University. 2018. № 1. P. –75–89.
Dykovychnyi O., Zlyvkov V., Kruglova N., Lukomska S., Kotukh O. Authenticity of the english language teacher’s: the validation of authenticity questionnaire using item response theory// Science progress in European countries: new concepts and modern solutions. 2019. P. 335–347.
Алєксєєва І.В., Гайдей В.О., Диховичний О.О., Коновалова Н.Р., Федорова Л.Б. Застосування сучасних математичних моделей педагогічного тестування у формуванні та аналізі тестових завдань комплекту «Вища математика»// Дидактика математики: проблеми і дослідження: міжнародний збірник наукових робіт. Донецьк: Вид-во ДонНТУ. 2010. № 33. P. 50–56.
Алєксєєва І.В., Гайдей В.О., Диховичний О.О., Коновалова Н.Р., Федорова Л.Б. Застосування математичних моделей тестів у комплекті дистанційної освіти «Вища математика»// Математичні машини і системи. 2010. № 4. P. 89–98.
Ким В.С. Разработка тестов по физике. Учебное пособие. Владивосток: Дальневосточный федеральный университет. 2015. 228 c.
Дятлова К.Д., Михалева Т.Г. Исследование влияния разнообразия форм тестовых заданий на статистические характеристики теста// Вопросы тестирования в образовании. 2006. №4. C. 65–75.
Карданова Е.Ю. О применимости политомической модели Г. Раша к тестовым заданиям различных форм, оцениваемым политомически// Вопросы тестирования в образовании. 2006. №4. C. 44–56.
Reckase M. D. Multidimensional item response theory. New York: Springer. 2009. 354 p.
The Comprehensive R Archive Network // URL:.http://cran.us.r-project.org (дата звернення: 21.01.2021).
Yao L., Schwarz R. A multidimensional partial credit model with associated item and test statistics. An application to mixed format tests// Applied Psychological Measurement. 2006. № 30. P. 469–492.
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у нашому журналі.
2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована нашим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у нашому журналі.
3. Політика журналу дозволяє і заохочує розміщення рукопису роботи авторами в мережі Інтернет (наприклад, на arXiv.org або на особистих веб-сайтах). Причому рукописи статей можуть бути розміщенні у відкритих архівах як до подання рукопису до редакції, так і під час його редакційного опрацювання. Це сприяє виникненню продуктивної наукової дискусії, позитивно позначається на оперативності ознайомлення наукової спільноти з результатами Ваших досліджень і як наслідок на динаміці цитування вже опублікованої у журналі роботи. Детальніше про це: The Effect of Open Access.
