Застосування моделей IRT та MIRT до аналізу тестів з аналітичній геометрії

Автор(и)

  • Н. Круглова КПІ ім. Ігоря Сікорського
  • O. Диховичний
  • Д. Лисенко

DOI:

https://doi.org/10.20535/1560-8956.38.2021.233179

Ключові слова:

комп’ютерне тестування, «вбудовані відповіді», КТТ, IRT, MIRT, MOODLE

Анотація

У статті проведено дослідження щодо побудови методики аналізу комп’ютерних контрольних робіт з вищої математики, які містять тестові завдання різних типів, у тому числі, й завдання типу «вбудовані відповіді», які мають декілька пов’язаних між собою підзавдань, та проведенння на підставі цієї методики аналізу якості контрольної роботи з вищої математики. В основу методики покладено методи Класичної Теорії Тестів (КТТ) та Сучасної Теорії Тестів (IRT), які довели свою ефективність у статистичному аналізі тестів. Основну увагу в роботі зосереджено на використанні моделей
Multidimensional Item Response Theory (MIRT), яка дозволяє відразу проводити дослідження цілого вектору компетентностей студентів, та більш ретельно аналізувати їх. Також у дослідженні використовуються й одновимірні моделі IRT, результати застосування яких порівнюються з використанням MIRT. Серед одновимірних моделей було
відібрано добре відомі моделі Муракі і Бірнбаума, а серед багатовимірних - двовимірні 2-PL і GPCM. Залучені у дослідження багатовимірні моделі є компенсаторними. Питання застосування некомпенсаторних моделей не розглядалось. Порівняння відповідності даним різних моделей було проведено на основі спеціальних інформаційних критеріїв. На їх підставі дещо кращим виявились одновимірні моделі. В якості основного інструментарію обрано середовище програмування R, яке надає потужний набір програмних засобів статистичного аналізу тестів. У якості базового пакету програм обрано пакет mirt.  Даними для дослідження обрано модульну контрольну роботу з аналітичної геометрії. Контрольну роботу писало 105 студентів ФІОТ НТУУ «КПІ імені І. Сікорського» 121 спеціальності потоку ІТ. Контрольну розміщено на платформі MOODLE і проводилась вона дистанційно. Аналіз результатів тестів на підставі обраних моделей продемонстрував узгодженість результатів аналізу як одновимірних, так і багатовимірних моделей. Але багатовимірні моделі дозволяють деталізувати аналіз різних компетентностей, у даному випадку – знань з векторної алгебри й знань прямих, площин, поверхонь у просторі. Проведений аналіз показав, що тестову контрольну роботу складено у цілому правильно, дозволив систематизувати завдання за складністю, а для питань типу «вбудовані
відповіді» - деталізувати складності підзавдань. Оцінюючи у цілому результати застосування одновимірних та багатовимірних моделей IRT, слід відмітити їх ефективність в аналізі як тестів з вищої математики, так і у контролі знань з інших дисциплін.

Бібл. 19, іл. 5, табл. 6

Посилання

Crocker L., Algina J. Introduction to Classical and Modern Test Theory. Belmont: CA:Wadsworth, 2006. 527 p.

Челышкова М.Б. Теория и практика конструирования педагогических тестов. Москва: Логос, 2002. 432 с.

Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen: Danish Institute for Educational Research, 1960. 184 p.

Muraki E., Carlson E. Full-information factor analysis for polytomous item responses // Applied Psychological Measurement. 1995. № 19 (1). P. 73-90.

Linden W., Hambleton R. Handbook of modern item response theory. CRC Press, 2018. 576 p.

Baker F. The Basics of Item Response Theory. College Park, MD: ERIC Clearinghouse on Assessment and Evaluation// 2001. URL:

http://echo.edres.org:8080/irt/baker/ (дата звернення: 24.04.2020).

Лісова Т.В. Моделі та методи сучасної теорії тестів. Ніжин: Видавець ПП Лисенко М.М., 2012. 112 с.

Диховичний О.О., Дудко А.Ф. Комплексна методика аналізу якості тестів з вищої математики// Науковий часопис НПУ імені М. П. Драгоманова, серія 2 : Комп'ютерно-орієнтовані системи навчання. 2015. №. 15. С. 139–144.

Dykovychnyi O., Zlyvkov V., Kruglova N., Lukomska S., Kotukh O. Using the multidimensional models to the teacher authenticity scale adaptation// Actual Problems of Psychology. 2018. № 14 (1). P. 137–146.

Dykhovychnyi O.O., Kruglova N.V., Moskalov I. O. Using of mathematical models for analyzing of the results in psychological Guilford test// Mathematics in Modern Technical University. 2018. № 1. P. –75–89.

Dykovychnyi O., Zlyvkov V., Kruglova N., Lukomska S., Kotukh O. Authenticity of the english language teacher’s: the validation of authenticity questionnaire using item response theory// Science progress in European countries: new concepts and modern solutions. 2019. P. 335–347.

Алєксєєва І.В., Гайдей В.О., Диховичний О.О., Коновалова Н.Р., Федорова Л.Б. Застосування сучасних математичних моделей педагогічного тестування у формуванні та аналізі тестових завдань комплекту «Вища математика»// Дидактика математики: проблеми і дослідження: міжнародний збірник наукових робіт. Донецьк: Вид-во ДонНТУ. 2010. № 33. P. 50–56.

Алєксєєва І.В., Гайдей В.О., Диховичний О.О., Коновалова Н.Р., Федорова Л.Б. Застосування математичних моделей тестів у комплекті дистанційної освіти «Вища математика»// Математичні машини і системи. 2010. № 4. P. 89–98.

Ким В.С. Разработка тестов по физике. Учебное пособие. Владивосток: Дальневосточный федеральный университет. 2015. 228 c.

Дятлова К.Д., Михалева Т.Г. Исследование влияния разнообразия форм тестовых заданий на статистические характеристики теста// Вопросы тестирования в образовании. 2006. №4. C. 65–75.

Карданова Е.Ю. О применимости политомической модели Г. Раша к тестовым заданиям различных форм, оцениваемым политомически// Вопросы тестирования в образовании. 2006. №4. C. 44–56.

Reckase M. D. Multidimensional item response theory. New York: Springer. 2009. 354 p.

The Comprehensive R Archive Network // URL:.http://cran.us.r-project.org (дата звернення: 21.01.2021).

Yao L., Schwarz R. A multidimensional partial credit model with associated item and test statistics. An application to mixed format tests// Applied Psychological Measurement. 2006. № 30. P. 469–492.

##submission.downloads##

Опубліковано

2021-05-31