Моделі для аналізу складності англійських слів у тексті за шкалою від A1 до С2

Анотація

На сучасному етапі глобалізації англійська мова відіграє ключову роль як мова міжнародного спілкування. Це веде до того, що все більше людей стають її носіями на різних рівнях. Робота присвячена аналізу англійських слів за шкалою від A1 до C2, що відповідає найнижчому та найвищому рівням володіння за стандартами CEFR. Модель, яка прогнозує складність слів у тексті, може бути використана для покращення освітнього процесу. Наприклад, можна знаходити список ймовірно невідомих та складних слів для кінцевого користувача в будь-якому тексті залежно від його рівня володіння англійською мовою. Такий підхід полегшить процес вивчення мови, надавши персоналізований список слів, на якому варто зосередитися. Також модель може бути корисною для аналізу складності текстів залежно від кількості слів кожного рівня складності в них. Це може допомогти вчителям підготувати матеріали, які відповідають рівню знань своїх учнів, а також ідентифікувати слова, які можуть бути складними для їх розуміння. Розроблено SQLite сховище даних англійських слів та їх частоти в англійських книжках з 1900 по 2019 роки. Функціонал реалізовано за допомогою SQL скриптів. Для написання ETL процесів, аналізу даних, створення, тренування та порівняння моделей прогнозування рівня складності слів використана мова програмування Python, використовувались бібліотеки Sqlite3, Lemminflect, NumPy, Seaborn, Matplotlib, SciPy, Sklearn, SpaCy та XGBoost. Запропоновано застосунок мовою програмування Python, що отримує вибірку даних зі створеного сховища, графічно їх відображає, проводить інтелектуальний аналіз, тренує та порівнює моделі за метриками accuracy, precision, recall та f1-score. Для аналізу даних та прогнозування рівня складності англійських слів за шкалою CEFR від А1 до С2 на основі їх частоти в англійській мові використані моделі: PchipInterpolator, логарифмічна модель, Gradient Boosting Regressor, Random Forest Regressor та XGB regressor. Результати кожної моделі оцінювались на тестовій вибірці, обрана найкраща модель для подальшого прогнозування рівня складності всіх інших слів англійської мови.

Бібл. 13, іл. 14