УДК 51-37

ОСОБЕННОСТИ ФОРМИРОВАНИЯ БАНКА ТЕСТОВЫХ ЗАДАНИЙ ПО СПЕЦИАЛЬНЫМ ТЕХНИЧЕСКИМ ДИСЦИПЛИНАМ ДЛЯ ПРОГРАММНОЙ РЕАЛИЗАЦИИ СИСТЕМЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ

Абрамова Оксана Федоровна
Волжский политехнический институт (филиал) ВолгГТУ
старший преподаватель кафедры информатики и технологии программирования

Аннотация
Статья посвящена анализу проблем формирования адекватного и эффективного банка тестовых заданий для программной реализации системы адаптивного тестирования по специальным техническим дисциплинам. В статье даны рекомендации по созданию тестовых заданий с учетом положений и методов Item Response Theory, а так же с учетом практического опыта.

Ключевые слова: адаптивное компьютерное тестирование, система адаптивного тестирования, технические дисциплины


FEATURES OF THE FORMATION OF THE BANK OF TEST QUESTIONS IN SPECIFIC TECHNICAL DISCIPLINES FOR SOFTWARE IMPLEMENTATION OF ADAPTIVE TESTING

Abramova Oksana Fedorovna
Volzhsky polytechnical institute (branch) Volgograd state technical university
Senior Lecturer Department of Computer Science and Software Engineering

Abstract
This article analyzes the problems of formation of an adequate and effective bank tests for software implementation of adaptive testing for specific technical disciplines. The article provides guidelines for creating test items subject to the provisions and methods of Item Response Theory, as well as the light of practical experience.

Библиографическая ссылка на статью:
Абрамова О.Ф. Особенности формирования банка тестовых заданий по специальным техническим дисциплинам для программной реализации системы адаптивного тестирования // Современная техника и технологии. 2013. № 11 [Электронный ресурс]. URL: http://technology.snauka.ru/2013/11/2570 (дата обращения: 01.10.2017).

      В настоящее время различные виды тестирования, применяемые  для определения уровня знаний обучаемого, используются достаточно широко. Наиболее  перспективным методом в  этой области можно назвать метод адаптивного тестирования [1],  который отличается тем, что позволяет  корректировать тестовые задания по содержанию, сложности и изменять их  последовательность непосредственно в ходе тестирования, руководствуясь при этом  сформированной моделью тестируемого.  Данная модель создается системой самостоятельно на основе  предварительных заданий. Такой подход позволяет существенно улучшить оценку  уровня знаний обучаемого и исключает субъективность в оценивании, так как  тестовый материал подбирается с учетом индивидуальных особенностей и знаний  тестируемого.

     При моделировании  программных систем,  способных оценить  уровень знаний испытуемого с учетом основных постулатов адаптивного  тестирования, необходимо, чтобы система отвечала следующим требованиям:

  • наличие базы  предварительно оцененных разработчиком заданий, каждое из которых дает  возможность выбора адекватного последующего задания при тестировании;
  • использование  специальных алгоритмов, позволяющих в реальном времени выполнять подбор заданий  индивидуально;
  •  использование  современных способов оценки тестовых заданий.

      Т.е. одним из самых  важных моментов в системе адаптивного компьютерного тестирования можно считать  наличие базы тестовых заданий, сложность которых была тщательно оценена  предварительно с использованием современных методов и теорий оценки теста.  Одной из таких теорий, широко используемой в настоящее время, является теория  моделирования и параметризации педагогических тестов Item Response Theory (IRT), принципиальное отличие которой  заключается в уникальности оценки  тестовых заданий. Т.е. каждое тестовой задание, диагностика которого  производится, например, с помощью двухпараметрической модели Бирнбаума,  рассматривается как самостоятельная элементарная составляющая теста. Параметры  каждого задания оцениваются индивидуально и никак не связаны с параметрами  других заданий теста. Оценка тестовых заданий производится с помощью  определенных функций (функций успеха), выражающих зависимость верного ответа на  задание от уровня подготовки обучаемого. Для этого используются достаточно  сложные итерационные методы, но результаты оправдывают их применение, т.к.  позволяют, например, записать результаты прохождения теста по различным  вариантам на единую шкалу или свести воедино результаты прохождения разных по  уровню трудности тестов.

       Для оценки качества  тестовых заданий используются такие понятия, как надежность теста –  характеристика невосприимчивости результатов на влияние посторонних случайных  факторов, отражающая точность измерения; и валидность теста – способность теста  измерять определенные характеристики с помощью экспертных оценок. Все эти  характеристики, включая оценку трудности задания, измеряются и устанавливаются  составителем теста. Не говоря уж о составлении самого тестового вопроса. И вот  тут начинает действовать проблема «восприятия информации». В чем она  выражается? Каждый испытуемый в первую очередь человек, со своими личными  страхами, особенностями менталитета, специфическими гранями личности. Эти же  утверждения относятся в полной мере и к составителю теста. Поэтому на практике,  даже при условии достаточно хорошего уровня знаний у испытуемого, возможны  ситуации, когда ответ выбран не правильный. В силу различных причин: не  понимания сути вопроса, не понимания смысла вариантов ответа, волнения, страха  и т.п. Особенно это касается тестовых заданий по специальным дисциплинам,  длительность обучения которым не так велика, а знания, которые необходимо усвоить  студентам, достаточно обширны и многословны. Т.е. правильный ответ  подразумевает множество текстовых вариантов, сформулировать которые  преподаватель и студент могут совершенно по-разному, в силу разного уровня как  профессиональных, так и общенаучных словарей. Например, студенту первого курса  при прохождении тестового опроса по дисциплине «Введение в программную  инженерию» предлагается следующий тестовый вопрос:

«Какова главная цель программной  инженерии:

a)  найти лучший подход к созданию ПО;

b)  сократить стоимость ПО;

c)  правильно составленная документация;

d)  умение работать в команде»

Этот же вопрос, но сформулированный иначе:

«Определите одну из важнейших задач  программной инженерии:

a)  минимизация расходов на разработку и  создание ПО;

b)  обеспечение ПО надежной и достаточной  документацией;

c)  формирование специалиста, умеющего  работать в команде;

d)  определение наилучших методов и средств  создания ПО»

        Вопрос тот же, ответы  по смыслу те же, а вот восприятие таких заданий студентом совершенно разное. В  первом случае постановка вопроса достаточно размыта, и не предполагает от  студента одного конкретного ответа (хотя оценивается именно один правильный  ответ – b),  но формулировка задания и вариантов ответа упрощены, а потому воспринимаются  студентом-первокурсником легче. Во втором случае сам вопрос уже содержит  конкретную подсказку на количество вариантов ответа, но варианты ответов  сформулированы достаточно серьезным научным слогом. И у студента, еще не  имеющего большого научного словаря в силу краткости обучения в вузе, такие  варианты могут вызвать замешательство, а в некоторых случаях и просто ступор, так как ситуация накаляется нервозностью по поводу краткости времени,  отведенного на опрос, неопытностью,  неустойчивостью имеющихся и, вроде бы, усвоенных знаний и т.п. И в такой  ситуации оценить действительный уровень знаний испытуемого достаточно трудно,  не говоря уже о том, чтобы студент имел возможность проанализировать свои  ответы и укрепить свои знания по предмету.

      Т.е. с уверенностью  можно говорить о том, что система адаптивного тестирования, содержащая тестовые  задания, которые не соответствуют требованиям дисциплины либо по смысловой  нагрузке, либо по результатам оценки их практической значимости и эффективности,  малоэффективна. Так же мало полезны будут тестовые задания, вызывающие неоднозначную  реакцию у тестируемых: плохое ориентирование в вариантах ответов из-за большого  их количества или неточных формулировок, непонимание смысла вопроса из-за  достаточно запутанной формулировки,  и  т.п. Даже при условии формирования системой адаптивного тестирования некоторых  рекомендаций для обучаемого по литературным источникам или предоставление  правильных ответов на неудачно пройденные вопросы (по окончании теста),  основная цель – успешное усвоение материала – в большинстве случаев достигнута  не будет. Литературные источники предлагают слишком обширный материал, а  предложенный системой правильный ответ, наоборот, слишком краток, и не  подразумевает понимание вопроса. Т.е. такая система не нацелена на достижение  основной цели процесса обучения – получение и максимальное усвоение студентом  необходимых знаний по дисциплине.

     С другой стороны,  современные студенты достаточно избалованны наличием в повседневной жизни  интересных, увлекательных графических визуализаций на совершенно разные темы: это  и различные фото- и видео-инструкции по решению самых различных бытовых проблем,  электронные учебники и тренажеры, и. т.п. Современный образ жизни приучил студента  к поиску наиболее быстрого, простого и понятного решения. А решение,  представленное графически, именно таким и является [2,3].

     Следовательно, при разработке системы адаптивного тестирования по специальным  дисциплинам на первое место выходит проблема разработки достаточного набора адекватных  тестовых заданий, способных объективно оценить уровень знаний испытуемых. Для  этого можно учитывать следующие рекомендации.

  1. Формирование  тестовых заданий необходимо производить с учетом профессионального и научного  словаря испытуемых. Для этого можно, например, проводить предварительный тест  заданий на «восприятие информации», предлагая студенту оценить по определенной  шкале (допустим, от 0 до 1) уровень его личного понимания смысла вопроса и  ответов. При этом не путать эту оценку с наличием  знания ответа на поставленный вопрос. Тест на  «восприятие» можно провести как до непосредственного тестирования на уровень  знаний по дисциплине, так и после. А затем сравнить результаты. Проведенный  автором эксперимент среди первокурсников по дисциплине «Введение в программную  инженерию»  показал, что вопросы с очень  низким уровнем «восприятия» (от 0 до 0,5), т.е. непонятные студенту по  различным причинам, имели и достаточной низкий процент правильных ответов.  Студенты в выборе ответов руководствовались методом «выбор наугад», что,  естественно, приводило к плачевным результатам. В качестве причин низкого  уровня восприятия выдвигались следующие: «многословность вопроса», «большое  количество вариантов ответа», «многословность ответов», «высокая научность  теста», «размытость формулировок» и т.п. Соответственно, вопросы с низким  уровнем восприятия были переформулированы с учетом заявленных требований,
    причем в изменении тестовых заданий принимали участие сами студенты.

Например,  тестовое задание «Верны  ли следующие утверждения: А) Методы разработки ПО в основном ориентируются на  поэтапное преобразование некоторой модели ПО в программу. Б) Методы не включают  в себя компоненты описания модели системы и нотацию.

a) Верны оба суждения.

b) Верно только А.

c) верно только Б.»

страдает  многословностью и размытостью постановки вопроса. Задание не сбалансировано по  смыслу, содержит, по сути два разных вопроса, и, как следствие, вызвало большое  замешательство среди испытуемых именно на этапе понимания. После модернизации  тестовое задание было разбито на два, вопросы и варианты ответов стали  предельно лаконичными, и, соответственно, более понятными.

« 1. Методы разработки ПО  ориентированы:

a)  на поэтапное преобразование модели ПО в  программный код;

b)  на формирование цельного программного кода ПО  без учета модели;

c)  моделирование – это один процесс,  программирование – другой, и между собой они не связаны.

2.  Методы разработки ПО:

a)  не включают в себя описания компонентов модели  системы;

b)  основаны на описании компонентов модели системы;

c)  используют описания компонентов модели системы  по ситуации.»

Такие  тестовые задания получили от студентов оценку «восприятия информации» 1, и  никаких дополнительных вопросов не вызвали. Двойной  тест был проведен снова, но на другой группе испытуемых. Результаты  тестирования значительно улучшились, хотя входные данные (количество занятий,  предлагаемая информация на лекционных и практических занятиях, время проведения  теста и др.) остались приблизительно на том же уровне.

      2. Количество  вариантов ответа на тестовое задание должно быть минимизировано, а сами ответы  должны быть предельно просты и понятны. В идеале, конечно, это два варианта  ответа: «Да» и «Нет». Но такие тесты грешат большим процентом угадываний правильных ответов: студенты, не зная правильный ответ, выбирают его наугад, и  достаточно часто попадают на правильный. Поэтому такие варианты тестовых  заданий для специальных дисциплин не подходят. Но разумная минимизация должна
присутствовать. Например, два варианта тестового задания:

            1. Перечислите  принципы кодекса этики: 1) общество ,  2)  клиент и работодатель, 3) продукт, 4) суждение, 5) понятие, 6) менеджмент, 7) профессия, 8) коллеги,  9) личность:

a) 1, 2, 3, 6, 7, 9

b) 1, 2, 3, 4, 6, 7, 8, 9

c) 1, 2, 3, 4, 5, 6, 7, 8, 9»

           2. К  принципам кодекса этики программного инженера не относят:

a)    суждение

b)   понятие

c)    коллеги

d)   личность.

вызывали у респондентов совершенно разную  реакцию. Даже при условии знания правильного ответа, первое тестовое задание  приводило тестируемого в замешательство, так оно предполагает приложение  больших дополнительных усилий на понимание самого вопроса и отождествление всех  вариантов ответа (как правило) с формулировкой вопроса. Поэтому оценку  «восприятие информации» задание получило 0,5, а правильно ответили на него 70%  опрошенных. Второй же вариант тестового задания никаких дополнительных умственных усилий от испытуемого не требует, а соответственно и  результативность его выше (98% правильных ответов), а время затраченное на  выбор ответа, меньше.

        3. Тестовые  задания, сформированные с использованием простых графических элементов  (графиков, блок-схем), или в виде последовательность примитивных графических  картинок (комиксов), повышают заинтересованность студента в самом тесте,  предельно упрощают понимание им вопроса и определение ответа [4]. И, можно  сказать, успокаивают испытуемого (особенно первокурсника), снимая лишнюю  тревожность, так как графическая информация воспринимается им намного легче,  чем сложный научный текст. Поэтому сложные задания, визуализированные  графически (с помощью графиков, схем, диаграмм и т.п.) принесут большую пользу  и повысят эффективность как самого теста, так и оценки им уровня знаний  испытуемых.

        4. База  тестовых заданий должна содержать некоторое количество вопросов, одинаковых по  смыслу, но сформулированных по-разному (разные формулировки вопроса, с  использованием более сложных и более простых научных оборотов; разные  формулировки ответов, и т.п.). Наличие таких заданий в тесте позволит исключить  выбор студентом правильного ответа наугад и подтвердит (или опровергнет) его  знания по этой теме.

        Разработка обучающих  систем адаптивного тестирования является одной из актуальных и важных задач на  современном этапе обучения специальным техническим дисциплинам. И формирование  базы тестовых заданий, позволяющих  оценить реальный уровень знаний студентов по дисциплине, это один из  главных моментов при создании таких систем. Анализируя практический опыт  проведения тестовых опросов в группе студентов первого курса по дисциплине  «Введение в программную инженерию», автор сформулировал несколько рекомендаций  по составлению тестовых заданий.


Библиографический список
  1. Рыбанов, А.А. Исследование методов адаптации к обучаемому в современных компьютерных обучающих системах / Рыбанов
    А. А., Панкова Л.А. // Известия Волгоградского государственного технического университета. -2008. -Т. 5. №5.-С. 67-69.
  2. Абрамова, О.Ф. Использование мультимедийных технологий в процессе обучения дисциплине “Компьютерная графика” / Абрамова О.Ф., Белова С.В. // Успехи современного естествознания. – 2012. – № 3. – C. 90.
  3. Абрамова, О.Ф. CASE-технологии: изучать или исключить? / Абрамова О.Ф. // Alma mater (Вестник высшей школы). – 2012. -
    № 9. – C. 109-110.
  4. Абрамова, О. Ф. Формирование образа мышления современного специалиста с помощью case-технологий / Абрамова О. Ф. // Известия Волгоградского государственного технического университета. – 2013. – Т. 10. № 13. – С. 10-12.


Все статьи автора «AbramovaOF»


© Если вы обнаружили нарушение авторских или смежных прав, пожалуйста, незамедлительно сообщите нам об этом по электронной почте или через форму обратной связи.

Связь с автором (комментарии/рецензии к статье)

Оставить комментарий

Вы должны авторизоваться, чтобы оставить комментарий.

Если Вы еще не зарегистрированы на сайте, то Вам необходимо зарегистрироваться: