Методические материалы «Тесты в образовательном процессе. Высокий, поскольку основная цель тестирования – дифференциация испытуемых по уровню подготовки

Страница 19 из 25

Определение педагогического теста

Педагогический тест – система заданий специфической формы, определенного содержания, возрастающей трудности – система, создаваемая с целью объективно оценить структуру и качественно измерить уровень подготовленности учащихся. Тест – по прямому значению английского слова test – любая проба, любое испытание. В таком понимании термин «тест» применяется в технике, биологии, медицине и химии. Тест в психолого-педагогических исследованиях – нормированные по времени выполнения и трудности наборы заданий, используемые для сравнительного изучения групповых и индивидуальных особенностей.

Широкое распространение тесты нашли в прикладной психологии. Именно в этой области были разработаны методические критерии по конструированию, применению, проверке и обработке тестов. Эти критерии с некоторыми уточнениями должны признаваться обязательными и для тестов педагогических. Тест выступает в качестве измерительного инструмента, поэтому он должен удовлетворять строгим и ясным методическим требованиям. Случайно подобранный набор заданий тестом назвать нельзя.

Тесты не могут рассматриваться как универсальный и всеобъемлющий инструмент изучения уровня воспитанности. Ибо каждое задание теста и весь тест, поскольку он составлен из однородных заданий, направлены на выявление ограниченного комплекса качеств личности, и чем меньше признаков входит в комплекс, тем яснее возможная интерпретация результатов и тем лучше тест выполняет свою функцию. Лучше всего, если задание выявляет всего один признак, одно качество (свойство) личности. Задание, направленное на его обнаружение сразу и без возможностей последующего вычленения группы признаков, затрудняет интерпретацию. Успех или неуспех испытуемого не получает единственной и однозначной оценки, так как может зависеть от разных признаков. Педагог, не имея такой оценки, не сможет прийти к заключению о причинах, обусловивших конечный результат, и вряд ли сформулирует четкие выводы и проведет коррекцию мер воспитательного воздействия.

Метод тестирования имеет определенные границы применения. Есть такие характеристики воспитанности школьника, которые настолько сложны и многоплановы, что тестовые методики для их выявления не могут быть применены. Пока еще не найден тестовый эквивалент того, что можно было бы назвать общей подготовленностью или воспитанностью ученика. Многие учителя и методисты придают немаловажное значение этой характеристике. Тесты обладают лишь возможностью представлять отдельные составляющие этого сложного целого.

Приходится считаться и с тем, что характеристики, не имеющие ясного содержания, вообще не могут стать объектом тестирования. В частности, неясностью содержания отличается и характеристика общего развития и воспитанности. Учитель, конечно, может заранее оговорить, что эта характеристика, согласно его взгляду, состоит из таких-то и таких-то простых и поддающихся измерениям индивидуальных особенностей. В этом случае задача, которую он ставит перед собой, поддается решению. Вопрос только в том, удастся ли ему обосновать свой взгляд на эту характеристику.

Рассмотрим связь личностных тестов с другими количественными методами. Было бы ошибкой считать тестами все без исключения количественные методы, применяемые в исследованиях проблем воспитания. Сущность метода оценочных классификаций заключается в том, что отдельные лица («оценщики», «судьи»), хорошо знакомые с данным объектом, оценивают его по определенным стандартным критериям, шкалам и т.д. Путем соответствующей статистической обработки индивидуальные оценки трансформируются в совокупный количественный показатель. Однако лица, являющиеся объектами оценочных классификаций, не только не подвергаются какому-либо стандартизованному испытанию, но во многих случаях даже не ставятся в известность о производимом оценивании. Представления, исходя из которых оценщики выносят свои суждения, формируются у них на протяжении длительного общения или наблюдений в повседневной жизни.

Как и все другие методы педагогического контроля, тест имеет определенные достоинства и недостатки. При правильном и умелом использовании он может дать педагогу много важной информации, которую не получить никаким другим способом. Достоинством теста является то, что все сформулированные в нем задания, будучи предварительно глубоко обдуманы и экспериментально проверены, раскрывают в своей совокупности в максимально короткие сроки интересующие исследователя признаки ученика. Другим, еще более важным достоинством теста является его объективность. Известно, что учитель невольно вносит некоторую долю субъективизма в оценки качеств учащихся – в данном случае в оценки и самих учащихся. Этот оттенок субъективизма нередко оправдывается тем, что учитель, накопивший большой запас наблюдений о каждом ученике, не может отделаться от того, что некоторые особенности поведения, по его глубокому убеждению, возникли незакономерно, оказались плодом неблагоприятного сочетания случайностей.

Исследователь, впервые приступающий к использованию тестов в своей работе, должен решить такие наиболее существенные задачи, как: 1) разработка самого теста; 2) достижение его удовлетворительной надежности; 3) получение удовлетворительной валидности теста.

Научно обоснованный тест – это метод, соответствующий установленным стандартам надежности и валидности. В требованиях проверки теста на надежность и валидность реализуется важная идея методологического характера, что к истинному знанию ведет лишь истинный метод. Таким образом, качество педагогической информации оказывается зависимым от качества используемого для этого инструментария.

Тест не может считаться завершенным, если он не получил удовлетворительной оценки по надежности. Понятие надежности в тестологии имеет два смысла. С одной стороны, имеется в виду надежность теста как определенного инструмента. С другой стороны, говоря о надежности, мы имеем в виду относительную неизменность того предмета, который мы измеряем. При оценке надежности теста исходят из того, что тест тем надежнее, чем он более однороден.

Валидность – степень соответствия теста своему назначению. При установлении надежности все необходимое и достаточное исследователь находит в самом тесте: он сопоставляет одну часть заданий (с четными номерами) с другой (с нечетными номерами). Но для установления валидности этого мало. Валидность может быть выведена только при сопоставлении результатов по тесту с каким-то критерием, с какой-то оценкой, находящейся вне теста; ее обычно называют внешним критерием.

Оглавление
Педагогическая диагностика в воспитательном процессе.
ДИДАКТИЧЕСКИЙ ПЛАН
Понятие педагогической диагностики
Исторические аспекты формирования диагностики как специфического вида познания
Личность как предмет педагогической диагностики
Развитие личности в разные возрастные периоды
Принципы деятельности педагога в процессе педагогической диагностики
Диагностическая деятельность педагога
Научное познание и диагностика
Психодиагностика и педагогическая диагностика
Сущность и функции педагогической диагностики

Тест это объективное и стандартизированное измерение, поддающееся количественной оценке, статистической обработке и сравнительному анализу. Тест служит оценке знаний испытуемого и должен отвечать ряду принципов:

1. Применение серии одинаковых испытаний к большому количеству испытуемых.

2. Статистическая обработка результатов.

3. выделение эталонов оценки.

В данный момент тестовые задания широко используются в целях изучения и запоминания учебных материалов в образовательных учреждениях нашей страны. Одна из важных задач тестирования - быстрая и надежная оценка знаний человека. Теория педагогических тестов рассматривается как часть педагогической квалиметрии. Исследовалось состояние контроля знаний учащихся школ с применением тестовых измерителей и выявлялись основные проблемы при использовании тестов: качество и валидность содержания тестовых заданий, надежность результатов тестирования, недостатки обработки результатов по классической теории тестов, отсутствие использования современной теории обработки тестовых материалов с применением вычислительной техники. Высокая погрешность измерения тестовых результатов не позволяет говорить о высокой надежности результатов измерения.

Достоинства и недостатки тестирования.

Одним из недостатков тестового метода контроля знаний студентов является то, что создание тестов, их унификация и анализ - это большая кропотливая работа. Чтобы довести тест до полной готовности к применению необходимо несколько лет собирать статистические данные, хотя бы с потоком студентов 100-120 человек. Возможно возникновение и других трудностей. Довольно часто встречается значительный субъективизм в формировании содержания самих тестов, в отборе и формулировке тестовых вопросов, многое также зависит от конкретной тестовой системы, от того, сколько времени отводится на контроль знаний, от структуры включенных в тестовое задание вопросов и т.д.

Но не смотря на указанные недостатки тестирования, как метода педагогического контроля, его положительные качества во многом говорят о целесообразности использования такой технологии в учебных заведениях.

К достоинствам следует отнести:

как было сказано, большая объективность и, как следствие, большее позитивное стимулирующее воздействие на познавательную деятельность студента, учащегося; исключается воздействие негативного влияния на результаты тестирования таких факторов как настроение, уровень квалификации и др. характеристики конкретного преподавателя;

ориентированность на современные технические средства на использование в среде компьютерных (автоматизированных) обучающих систем; универсальность, охват всех стадий процесса обучения. Отметим другие достоинства. Тестированный опрос многофункционален. Он позволяет быстрее понять, как дальше работать с данным студентом, а также помогает лектору скорректировать курс.

В итоге следует заметить, что использование с 1 курса тестирования студентов поможет объективно провести аттестацию вуза, которая проводится с целью установления соответствия содержания, уровня и качества подготовки выпускников требованиям государственных образовательных стандартов.

Систематическое проведение контрольных мероприятий с помощью составленных на высшем уровне инструментов контроля позволяет ВУЗам формировать высококлассных специалистов в различных областях знаний, готовых применять накопленный багаж знаний в любую минуту.

Именно в таких специалистах и в настоящее время, и в будущем нуждается наша страна, чтобы с их помощью провести быстрое оздоровление экономики.

ГКОУ РО лицей-интернат «Педагогический» г. Таганрога

Методические материалы

учитель русского языка высшей категории

Десятерик Ю.Е.

учитель математики I категории

Марченко М.В.

Таганрог 2015

УДК 001.8

Печатается по решению Научно-методического совета

ГКОУ РО лицея-интерната «Педагогический» г. Таганрога

Редакционная коллегия:

директор ГКОУ РО лицея-интерната «Педагогический» г. Таганрога,

кандидат педагогических наук

Кочеткова О.А.

заместитель директора по учебной работе,

учитель физики высшей квалификационной категории

ГКОУ РО лицея-интерната «Педагогический» г. Таганрога

Карапетян А.В.

заместитель директора по воспитательной работе,

ГКОУ РО лицея-интерната «Педагогический» г. Таганрога

Меняйленко Ю.В.

заместитель директора по научно-методической работе,

учитель русского языка высшей квалификационной категории

ГКОУ РО лицея-интерната «Педагогический» г. Таганрога

Десятерик Ю.Е.

заместитель директора по научно-методической работе,

учитель математики I квалификационной категории

ГКОУ РО лицея-интерната «Педагогический» г. Таганрога

Марченко М.В.

Сборник методических материалов/ Десятерик Ю.Е., Марченко М.В. – Т., 2015. –28 с.

В сборник включены методические материалы на тему «Тесты в образовательном процессе», описана история появления тестов, разъяснена этимология понятия «тест», описаны виды тестов, разъяснены достоинства и недостатки тестирования, описана методика составления тестов.

Не для продажи.

УДК 001.8

Отпечатано с готового оригинал-макета.

п/п

Наименование раздела

Страница

Введение.

Что такое тест.

Из истории тестов.

Виды тестов.

Разработка теста.

Требования к тесту.

Уровень сложности теста.

Критерии оценки.

Список используемой литературы и интернет-ресурсов.

Примечание.

Введение.

Одним из важнейших компонентов образовательной деятельности является контроль. Педагогический контроль выполняет ряд функций в педагогическом процессе: оценочную, стимулирующую, развивающую, обучающую, диагностическую, воспитательную и др.

Контроль призван обеспечить внешнюю обратную связь (контроль педагога) и внутреннюю (самоконтроль ученика), также контроль направлен на получение информации, анализируя которую педагог вносит необходимые коррективы в течение учебного процесса.

Одна из его многочисленных и разнообразных форм – тестирование, о котором и будет идти речь в данном сборнике.

Тестирование в педагогике выполняет три основные взаимосвязанные функции: диагностическую, обучающую и воспитательную:

• Диагностическая функция заключается в выявлении уровня знаний, умений, навыков обучающегося. Это основная, и самая очевидная функция тестирования. По объективности, широте и скорости диагностирования, тестирование превосходит все остальные формы педагогического контроля.

  Обучающая функция тестирования состоит в мотивировании обучающегося к активизации работы по усвоению учебного материала. Для усиления обучающей функции тестирования, могут быть использованы дополнительные меры стимулирования, такие, как раздача преподавателем примерного перечня вопросов для самостоятельной подготовки, наличие в самом тесте наводящих вопросов и подсказок, совместный разбор результатов теста.

  Воспитательная функция проявляется в периодичности и неизбежности тестового контроля. Это дисциплинирует, организует и направляет деятельность обучающихся, помогает выявить и устранить пробелы в знаниях, формирует стремление развить свои способности.

Существует много различных мнений как «за», так и «против» использования тестов в образовательном процессе. Одни рассматривают тесты как средство преобразования учебного процесса в сторону его технологизации, снижения трудоемкости и становятся энтузиастами этого метода. Другие видят в тестах средство принижения роли педагога, а результаты тестирования не достаточно достоверными. Однако, следует отметить, что именно тестирование постепенно становится основной формой сдачи выпускных (и не только) экзаменов. С 2009 года для всех выпускников школ основной формой итоговой государственной аттестации в школе Российской Федерации является Единый Государственный Экзамен. Таким образом, требуется обязательно вводить тестовые технологии в систему обучения. С их помощью в течение года можно оценить уровень усвоения материала обучающимися и формировать у них навык работы с тестовыми заданиями. Такие тренировки позволят обучающимся при сдаче ЕГЭ реально повысить свой балл. Во время таких тренировок развиваются соответствующие психотехнические навыки саморегулирования и самоконтроля. В связи с этим тестирование, как средство измерения и контроля знаний обучающихся, становится основой образовательного процесса в любой российской школе.

Каждый педагог сам для себя решает в какой степени использовать тот или иной метод контроля.

Что такое тест.

Объектом нашего исследования является тест. Что же это такое?

Сегодня этот термин встречается довольно часто и не только в образовании, но и в областях далеких от него.

Тестирование произошло от слова test - испытание, проверка. Тестирование применяется для определения соответствия предмета испытания заданным спецификациям, критериям. В задачи тестирования не входит определение причин несоответствия заданным требованиям. Тестирование является одним из разделов диагностики и применяется в технике, медицине, психиатрии, образовании для определения пригодности объекта тестирования для выполнения тех или иных функций. Качество тестирования и достоверность его результатов в значительной степени зависит от тестера.

Таким образом, можно определитьтест , как стандартизированные, краткие, ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуальных различий.

Однако, мы в данном пособии говорим о педагогическом тестировании. И для его определения подойдет больше следующее:

Педагогическое тестирование - это форма измерения знаний обучающихся, основанная на применении педагогических тестов. Включает в себя подготовку качественных тестов, собственно проведение тестирования и последующую обработку результатов, которая даёт оценку обученности тестируемых.

Тогда педагогический тест можно определить, как инструмент оценивания обученности обучающихся, состоящий из системы тестовых заданий, стандартизованной процедуры проведения, обработки и анализа результатов.

Другими словами можно определитьпедагогический тест как систему заданий возрастающей трудности, специфической формы, позволяющей качественно и эффективно измерить уровень и оценить структуру подготовленности обучающихся.

Для лучшего понимания этого определения дадим краткое истолкование его основных терминов.

Система означает, что в тесте собраны такие задания, которые обладают системообразующими свойствами. Здесь, в первую очередь, надо выделить общую принадлежность заданий к одной и той же системе знаний, т.е. к одной учебной дисциплине, одному разделу, теме и т.д., их связь и упорядоченность. Для государственной итоговой аттестации (ГИА) выпускников школ нужно разрабатывать интегрированные задания, содержание которых охватывает систему знаний. В педагогическом тесте задания располагаются по мере возрастания трудности - от самого легкого до самого трудного. Иначе говоря, главным формальным системообразующим признаком теста является различие заданий по степени их трудности.

Специфическая форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказываний, истинных или ложных, в зависимости от ответов. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них нередко настолько неопределенны и многословны, что для выявления их правильности требуются заметные, в суммарном исчислении, затраты интеллектуальной энергии преподавателей. В этом смысле традиционные вопросы и ответы нетехнологичны, и потому их лучше не включать в тест.

Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебной дисциплины; остальное в педагогический тест не включается ни под каким предлогом.

Возрастающую трудность заданий можно образно сравнить с барьерами на беговой дорожке стадиона, где каждый последующий выше предыдущего. Поскольку в педагогическом тесте задания упорядочиваются по принципу возрастающей трудности, одни испытуемые "заваливаются" уже на самом легком, первом задании, другие - на последующих заданиях. Ученик среднего уровня подготовленности могут ответить правильно только на половину заданий теста и, наконец, только самые знающие в состоянии дать правильный ответ на задания самого высокого уровня трудности, расположенные в конце теста.

Ответ на задание педагогического теста представляет собой краткое суждение, связанное по содержанию и по форме с содержанием задания. Каждому заданию ставятся в соответствие ответы правильные и неправильные. Критерии правильности заранее определяются авторами теста. Вероятность правильного ответа на любое задание зависит от соотношения уровня знаний испытуемого и уровня трудности задания.

Посредством тестирования чаще других признаков проверяются знания, умения, навыки и представления. С точки зрения педагогических измерений полезно ввести два основных показателя качества знаний - уровень и структура знаний. Они оценивается посредством регистрации оценок, как за знание, так и за незнание всех требуемых компонентов проверяемого материала. Для объективизации этого процесса все компоненты должны быть одинаковы. Одинаковыми являются и правила выставления оценок испытуемым. Эти условия открывают дорогу для объективного сравнения индивидуальных структур знания и не знания.

Уровень знаний выявляется при анализе ответов каждого ученика на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемого. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания.

С началом активного развития компьютерных технологий в качестве инструмента анализа заданий очень эффективно использование компьютера. Сегодня компьютерные тесты являются одним из электронных средств обучения (ЭСО).

Итак, основными этапами оценки результативности обучения обучающихся с использованием ЭСО должны быть:

1. Четкое формулирование требований к знаниям, умениям и навыкам обучающихся. Требования формулируются до начала обучения и создания ЭСО, должны соответствовать содержанию и методам обучения;

2. Разработка контрольно-измерительных подсистем ЭСО для проведения тестирования обучающихся. Материалы разрабатываются в строгом соответствии с требованиями к знаниям, умениям и навыкам обучающихся. Для каждого задания указывается, какому требованию (требованиям) оно соответствует;
3. Разработка технологий тестирования обучающихся, определение роли ЭСО в измерении результативности обучения обучающихся;

4. Экспертная оценка качества контрольно-измерительных материалов. Проверка соответствия контрольно-измерительных материалов содержанию обучения и требованиям, предъявляемым к знаниям, умениям и навыкам обучающихся. Оценка полноты покрытия требований измерительными материалами;
5. Проведение измерений с использованием разработанного ЭСО. Оценка качества обучения может проводиться, как в рамках текущего учебного процесса, так и по его окончанию в конце учебного года. Измерение проводится преподавателем с использованием электронных средств обучения;
6. Определение итогов измерений, шкалирование результатов, приведение их к одной системе оценивания, сравнение результатов, формулирование выводов по качеству обучения обучающихся с использованием ЭСО.

Из истории тестов.

Сегодня тесты очень активно используются в образовательном процессе. А задумывались ли вы над тем когда же появился первый тест?

Еще в Древнем Египте, Греции, Китае проводились испытания различных способностей, знаний, умений и навыков. Эти испытания были связаны с определенными измерениями тех или иных качественных результатов человеческой деятельности. Их с полным правом можно считать предысторией тестов. По мере развития общественных отношений совершенствовались и количественные методы измерений, предъявлялись новые требования к проведению экзаменов и выставлению оценок. Однако всё вышеперечисленное нельзя назвать тестами в современном понимании этого термина.

Первым этапом применения тестов в мировой практике можно считать период с 80-х гг. XIX в. по 20-е гг. XX в. Это период зарождения и становления тестирования. Теоретические основы тестирования были заложены в середине 80-х гг. XIX в. английским психологом и естествоиспытателем Ф. Гальтоном, который предположил, что с помощью тестов удастся разделить факторы наследственности и влияния среды в психике человека.

Важным вкладом Ф. Гальтона в развитие теории тестов было определение трех основных принципов, которые используются и по сей день:

1) применение серии одинаковых испытаний к большому количеству испытуемых;

2) статистическая обработка результатов;

3) выделение эталонов оценки.

Огромный вклад в развитие тестологии внес французский психолог Альфред Бине. Его можно считать родоначальником современных тестов, предназначенных для диагностики уровня развития интеллекта. Впоследствии им и парижским врачом Т. Симоном вводится понятие «умственный возраст» и соответствующая ему метрическая шкала (1908). Так, в первом десятилетии XX в. в практику внедряется известный тест Бине - Симона, основной задачей которого являлось выявление умственно отсталых детей с последующим их направлением в специальные школы.

Вторым этапом в развитии тестирования можно считать 20-60-е гг. прошлого столетия. Американец В.А. Макколл разделил тесты на педагогические (Educational Test) и психологические (Intelligence Test) Макколл обосновал цель использования педагогических тестов – объединение в группы обучающихся, усваивающих равный по объёму материал с одинаковой скоростью. Основной задачей педагогических тестов являлось измерение успешности обучающихся по тем или иным школьным дисциплинам за определенный период обучения, а также успешность применения определенных методов преподавания и организации.

Разработка первого педагогического теста принадлежит американскому психологу Эдуарду Ли Торндайку. Он считается основоположником педагогических измерений. Первым педагогическим тестом, вышедшим под его руководством, был тест Стоуна на решение арифметических задач. Именно в США тесты успешности для проверки знаний, навыков и умений обучающихся по отдельным предметам нашли особенно широкое распространение.

Первый тест по иностранному языку составил Б. Вуд в 1925 г. Его тесты использовались для проведения выпускных экзаменов в нью-йоркских школах и имели в своей структуре задания на выбор ответа по лексике, грамматике и чтению на французском и испанском языках. В 1929 г. американский психолог В. Хенмон изучил некоторые вопросы технологии составления тестовых заданий тестов успешности. Он разработал тесты для проверки знаний лексики, грамматики, фонетики; умений понимать прочитанное на уровне предложений и абзацев, умений перевода, аудирования, говорения, умения писать сочинения.

В России практическое значение тесты получили после 1925 г., когда была создана особая тестовая комиссия. Она существовала при педагогическом отделе Института методов школьной работы. В ее задачи входила разработка тестов для советской школы. И уже весной 1926 г. вышли такие тесты, созданные на основе американских. Были разработаны тесты по природоведению, обществоведению, счету, решению задач, на понимание чтения и проверку умения правописания. К этим тестам прилагались инструкции и личная карточка для учета прогресса учащегося.

Уже в те годы было доказано, что метод тестов позволяет не только охватить отдельные элементарные психические процессы, но может анализировать их совокупности. Кроме того, было замечено, что тестовый учет устраняет случайность, субъективность и приблизительность оценки работы с учащимися.

В 30-50-е гг. значительное внимание уделялось так называемым прогностическим тестам, назначению тестов в системе образования, видам тестов и их использованию в практической деятельности. Особую актуальность в это время приобретают вопросы, связанные с разработкой тестов педагогами-практиками.

Следующим этапом в развитии тестирования в России является период с начала 60-х гг. до конца 70-х гг. Реформы по преподаванию ряда предметов, развитие программированного обучения дали значительный толчок к дальнейшему совершенствованию тестов.

Наряду с этим широко начинает внедряться тестирование с помощью компьютеров, что стало возможным благодаря достижениям в области автоматики и кибернетики.

В 60-е гг. начинаются первые, после долгого перерыва, исследования отечественных ученых по использованию тестов психолого-педагогической направленности. В основном в этих разработках анализируется многолетний опыт тестирования, накопленный в зарубежных странах.

С начала 80-х гг. начался новый этап в развитии тестирования в России. Для данного периода характерен ряд особенностей. Прежде всего, важным направлением является интенсивное использование компьютеров как в процессе тестирования, так и при обработке полученных результатов.

В последние годы наблюдается активное внедрение тестов в образовательный процесс. И не смотря на недостатки, которые имеют место при использовании такой формы контроля и оценки знаний, тестирование занимает довольно прочную позицию.

Виды тестов.

Тесты можно классифицировать по различным признакам:

по целям - информационные, диагностические, обучающие, мотивационные, аттестационные;

по процедуре создания - стандартизованные, не стандартизованные;

по способу формирования заданий - детерминированные, стохастические, динамические;

по технологии проведения - бумажные, в том числе бумажные с использованием оптического распознавания, натурные, с использованием специальной аппаратуры, компьютерные;

по форме заданий - закрытого типа, открытого типа, установление соответствия, упорядочивание последовательности;

по наличию обратной связи - традиционные и адаптивные.

Поскольку пособие посвящено вопросам использования тестов в образовании, то дальше речь пойдет о тестах знаний.

Традиционные тесты

Традиционный тест обладает составом, целостностью и структурой, такой тест содержит список вопросов и различные варианты ответов. Каждый вопрос оценивается в определенное количество баллов. Результат традиционного теста зависит от количества вопросов, на которые был дан правильный ответ. По мнению, Аванесова В. С., традиционный тест - система заданий, предъявляемая в порядке увеличения сложности в одно и тоже время, с одинаковой системой оценивания для всех тестируемых.

Нетрадиционные тесты

К нетрадиционным тестам можно отнести тесты интегративные, адаптивные, многоступенчатые и так называемые критериально-ориентированные тесты.

1. Интегративные тесты

Интегративным можно назвать тест, состоящий из системы заданий, нацеленных на обобщенную итоговую диагностику подготовленности выпускника образовательного учреждения. Диагностика проводится посредством предъявления таких заданий, правильные ответы на которые требуют интегрированных (обобщенных, явно взаимосвязанных) знаний двух и большего числа учебных дисциплин.

2. Адаптивные тесты

Адаптивный тест представляет собой вариант автоматизированной системы тестирования, в которой заранее известны параметры трудности и дифференцирующей способности каждого задания. Это особый вид теста, в котором каждое последующее задание выбирается в зависимости от ответов на предыдущие задания. Последовательность заданий и их количество в таком виде теста определяется динамически. Эта система создана в виде компьютерного банка заданий, упорядоченных в соответствии с интересующими характеристиками заданий. Самая главная характеристика заданий адаптивного теста - это уровень их трудности, полученный опытным путем, что означает: прежде чем попасть в банк, каждое задание проходит эмпирическую апробацию на достаточно большом числе типичных обучающихся интересующего контингента.

Самыми значимыми преимуществами компьютерного адаптивного тестирования перед традиционным являются:

возможность адаптации под уровень знаний тестируемого (не придется отвечать на слишком сложные или слишком простые вопросы);

экономия времени и сил за счет сокращения количества заданий (длина теста может быть уменьшена до 60 %) без потери уровня достоверности.

Виды тестовых заданий

Рассмотрим наиболее популярную классификацию тестовых заданий. В рамках данной классификации тестовые задания можно разделить на две группы:

тестовые задания закрытого типа (каждый вопрос сопровождается готовыми вариантами ответов, из которых необходимо выбрать один или несколько правильных);

тестовые задания открытого типа (на каждый вопрос испытуемый должен предложить свой ответ: дописать слово, словосочетание, предложение, знак, формулу и т.д.).

Выбор типа и вида тестового задания определяется, прежде всего, целями, в соответствии с которыми проводится тестирование, характером материала, усвоение которого необходимо выявить, возрастными особенностями испытуемых. Немаловажное значение играет финансовое, кадровое и ресурсное обеспечение, а также запас времени, которым располагает разработчик.

Задания закрытого типа

Задания открытого типа

Множественный выбор

Свободное изложение

Альтернативный выбор

Дополнение

Установление соответствия

Установление последовательности

Множественный выбор - испытуемому необходимо выбрать один или несколько правильных ответов из приведенного списка.

Альтернативный выбор - испытуемый должен ответить «да» или «нет».

Установление соответствия - испытуемому предлагается установить соответствие элементов двух списков.

Установление последовательности - испытуемый должен расположить элементы списка в определенной последовательности.

Свободное изложение - испытуемый должен самостоятельно сформулировать ответ; никакие ограничения на них в задании не накладываются.

Дополнение - испытуемый должен сформулировать ответы с учетом предусмотренных в задании ограничений (например, дополнить предложение).

Преимущества и недостатки тестирования.

По сравнению с другими формами контроля знаний тестирование имеет свои преимущества и недостатки.

Преимущества:

Тестирование является более качественным и объективным способом оценивания, его объективность достигается путем стандартизации процедуры проведения, проверки показателей качества заданий и тестов целиком.

Тестирование - более справедливый метод, оно ставит всех обучающихся в равные условия, как в процессе контроля, так и в процессе оценки, практически исключая субъективизм преподавателя. По данным английской ассоциации NEAB, занимающейся итоговой аттестацией обучающихся Великобритании, тестирование позволяет снизить количество апелляций более чем в три раза, сделать процедуру оценивания одинаковой для всех обучающихся вне зависимости от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.

Тесты это более объёмный инструмент, поскольку тестирование может включать в себя задания по всем темам курса, в то время как на устный экзамен обычно выносится 2-4 темы, а на письменный - 3-5. Это позволяет выявить знания обучающегося по всему курсу, исключив элемент случайности при вытаскивании билета. При помощи тестирования можно установить уровень знаний обучающегося по предмету в целом и по отдельным его разделам.

Тест это более точный инструмент, так, например, шкала оценивания теста из 20 вопросов, состоит из 20 делений, в то время, как обычная шкала оценки знаний - только из четырёх.

Тестирование более эффективно с экономической точки зрения. Основные затраты при тестировании приходятся на разработку качественного инструментария, то есть имеют разовый характер. Затраты же на проведение теста значительно ниже, чем при письменном или устном контроле. Проведение тестирования и контроль результатов в группе из 30 человек занимает полтора два часа, устный или письменный экзамен - не менее четырёх часов.

Тестирование - это более мягкий инструмент, они ставят всех обучающихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.

Недостатки:

Разработка качественного тестового инструментария - длительный, трудоемкий и дорогостоящий процесс.

Данные, получаемые преподавателем в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов.

Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания.

Широта охвата тем в тестировании имеет и обратную сторону. Обучающийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.

Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений.

В тестировании присутствует элемент случайности. Например, обучающийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.

Приведенные выше недостатки говорят о том, что абсолютизировать возможности тестовой формы измерения и контроля знаний не следует. Не все необходимые характеристики усвоения знаний и умений можно получить средствами тестирования. Например, такие показатели, как умение конкретизировать свой ответ примерами, знание фактов, умение связно, логически и доказательно выражать свои мысли, некоторые другие характеристики знаний, умений, навыков, диагностировать тестированием невозможно. Это значит, что тестирование должно обязательно сочетаться с другими формами и методами проверки и контроля знаний обучающихся.

Но несмотря на указанные минусы тестирования как метода педагогического контроля, его положительные качества во многом говорят о целесообразности использования такой технологии в учебном процессе.

Разработка теста.

Тестовые задания могут составляться с использованием разнообразных компьютерных инструментов, начиная от различных редакторов и программ для разработки презентаций и до использования языков программирования и возможностей сети Интернет.

Выделяют пять этапов разработки тестов :

Первым этапом является определение цели и задач разработки теста.

Вторым этапом является разработка заданий в тестовой форме. На втором этапе требуется подготовка в области преподаваемого предмета, знание тестовых форм, владение логикой и умение трансформировать фрагменты содержания учебной дисциплины в содержание заданий.

На третьем этапе разрабатываются тестовые задания. Для успешной деятельности на третьем этапе от разработчиков потребуется, дополнительно, некоторая подготовка в области применения статистических методов, обработки и интерпретации данных.

На четвёртом этапе отбираются задания и создают тесты, повышают качество и эффективность теста. Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой.

На пятом этапе уточняется содержание интересующей переменной, определяется шкала измерения, применяется компьютерная программа для определения и уточнения значений трудности тестовых заданий и уровня подготовленности испытуемых.

Разработка качественного тестового инструментария, как уже говорилось выше, - длительный, трудоемкий и дорогостоящий процесс. В его ходе необходимо учитывать некоторые моменты:

Содержание теста.

При создании теста первым делом следует определить его назначение. Если решено разрабатывать собственную методику, то нужно четко знать, для чего нужен тест и чем вас не устраивают существующие аналоги.

При разработке заданий следует руководствоваться некоторыми

Формулируйте каждое задание или вопрос на обычном и ясном (однозначность терминов) языке, понятном испытуемым.

При составлении вопросов следует особенно внимательно использовать слова "иногда", "часто", "всегда", "все", "никогда".

Вопрос должен быть четко сформулирован, избегая слова большой, небольшой, малый, много, мало, меньше, больше и т.д.

Избегайте вводных фраз и предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если учащийся его не знает.

Помните, что при увеличении количества содержащихся в тесте заданий повышается его надежность.

Тест должен включать по возможности задания различных типов и видов, так как это повышается его достоверность.

Построение ответов по принципу "да" - "нет" снижает надежность тестов.

Не включайте в текст теста прямые цитаты из книг.

Не используйте в тесте задания-ловушки, провокационные вопросы.

В тесте не должно быть задач, дающих ответы на другие вопросы.

Избегайте вопросов, ответить на которые можно на основе общей эрудиции без специальных знаний, полученных при изучении данной дисциплины.

Используйте диаграммы, таблицы, рисунки, схемы, блок-схемы и другие поясняющие задания.

Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

Все варианты ответов должны быть грамматически согласованы с основной частью задания, используйте короткие, простые предложения, без зависимых или независимых оборотов.

Реже используйте отрицание в основной части, избегайте двойных отрицаний, таких как: "Почему нельзя не делать…?"

Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.

Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Применяйте правдоподобные ошибочные варианты, взятые из опыта.

Если ставится вопрос количественного характера, ответы располагайте по возрастанию, если ответы представлены в виде слов текста, располагайте их в алфавитном порядке.

Лучше не использовать варианты ответов "ни один из перечисленных" и "все перечисленные".

Избегайте повторения.

Используйте ограничения в самом вопросе.

Не упрощайте вопросы.

Место правильного ответа должно быть определено так, чтобы оно не повторялось от вопроса к вопросу, не было закономерностей, а давалось в случайном порядке.

Лучше использовать длинный вопрос и короткий ответ.

Проанализируйте задания с точки зрения неверного ответа наиболее подготовленных учеников.

Национальные системы ряда стран ставят специфические требования к тестовым заданиям, на которые у нас пока обращается недостаточно внимания. В качестве примера приведем требование инструкции по составлению тестов, предоставленной NEAB (Northen Examinationes and Assesment Board): "Необходимо избегать вопросов, которые в каком-либо виде дают превосходство тестируемому определенного пола".

Содержание теста можно определить, как оптимальное отображение содержания образования в системе тестовых заданий. Содержание школьного образования определяется как система знаний и опыта человечества, усвоение которой необходимо для последующего приобретения профессионального образования и для повышения качества жизни. Содержание образования задается различными образовательными программами, выбор которых осуществляется учащимися на добровольной основе. В хорошо отлаженной системе образования система тестовых заданий должна была бы, в принципе, проверять все знания, которые предлагаются обучающимся в процессе обучения. Но в силу множества причин объем проверяемых знаний всегда оказывается меньше объема знаний, предлагаемых на уроках. Проверяемые знания - это та часть содержания учебной дисциплины, усвоение которой учащимися подлежит обязательному контролю в отдельно взятом образовательном учреждении.

Некоторые элементы проверяемых знаний (преимущественно по отдельным темам) используются только в текущем контроле. Другие элементы, охватывающие знания нескольких тем, используются в рубежном контроле, например, в конце учебной четверти. И, наконец, в итоговом контроле используются задания, правильные ответы на которые требуют знания многих, а и иногда и всех тем, изученных в течение учебного года.

В инструкции по составлению тестов NEAB (Northen Examinationes and Assesment Board) записано: «При имеющемся предмете тестирования разработчик обязан убедиться, что весь предмет охвачен предлагаемыми вопросами. Содержание предмета должно полностью покрываться матрицей по всем темам. Если же имеет место тестирование по отдельным предметам, то и в этом случае необходимо, чтобы вся тема была охвачена вопросами теста. В случае, если вопрос или часть вопроса не соответствует теме, или, не полностью ясен в рамках данной темы, от вопроса следует воздержаться».

Требования к тесту .

Хорошо составленный тест должен соответствовать определенным требованиям.

Валидность - это соответствие содержания теста результатам обучения, которые зафиксированы в программе. Она отражает, что именно должен измерить тест и насколько хорошо он это делает; показывает, в какой мере тест измеряет то качество, для оценки которого он предназначен. Показатель валидности отвечает на вопрос: “А то ли, что сформулировано в назначении контрольного задания, измеряется с его помощью?” Валидность разработанного теста проверяется на основе сравнения результатов его использования с результатами проверки уровня обученности протестированных обучающихся другими методами (устный опрос, самостоятельная или контрольная работа), сопоставление этих результатов с текущей успеваемостью обучающихся.

Определенность теста означает, что при его чтении испытуемый хорошо понимает, какие задания и в каком объеме он должен выполнить, чтобы полученный результат соответствовал поставленной задаче.

Стандартизированность – единая процедура проведения тестирования и подведение его итогов.

Надежность теста – это его способность с достаточной одинаковостью характеризовать исследуемый в дидактических экспериментах показатель, как задания в целом, так и его частей, то есть в какой мере его повторение приведет к тем же результатам. Повышению надежности теста способствует его простота, строгое соблюдение условий тестирования, исключение возможности влияния посторонних факторов (подсказки, списывания и т.п.)

Прогностическая ценность теста означает, что тест должен быть таким, чтобы результаты обследования могли быть использованы в последующей деятельности, например, при повторении плохо усвоенного материала.

Простота – формулировка заданий и ответы должны быть четкими и краткими. Показателями простоты является скорость выполнения задания.

Одним из сложных и важных моментов подготовки тестовых заданий является правильная их формулировка:

По возможности, задание не должно содержать в себе вопрос, а ответ должен являться как бы продолжением задания.

Формулировка задания должна исчерпывающим образом разъяснять поставленную перед испытуемым задачу, причем язык и термины, обозначения, графические изображения и иллюстрации задания и ответов к нему должны быть безусловно и однозначно понятными обучающимся.

Формулировка всех ответов должна соответствовать формулировке вопроса. Не должно быть ответов, которые сразу заметны как невероятные.

Желательно, чтобы все задания теста были одного типа, например выбор одного ответа из пяти. Если все же использовать задания разного типа, то их необходимо очень четко разделять в тестирующей программе, выделяя например разным цветом.

Длина задания теста по возможности не должна превышать десяти слов. Длинный текст задания будет сложнее восприниматься как единое целое.

То же касается и длины ответов к заданиям.

Количество вариантов ответов должно быть оптимальным.

Электронное представление теста позволит сэкономить время при проведении и подведении итогов теста.

Уровень сложности теста .

Если педагогический тест определить кратко как систему заданий возрастающей трудности, то станет понятно, что трудность заданий является важнейшим, скажем так, тест образующим показателем. Из этого требования становится понятной обязательность предварительной эмпирической проверки каждого задания, до начала тестирования. В процессе проверки многие задания (обычно больше половины) не выдерживают предъявляемых к ним требований и потому не включаются в тест. Первое требование к тестовым заданиям: в тесте задания должны различаться по уровню трудности, что вытекает из данного ранее определения теста и рассматриваемого принципа.

Показатель трудности теста и тестовых заданий является содержательным и формальным одновременно. Содержательным показателем, потому что в хорошем тесте трудность может зависеть только от содержания и от уровня подготовленности самих испытуемых, в то время как в плохом тесте на результаты начинают заметно влиять форма заданий (особенно если она не адекватна содержанию), плохая организация тестирования, если имеются возможности списывания, утечки информации.

Формальная составляющая сторона показателя трудности возникает при рассмотрении тестирования как процесса противоборства каждого испытуемого с каждым предлагаемым ему заданием. Получаемый при этом исход полезно рассматривать как результат такого противоборства. При упрощенном истолковании каждого случая противоборства испытуемого с очередным заданием обычно рассматриваются только два исхода: победа испытуемого при правильном решении задания, где он получает один балл, или поражение, за что даётся ноль баллов. Оценка результата противоборства зависит от соотношения уровня знания тестируемого к уровню трудности задания, от избранной единицы измерения знаний и от заранее принятого правила (конвенции) - что считать "победой" испытуемого и допустима ли ничья, если говорить языком спорта.

Принцип возрастающей трудности используется при изложении содержания многих учебников и пособий, особенно по тем учебным дисциплинам, которые построены по кумулятивному принципу, что означает: знание последующих элементов курса в явном виде зависит от знания предыдущих учебных элементов. Такое построение присуще учебникам по математике, логике, иностранным языкам, статистике, техническим и многим другим наукам. В них ранее изученные понятия активно используются в последующих темах. Поэтому изучать такие дисциплины нужно только с самого начала, и без пробелов.

Часто степень трудности учебного задания не совпадает с его сложностью. Степень сложности учебного материала характеризуется реальной (объективной) насыщенностью учебного задания и формой его изложения, а степень трудности всегда предполагает соотнесение подлежащего усвоению учебного материала с ранее усвоенным учебным материалом и интеллектуальными возможностями обучающихся.

Трудность учебной задачи часто объясняется тем, что учащиеся часто не знают тех операций, которые надо производить, чтобы найти решение. Если систему операций для решения некоторого класса задач назвать методом решения, то, по его мнению, трудность связана с незнанием метода, с незнанием, как нужно думать в процессе решения, как и в какой последовательности надо действовать с условиями задачи. Возникающие затруднения объясняются тем, что педагог часто старается дать знания о содержании изучаемого и значительно меньше заботится о том, как надо думать, рассуждать. Подобное истолкование пересекается с идеей о связи сложности задания с числом операций, которые необходимо совершить для достижения успеха. Эти определения трудности и сложности являются, по большей части, психологическими; они полезны при психологическом анализе содержания тестовых заданий.

Содержание теста не может быть только легким, средним или трудным. Здесь в полной мере проявляется известная мысль о зависимости результатов применяемого метода. Легкие задания теста создают только видимость наличия знаний у обучающихся, потому что ими проверяются минимальные знания. В этой связи можно заметить, что ориентация федерального органа управления образованием на проверку минимального уровня знаний не дает, и не может, даже по определению, дать представление о реальном уровне знаний, т.е. дать ту информацию, которая давно уже нужна обществу и органам управления. Искажает результаты тестирования и подбор заведомо трудных заданий, в результате чего у большинства обучающихся оказываются заниженные баллы. Ориентация на трудные задания нередко рассматривается как средство усиления мотивации к учебе. Однако это средство действует неоднозначно. Одних трудные задания могут подтолкнуть к учебе, других - оттолкнуть от нее. Подобная ориентация искажает результаты и в итоге, снижает качество педагогического измерения.

При определении теста уже отмечалось, что все задания теста, хотелось бы подчеркнуть, независимо от содержания тем, разделов и от учебных дисциплин, располагаются в порядке возрастающей трудности. Распространенная, до недавнего времени, рекомендация включать в тест больше заданий средней трудности, оправдана с точки зрения определения надежности измерения по формулам т.н. классической теории тестов. Существующие в этой теории методы оценки надежности теста дают снижение надежности при включении в тест легких и трудных заданий. В то же время увлечение заданиями одной только средней трудности приводит к серьезной деформации содержания теста: последний теряет способность нормально отображать содержание изучаемой дисциплины, в которой всегда есть легкий и трудный материал. Таким образом, в погоне за теоретически высокой надежностью теряется содержательная валидность тестовых результатов. Стремление же поднять валидность результатов теста нередко сопровождается снижением их точности.

Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы.

3. задания на установление соответствия;

4. задания на установление правильной последовательности действий.

Критерии оценки.

Методика перевода тестовой оценки в традиционную пятибалльную систему может быть разной. Приведем несколько примеров:

Допустим, тест состоит из 20 заданий, каждое имеет 4 варианта ответа, среди которых только один правильный. Вычислим вероятность угадывания: она равна ¼, т.е. из 20 предложенных заданий обучающийся может случайно угадать 5. Если оставшиеся задания распределить на три равные части, соответствующие положительным оценкам «3», «4» и «5», то мы получим распределительную таблицу:

2 балла – от 5 до 8 правильных ответов

(где 5 может быть просто угадано!)

3 балла – от 9 до 10 правильных ответов;

4 балла – от 11 до 15 правильных ответов;

5 баллов – от 16 до 20 правильных ответов.

Критерии оценок в процентном отношении:

«5»: 80 – 100 % от общего числа баллов

«4»: 70 – 75 %

«3»: 50 – 65 %

«2»: менее 50 %

Критерии оценки тестовых заданий с помощью коэффициента усвоения К:

К = А/Р, где А – число правильных ответов в тесте, Р – общее число ответов

Коэффициент К

Оценка

0,9 – 1,0

«5»

0,8 – 0,89

«4»

0,7 – 0,79

«3»

Меньше 0,7

«2»

Способы создания электронного теста.

Когда составлены вопросы для некоторого теста, то необходима программа, которая позволит провести компьютерное тестирование. Например, возможны варианты:

Программа MyTest .

Все права на программу MyTest принадлежат её автору – Башлаков Александр Сергеевич (г. Унеча, Брянской области). Программа распространяется бесплатно, разрешается бесплатное использование программы для всех образовательных учреждений, учителей и обучающихся. Тесты, созданные в данной программе, можно распространять на любых условиях. Программа MyTest распространяется «так как есть». При этом не предусматривается никаких гарантий, явных или подразумеваемых. Программа используется на свой собственный риск. Автор не гарантирует, что она не содержит ошибок, а также не несет никакой ответственности за прямые или косвенные убытки применения или не применения программы, в том числе возникшие из-за возможных ошибок или опечаток в её комплекте. Запрещается вносить какие-либо изменения в код программы.

Генератор тестов .

Тест создается в формате HTML. Можно самостоятельно задавать количество вопросов, вариантов ответов. Учитывается и сложность вопросов. Очень удобный и простой способ создания теста. Однако, предложенные варианты позволяют создавать тесты лишь стандартных типов, но иногда требуется или просто возникает желание провести тестирование в иной, нестандартной форме.

Создание тестов с использованием FPSproject .

FPSproject - это комплекс программ (модулей: Creator, Server, Client, Journal), созданный для упрощения и усовершенствования процесса тестирования.

Принцип работы комплекса заключается в следующем: с помощью модуля Creator создаются задания, затем составляются тесты на основе этих заданий, затем с помощью модуля Server запускается тест и тестируемые проходят этот тест с помощью модуля Client.

Отличительные (от других программ по созданию и проведению тестов) особенности:

Задания могут быть представлены как в виде стандартных (множественный выбор, соответствие и т.д.), так и иметь вид необходимый в данной ситуации. Так как модуль Creator имеет достаточно гибкий редактор заданий.

Количество вариантов задания практически не ограничено.

В одном тесте могут быть задания с различным количеством вариантов.

Расписание тестов упрощает процесс проведения тестирования.

Возможность проводить тесты как вручную, так и по расписанию.

В один день у одного класса можно запланировать более одного тестирования.

Составление компьютерных тестов средствами Excel . Программа Excel позволяет создавать тесты со свободным ответом (когда обучающемуся не дается варианта ответа) и с выборочным ответом (когда обучающемуся предлагаются варианты ответов, из которых он выбирает правильный).

Аванесов В. С. Композиция тестовых заданий. - М., Центр тестирования, 2002.

Аванесов, В. Определение педагогического теста. // Управление школой. – 1999. № 29

Батешов Е. А. «Основы технологизации компьютерного тестирования»: Учебное пособие. - Астана: ТОО «Полиграф-мир», 2011. - 241 с.

Беспалько, В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 190 с.

Зорин С. Ф. Разработка автоматизированной системы контроля знаний студентов по дисциплине «Экономика предприятия». МГВМИ, 2007.

Кабанова Т. А., Новиков В. А. Тестирование в современном образовании. Уч. Пособие. - М.: Высшая школа, 2010.

Казиев В. М. Введение в практическое тестирование. - М.: Интуит.ру, Бином. Лаборатория Знаний, 2008.

Майоров А. Н. Теория и практика создания тестов для системы образования: Как выбирать, создавать и использовать тесты для целей образования. М: Интеллект-Центр, 2002.

Михайлычев Е.А. Технология стандартизации дидактических тестов. // Школьные технологии. – 2001. № 5. – С. 36 – 54

Морев И. А. Образовательные информационные технологии. Часть 2.Педагогические измерения: Учебное пособие. - Владивосток: Изд-во Дальневосточного университета, 2004.

Нейман Ю. М., Хлебников В. А. Педагогическое тестирование как измерение. Ч.1. - М.: Центр тестирования МО РФ, 2002.

Рапопорт И. А., Сельг Р., Соттер И. Тесты в обучении иностранным языкам: итоги двадцатилетнего эксперимента // Иностранные языки в школе. - 1989. - № 6.

Челышкова М. Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. - М.: Логос, 2002.

Примечание.

Методические материалы

«Тесты в образовательном процессе»

Методические материалы «Тесты в образовательном процессе»: Сборник методических материалов/ Десятерик Ю.Е., Марченко М.В. – Т., 2015. – 28 с.

Сборник методических материалов

Стилистическая правка – Десятерик Ю.Е.

Компьютерная верстка – Марченко М.В.

Сайт ГКОУ РО лицея-интерната «Педагогический» г. Таганрога

Отпечатано в ГКОУ РО лицее-интернате «Педагогический» г. Таганрога

Лекция 8. Педагогические тесты, их виды и предназначение.

1.Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях.

2.Задачи тестирования и виды тестов.

3.Классификация видов педагогических тестов.

4.Понятийный аппарат: предтестовое задание, тестовое задание, педагогический тест.

1. Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях

Общие подходы к интерпретации результатов педагогических измерений. При педагогических измерениях интерпретация баллов учащихся может иметь различный характер в зависимости от того, каким способом сравниваются оценки учеников. Согласно одному подходу проводится сопоставление баллов каждого учащегося с результатами определенной группы – выборки учащихся, выпол­нявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ори­ентированный подход). Согласно другому подходу результаты испытуемых интерпретируются по отношению к содержательной об­ласти, включенной в тест и снабженной определенными крите­риями выполнения (критериально-ориентированный подход).

Оба подхода дают информацию о подготовленности учащихся, однако она имеет различный характер. В соответствии с этими под­ходами к интерпретации результатов тестирования выделяют нор­мативно-ориентированные и критериально-ориентированные те­сты.

Нормативно-ориентированный подход и нормы. Стандартизация тестов . Основная цель нормативно-ориентированного тестирова­ния заключается в дифференциации испытуемых по результатам выполнения теста. При интерпретации результатов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более силь­ной группы. Для корректной интерпретации результатов тестиро­вания балл каждого учащегося необходимо сравнивать с нормами выполнения теста.

Нормы – это совокупность показателей, отражающая резуль­таты выполнения теста четко определенной выборкой испытуе­мых – релевантной нормативной группой, репрезентативно пред­ставляющей генеральную совокупность тестируемых учащихся . К нормам обычно относят среднее значение тестовых бал­лов и показатель разброса (вариативности) вокруг среднего зна­чения всех остальных баллов, полученных представительной вы­боркой тестируемых учащихся, (методы подсчета среднего значения и показателей вариативности, приведены в главе 9). Имея нор­мы можно установить положение каждого результата по отноше­нию к среднему баллу по тесту, посмотреть, насколько результат учащегося выше или ниже среднего.

Процесс определения норм называется, стандартизацией тес­та. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой – обязательный момент при определении норм теста.

Относительность норм и выборка стандартизации . Тестовых норм, пригодных для интерпретации результатов всех учащихся по лю­бым тестам; не существует. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью ис­пытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент созда­ния теста и подлежат систематическому, обновлению и перепро­верке.

К нормам предъявляют следующие требования:

Нормы должны быть дифференцированными. Например, тес­ты для общеобразовательных и профильных школ необходимо стандартизовать на различных выборках, в результате чего полу­чатся, скорее всего, существенно различающиеся нормы;

Нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из со­временной ситуации в образовании;

Нормы должны быть репрезентативными, поэтому они все­гда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации (федеральной – для ЕГЭ, муниципальной – для аттестации школ, внутришкольной – для аттестации учащихся в школе).

«Норма» – относительное понятие, тесно связанное с каче­ством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стан­дартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные – объем и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.

Стратификация выборки. Для равномерного представления раз­личных групп учащихся в популяции испытуемых используют спе­циальный процесс – стратификацию. Стратификация – расслое­ние выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности учащихся . Обычно в качестве оснований для стратификации выделяют факторы, наиболее связанные с переменной измерения. В ЕГЭ к числу таких факторов можно отнести социальное положение родителей выпускника, регион, где рас­положена школа, ее принадлежность к числу сельских или город­ских школ и т.д.

Наличие многих факторов стратификации, необходимость ана­лиза пропорций генеральной совокупности испытуемых, прове­дение апробационного тестирования для определения норм дела­ют работу по стандартизации тестов довольно дорогостоящей и трудоемкой процедурой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нор­мами с помощью IRT , банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста.

Информация, прилагаемая к стандартизированным тестам . К стандартизованному тесту необходимо приложить:

Нормы выполнения теста, которые определяются на выборке стандартизации;

Объем выборки стандартизации, основания для ее стратифи­кации и временной период ее использования;

Необработанные результаты выполнения теста для выборки стандартизации.

Сопоставление норм по различным тестам возможно лишь в том случае, если есть основания для утверждения об адекватности выборок стандартизации.

Критериально-ориентированный подход в педагогических изме­рениях . При критериально-ориентированном подходе в педагоги­ческих измерениях результаты учащихся интерпретируются по от­ношению к содержательной области или требованиям, установ­ленным к учебным достижениям. При дихотомическом оценивании («1» или «0») результатов выполнения отдельных заданий балл каждого учащегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. В случае политомических оценок в проценты переводится отношение сырого балла учащегося, накопленного по заданиям, к максимально возможному баллу по тесту. Полу­ченный для каждого учащегося процент сравнивается со стандар­тами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста .

При критериально-ориентированном подходе по результатам тестирования можно:

- выявить освоенные и не освоенные знания, умения и навыки и построить индивидуальную образовательную траекторию каж­дого учащегося;

Ранжировать тестируемых по проценту выполнения и по­строить рейтинговые шкалы;

Разбить испытуемых на две группы с помощью одного крите­риального балла или на несколько групп с помощью нескольких критериальных баллов, поставив, например, школьные отметки – «два», «три», «четыре», «пять».

Недостатки критернально-ориентированного подхода. Критери­ально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100 %, в одном тесте. Аттестационные критериально-ориентиро­ванные тесты нередко получаются очень длинными – из 150 - 300 заданий, выполнить которые даже в старших классах при одноразовом предъявлении просто невозможно. Поэтому при ат­тестации нередко применяют адаптивное тестирование, позво­ляющее за счет оптимизации трудности заданий значительно со­кратить длину теста. Используют также сокращение содержания теста за счет минимизации целей оценивания. Для этого крите­риально-ориентированные тесты нередко применяют для про­верки одного-двух умений или навыков, а при охвате более раз­нородного содержания выбирают нормативно-ориентированные тесты.

Критериально-ориентированные тесты имеют к тому же довольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения и навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения те­стов. В более сложных и менее структурированных областях зна­ний, связанных с решением задач творческого уровня, опреде­лить верхний предел зачастую невозможно.

Иногда при выполнении таких заданий школьник руководству­ется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполне­нием задач творческого уровня, следует отдавать предпочтение нормативно-ориентированному подходу или стараться совмещать оба подхода в одном тесте .

Различия в нормативно-ориентированном и критериально-ори­ентированном подходах. Нормативно-ориентированные и крите­риально-ориентированные тесты различаются по целям создания, методике отбора содержания, характеру распределения эмпири­ческих результатов, тестирования, методам их обработки, крите­риям качества тестов и тестовых заданий, а главное, по интерпре­тации результатов испытуемых, выполнивших тест.

В критериально-ориентированных тестах, используемых для аттестации, задания достаточно простые, поскольку педагоги все­гда стараются спланировать процент «двоек» и ограничить число неаттестованных учеников. Например, если «двойки» не должны превышать 10% и критерий отсева неуспевающих планируется ус­тановить на уровне 70% (все, кто выполнил меньше 70% заданий теста, получают «два»), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить 90% тестируе­мых учеников (рис. 9). Нормативно-ориентированные тесты обыч­но намного труднее. В них включают от 50 до 70 % заданий средней трудности, т.е. тех, которые смогла выполнить верно только по­ловина тестируемых учеников (рис. 10).

Рис. 9. Распределение заданий по трудности, в нормативно-ориентирован­ном тесте

Рис. 10. Распределение заданий по трудности в критериально-ориенпированном тесте

В силу того, что распределения сырых баллов репрезентативной выборки испытуемых по нормативно-ориентированным и крите­риально-ориентированным тестам имеют, как правило, различную форму (рис. 11), приходится использовать различающиеся ме­тоды оценивания надежности и валидности результатов педагоги­ческих измерений, методики шкалирования и выравнивания.

Рис. 11. Типичное распределение баллов по тестам для репрезентативной

выборки учащихся

Наиболее существенные различия между нормативно-ориен­тированными и критериально-ориентированньми тестами пред­ставлены в табл. 1.

Таблица 1

Различия между нормативно-ориентированными и критериально-ориентированными тестами

Характеристики	Нормативно-ориентированные тесты	Критериально-ориентированные тесты
Типичное среднее чис­ло учеников, выполнивших правильно поч­ти все задания теста
Область для сравнения результатов учащихся	Результаты других учеников
Диапазон охвата целей проверки	Широкий, охватывает многие цели и виды учебной деятельности	Узкий, обычно охва­тывает несколько це­лей контроля
Репрезентативность охвата содержания предмета	Умеренная, фрагментарная, – обычно включают не все раз­делы	Большая, обычно включают все то, что можно операционализировать и принять за 100%
Разброс результатов учащихся (вариатив­ность баллов)	Высокий, поскольку основная цель тестирования – дифференциация испытуемых по уровню подготовки	Низкий, внутри ре­зультатов группы учащихся, превысивших по своим результатам критериальный балл, почти нет вариативно­сти
Подбор заданий по трудности	Распределение оценок трудности близко к нормальному. Основ­ная часть заданий име­ет трудность 40-60%	Распределение ско­шенное. Основная часть заданий имеет трудность 80-90%

Для учителя наиболее информативной является ситуация, ког­да оба подхода взаимно дополняют, друг друга. Поэтому некоторые тесты разрабатываются с расчетом на то, что результаты учащих­ся можно соотносить как с нормами, так и с содержанием теста. Пример – контрольно-измерительные материалы (КИМ) ЕГЭ.

2. Задачи тестирования и виды тестов

Общая классификация задач, решаемых с помощью тестов . В со­ответствии с видами контроля при тестировании можно выделить:

Задачи, стоящие на входе в обучение (входной контроль);

Текущие задачи (текущий контроль);

Задачи, соответствующие концу определенного периода учеб­ного процесса (итоговый контроль) .

Тестирование во входном контроле . Началу обучения соответ­ствует входное тестирование, позволяющее выявить степень вла­дения базовыми знаниями, умениями и навыками, необходимы­ми для начала обучения, и определить уровень владения новым материалом до начала его изучения в классе. Последняя ситуация кажется не типичной для школы, вместе с тем достаточно вспом­нить классический пример, когда в первый класс поступают хо­рошо читающие дети и начинают скучать на уроках.

Тесты для входного контроля, обычно называемые претестами (предварительными тестами), делятся на два типа.. Претесты первого типа позволяют выявить готовность к усвоению но­вых знаний в классе. Они разрабатываются в рамках критериаль­но-ориентированного подхода и содержит задания для проверки базовых знаний, умений и навыков, необходимых для усвоения нового материала. В основном эти претесты предназначены для наиболее слабых учеников, находящихся на границе между явно подготовленными и явно не подготовленными к началу усвоения нового материала. По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те, кто может двигаться дальше, а в другую – те, кто нуждается в дополнительной работе и консультациях педагога.

Претесты второго типа разрабатываются в рамках нор­мативно-ориентированного подхода. Они охватывают планируемые результаты предстоящего обучения и построены полностью на но­вом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуали­зации в массовый учебный процесс. Если ученик показал некоторые предварительные знания по новому материалу, то план его обуче­ния необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения.

На рис. 12 показаны возможные функции входного тестирова­ния в учебном процессе.

Рис. 12. Упрощенная модель функций входного тестирования в учебном

процессе, соотнесенная с задачами педагога.

Тестирование в текущем контроле . Для текущего контроля раз­рабатывают корректирующие и диагностические тесты. Корректи­рующие тесты, как правило, являются критериально-ориентиро­ванными: если процент ошибок учащегося превышает критери­альный балл, то его знания нуждаются в коррекции. С помощью корректирующих тестов, можно найти слабые места в подготовке учащихся и выявить направления индивидуальной помощи в осво­ении нового материала.

Корректирующие тесты не следует путать со средствами теку­щего контроля знаний учеников, однако они в какой-то мере близ­ки, хотя бы по целям применения. Однако между первыми и вто­рыми средствами есть существенные различия технологического и содержательного характера. Традиционные средства текущего кон­троля менее эффективны и в основном ориентированы на про­верку и систематическую оценку знаний учеников по небольшим единицам учебного материала. Корректирующие тесты предназначены для выявления пробелов в знаниях по группе учебных еди­ниц, включающих содержание нескольких тем или даже разделов. Обычно они содержат задания, расположенные по нарастанию трудности, с тем чтобы выявить первые же проблемы в усвоении учебного материала.

Если затруднения ученика при выполнении заданий носят систе­матический характер, то педагог может прибегнуть к помощи диаг­ностических тестов. Основная цель диагностики – установление причин пробелов в знаниях учеников – достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчи­танные по форме представления на отслеживание отдельных этапов выполнения каждого задания корректирующего теста. Подробная де­тализация позволяет выявить причины устойчивых ошибок учени­ков, конкретизировать характер возникающих затруднений и полу­чить выводы о несформированности тех или иных учебных умений.

Например, задание с выбором одного правильного ответа из коррек­тирующего теста по математике для начальной школы может иметь сле­дующий вид:

2+6:3 – 8:4=

A. 2

Б. 3

B. 1

Г 4

Максимальное число заданий диагностического теста определяется количеством действий при выполнении задания корректирующего теста. Например, для рассматриваемого числового выражения, можно предло­жить четыре задания, если у педагога нет желания проверять знание уча­щимся порядка действий:

1) 6:3= А. 3 Б. 2 В. 4

2) 8:4= А. 2 Б. 4 В. 1

3) 2+6:3= А. 5 Б. 6 В. 4

4) 2+6:3-8:4 = А. 3 Б. 2 В. 0

Подбор заданий в диагностический тест осуществляется в ин­дивидуализированном режиме, в зависимости от тех заданий, которые выполнил неверно каждый учащийся в корректирующем тесте. Особенно эффективны процессы коррекции и диагностики при компьютерной генерации и предъявлении тестов в сочетании с обучающими модулями по каждой единице неусвоенного учеб­ного материала. В этом случае коррекция проводится незамедли­тельно, поскольку после выявления очередного пробела и уста­новления его причины компьютер сам подбирает обучающий мо­дуль и сразу же выдает его ученику.

Упрощенная модель функций текущего тестирования представ­лена на рис. 13.

Рис. 1З. Модель функций тестирования в текущем контроле

Итоговое тестирование. Основная цель итогового тестирова­ния – обеспечение объективной оценки результатов обучения, которая ориентирована на характеристику освоения содержания курса (критериально-ориентированные тесты) или на дифференциацию учащихся (нормативно-ориентированные тесты). На рис. 14 приведена модель функций итогового тестирования.

Рис. 14. Модель функций итогового тестирования

Итоговые тесты обычно подвергаются стандартизации, по­скольку чаше всего они применяются для принятия администра­тивных управленческих решений в образовании, Если проведе­ние входного и текущего тестирования – функция учителя, то итоговое тестирование часто проводится внешними структурами и носит характер независимых проверок. Примером независимо­го итогового тестирования в России является ЕГЭ, тестирова­ние при аттестации школ и т.д. внутри школы итоговые тесты можно, использовать при переводе учащихся из класса в класс, при отборе отстающих учеников для определения их в коррекционные классы и т.д.

3. Классификация видов педагогических тестов

Основные подходы к классификации тестов. В отечественной и иностранной литературе существуют различные подходы к классификации педагогических тестов, различающиеся по признакам, которые положены в основу демаркации видов. В соответствии с подходом к интерпретации данных выделяют нормативно-ориентированные и критериально-ориентированные тесты.

По размерности конструкта педагогические тесты делятся на гомогенные (измеряющие только одну переменную и потому од­нородные по содержанию) и гетерогенные (измеряющие более одной переменной – случай многомерного конструкта) тесты. Гетерогенные тесты бывают полидисциплинарными и междисцип­линарными . Полидисциплинарные тесты состоят из гомо­генных субтестов по отдельным дисциплинам. Результаты учени­ков по субтестам объединяются для подсчета итоговых баллов по всему полидисциплинарному тесту. Для выполнения заданий междисциплинарных тестов требуется применение обобщенных, меж­предметных, интегративных знаний и умений. Междисциплинар­ные тесты всегда многомерны, их разработка требует обращения к факторным методам анализа данных, математико-статистическим методам многомерного шкалирования и т.д.

По характеру измеряемых переменных выделяют тесты для про­верки знаний, учебных, практических умений, навыков, а также компетентностные тесты. Иногда в отдельную группу выделяют ско­ростные тесты, требующие жесткого временного ограничения на выполнение каждого задания и содержащие всегда избыточное число заданий, не позволяющее выполнить весь тест. В зависимости от формы предъявления различают бланковые и компьютерные, устные и письменные тесты.

Наиболее общая классификация тестов в учебном процессе позволяет разделить их на две неравные группы: стандартизован­ные тесты, обладающие нормами выполнения, и нестандартизованные тесты, которых значительно больше, поскольку для использования в повседневном учебном процессе их готовит каж­дый педагог. Нестандартизованные тесты нередко называют учи­тельскими, или авторскими, тестами.

Классификация по видам контроля, их функциям и характеру решаемых задач. Если в качестве признака демаркации выбрать виды контроля и характер задач, решаемых преподавателем с по­мощью тестов, то получится классификация видов педагогичес­ких тестов, представленная на рис. 15.

Рис. 15. Классификация педагогических тестов

Анализ классификационной таблицы позволяет выделить в ка­честве основополагающих четыре вида педагогических тестов, среди которых, наибольшую важность по сфере использования имеют итоговые нормативно-ориентированные тесты.

Увеличение влияния тестирования на принятие управлен­ческих решений на основе данных мониторинга и анализа ка­чества образования во многих странах привело в XXI в. к воз­никновению нового вида тестов административно-управленческого предназначения (в англоязычной литературе – High - Stakes tests ). Данные административно-управленческого тестирования являются важным информационным источником для анализа последствий образовательных реформ и инноваций в образова­нии, проведения сравнительных исследований качества подго­товленности выпускников различных регионов России, аттес­тации учебных заведений и оценки эффективности их деятельности.

4. Основные определения понятийного аппарата

Понятийный аппарат при разработке и использовании тестов. Необходимость создания четкого понятийного аппарата для раз­работки тестов не всегда понятна преподавателям-практикам. От­части это объясняется кажущейся простотой самих понятий, так как нередко любой набор заданий в тестовой форме в представле­нии учителя ассоциируется с тестом. Такие псевдотесты сплошь и рядом публикуются в специальных сборниках. Их можно исполь­зовать в текущем контроле, но не в работе аттестационных цент­ров.

Несоответствие псевдотестов научно обоснованным критери­ям качества может привести к значительному ошибочному ком­поненту в оценках подготовленности учащихся, следствием кото­рого будут неправильные выводы относительно эффективности работы отдельных преподавателей или педагогических коллекти­вов. Таким образом, понятийный аппарат необходим, поскольку он служит целям отделения тестов от того, что нередко за них принимается.

Предтестовое задание . Определение предтестового задания яв­ляется базовым, содержащим специфические требования, с тем чтобы отличить его от традиционного контрольного задания. Пред­тестовое задание – это единица контрольного материала, содер­жание, логическая структура и форма представления которого удовлетворяют ряду требований и обеспечивают однозначность оценок результатов выполнения благодаря стандартизованным правилам проверки .

В предтестовых заданиях проверяются наиболее существенные опорные элементы содержания дисциплины. В каждом предтестовом задании определяется то, что однозначно считается правиль­ным ответом с запланированной степенью его полноты.

Требования, предъявляемые к форме пред тес­товых заданий , можно условно разделить на специальные, отражающие специфику формы, и общие, инвариантные относи­тельно выбранной формы. Согласно, общим требованиям задание должно иметь определенный порядковый номера стандартную ин­струкций по выполнению, адекватную форме, эталон правильно­го ответа, стандартизованные правила по оценке результатов его выполнения и т. д. (см. Лекцию 10). Специальные требования к форме довольно многочисленны, частично они представлены в Лекции 10, посвященной формам предтестовых заданий.

Преимущества предтестовых заданий по сравнению с традиционными контрольными заданиями обеспечиваются предельной стандартизацией при предъявлении и оценивании результатов их выполнения, что в целом повышает объективность оценок уча­щихся по тесту.

Тестовое задание . Предтестовые задания должны пройти обязательную эмпирическую проверку, по результатам которой часть из них превращается в тестовые, а оставшаяся часть удаляется из первоначальной совокупности заданий теста. Предтестовое зада­ние превращается в тестовое, если количественные оценки его характеристик удовлетворяют определенным критериям, нацелен­ным на эмпирическую проверку качества содержания, формы и системообразующих свойств предтестовых заданий.

Обычно требуется не менее двух-трех апробаций, по результа­там которых ведется коррекция содержания, формы, трудности задания, его валидности и статистических свойств, характеризу­ющих качество его работы вместе с остальными заданиями теста. Исследование системообразующих характеристик тестового зада­ния проводится на основе анализа дескриптивной (описательной) статистики, а также методов корреляционного, факторного и латентно-структурного анализа. Интерпретация результатов ана­лиза – это всегда сложная аналитическая работа, результаты ко­торой зависят от множества условий, в том числе и от вида создаваемого теста. Статистические характеристики тестовых заданий и требования к их качеству рассмотрены в Лекции 12.

В длительной апробации и коррекции нуждаются в основном итоговые тесты, используемые для принятия управленческих ре­шений в образовании. Например, при разработке учительских те­стов для текущего контроля корреляционный и факторный анализ не нужны, но дескриптивная статистика, позволяющая без особых усилий отобрать валидные задания приемлемой трудно­сти, будет также очень полезна.

Педагогический тест. В отличие от первых двух определений, инвариантных относительно целей тестирования и решаемых задач, определение педагогического теста должно быть ориентиро­вано на конкретный вид теста. В частности итоговый нормативно-ориентированный тест – это система тестовых заданий, упорядо­ченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают высокую дифференциацию, точность и обоснованность оценок качества учебных достижений.

Из этого определения следуют два важных вывода. Первый: нет и не может быть тестов, качественных вообще, так как оценка дифференцирующего эффекта теста, точности измерений (надежности) и их адекватности поставленным целям (валидности) за­висит не только от характеристик тестовых заданий, но и от осо­бенностей тестируемого контингента учащихся. Второй: для оцен­ки качества теста необходимы эмпирические данные тестирова­ния, полученные на репрезентативной выборке учащихся. Работа по коррекции теста консолидирует систему тестовых задании – постепенно нарастают внутренняя связь и целостность, интегративностъ системы, совершается переход от совокупности предтестовых.заданий к профессионально разработанному тесту.

Итоговый критериально-ориентированный тест – это система тестовых заданий, упорядоченных в рамках определенной страте­гии предъявления и обладающих такими характеристиками, ко­торые обеспечивают валидную содержательную интерпретацию учебных достижений по отношению к установленным, статисти­чески обоснованным критериям выполнения . В определении не конкретизируется базовая содержательная область, используе­мая при интерпретации, что позволяет применять его для различ­ных разновидностей критериально-ориентированных тестов.

Разработка качественного тестового инструментария - длительный, трудоемкий и дорогостоящий процесс. Стандартные наборы тестов для большинства дисциплин ещё не разработаны, а разработанные обычно имеют очень низкое качество. Данные, получаемые преподавателем в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов. Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания. Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы. Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений. В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.