Анализ и интерпретация коэффициента дискриминации

Этот коэффициент показывает, насколько лучше отвечали на данное задание хорошо успевающие студенты в сравнении с плохо успевающими. Для его расчета индивидуальные суммарные оценки располагаются в порядке возрастания. Затем в данном ряду выделяются крайние группы. Для получения наиболее устойчивых оценок необходимо анализировать верхние и нижние 25-27% испытуемых. Однако подобный подход возможен только для достаточного большого количества испытуемых. Если тестирование проводится на небольшой группе (до 50-ти человек), то можно брать верхние и нижние 33% группы или разделить группу на две половины. Коэффициент дискриминации должен превышать 0.3. (Тестовые задания можно классифицировать на "хорошие" (коэффициент дискриминации более 0,3), "приемлемые" (от 0,1 до 0,3) и "плохие" (менее 0,1)). Близкий к нулю коэффициент дискриминации показывает, что хорошо и плохо успевающие студенты выполняли это задание одинаково хорошо (плохо) и поэтому данное задание не вносит никакого вклада в общую оценку и не выполняет основной задачи теста - отделения лиц с низкими знаниями. Отрицательный коэффициент дискриминации четко указывает на невалидное задание, которое должно быть обязательно исключено или переделано. Отрицательный коэффициент дискриминации означает, что плохо успевающие студенты справлялись с заданием лучше хорошо успевающих. Такое бывает в том случае, когда вопрос по сложной теме сформулирован таким образом, что ответ очевиден. В этом случае хорошо успевающие студенты будут искать в задании подвох и выбирать не правильный ответ. Аналогичным образом это может произойти если наряду с легким ответом включен вариант который может быть правильным и в тексте условия не представлено данных, на основании которых его можно исключить. В любом случае, низкий или отрицательный коэффициент дискриминации означает, что задания не отвечают цели их составления и должны быть исключены.

9 шаг. Точечно-бисериальный коэффициент Bj для дихотомических оценок.

При наличии больших выборочных совокупностей дихотомических данных и нормального распределения индивидуальных сумм баллов рекомендуют рассчитывать для всех заданий бисериальные коэффициенты корреляции В_j (j=1, 2, … m):

где M_j1– среднее арифметическое сумм баллов по всему тесту для испытуемых, получивших по данному заданию 1 балл. M_j0– среднее арифметическое сумм баллов по всему тесту для испытуемых, получивших по данному заданию 0 баллов;. n_j1– число испытуемых, получивших по данному заданию 1 балл; n_j0– число испытуемых, получивших по данному заданию 0 баллов. Очевидно, входящие в формулу величины могут быть рассчитаны следующим образом:

,

Данный коэффициент указывает, насколько хорошо задание разделяет тех, кто хорошо справился со всем тестовым набором и тех, кому это не удалось. По сравнению с коэффициентом дискриминации точечно-бисериальный коэффициент имеет то преимущество, что он использует для своей оценки всех экзаменуемых, а не только верхние и нижние 27%.

Являясь обычным коэффициентом корреляции, точечно-бисериальный коэффициент изменяется в пределах от -1.00 до +1.00, приемлемыми считаются задания, у которых точечно-бисериальный коэффициент корреляции превышает 0.2.

Так же, как и в случае коэффициента дискриминации негативные значения указывают на неправильно составленное задание, поскольку лица, ответившие на него неправильно имеют более хорошие общие показатели. Такая задача нуждается в пересмотре и анализе дистракторов.

10 шаг. Очередной шаг делается на основе вектора корреляций {R_j} (или {В_j}), корреляционной матрицы } (или { }) и вектора коэффициентов трудности {p_j}. Из собрания тестовых заданий удаляются задания, не обладающие дискриминативностью, то есть задания слишком легкие (p_j>0,9) и слишком трудные (p_j <0,2). Затем исключаются задания, плохо коррелирующие с суммой баллов (R_j<0,15), и имеющие отрицательные коэффициенты корреляции (или r_jk).

Задание 3. Провести анализ полученных результатов. Анализ оформить в виде отчета. В отчете отразить пошаговую статистическую обработку результатов тестирования с интерпретацией результатов каждого шага.

Лабораторная работа №8

Проверка надежности и валидности теста.

Цель работы:

• Ознакомиться с основными подходами расчета надежности;

• Научиться рассчитывать надежность и погрешность тестового балла;

• Научиться оценивать валидность тестовых заданий.

Задание 1. Ознакомиться с методикой расчета надежности теста, погрешности измерения тестового балла и оценки валидности тестовых заданий.

Методика расчета надежности теста и погрешности измерения тестового балла