4. Расчет критериальной валидности теста
4.1. Тест должен быть проверен на критериальную валидность — характеристика теста, отражающая степень уверенности, что первичный тестовый балл реально отражает достижение определенного уровня знаний или навыков. Критериальная валидность определяется на основании сравнения результатов тестирования и показателей, полученных независимым путем (например, путем традиционных оценок, экспертных суждений, результатов других тестов, валидность которых уже установлена).
4.2. Критериальная валидность определяется органом по экспертизе тестовых материалов по представленному банку тестовых заданий.
4.3. Орган по экспертизе тестовых материалов для расчета критериальной валидности проводит мероприятия по апробации теста в различных условиях и на основе методов непараметрической статистики вычисляет степень сходства результатов тестирования с результатами независимой оценки знаний и умений тестируемых.
4.4. Степень сходства в непараметрической статистике — это мера r взаимозависимости (корреляционной связи) двух величин Xi и Yi. Величина r принимает значения от 0 до 1. Если значение r равно 1, то сходство считается полным, если степень сходства равна 0, то имеет место полное расхождение результатов.
4.5. Тест считается критериально валидным, если значение степени сходства результатов тестирования с результатами независимой оценки знаний и умений больше 0.8.
4.6 За коэффициент валидности принимают коэффициент корреляции результатов тестовых измерений и критерия. Если экспертная оценка знаний испытуемых, полученная независимо от процедуры тестирования, представлена числовой последовательностью Y1,Y2, …, Yn, то коэффициент валидности теста может быть рассчитан по формуле:
,
где - средняя арифметическая экспертных оценок, sY - стандартное отклонение этих оценок:
, .
Задание 2. Используя тест3 лабораторной работы №6 протестировать каждого испытуемого в группе. Используя полученные данные провести оценку надежности теста двумя способами (повторным и однократным тестированием). Дать интерпретацию надежности теста. Вычислить погрешность измерения тестового балла.
Задание 3. Используя данные тестирования и экспертные суждения преподавателей или студентов (результаты независимой оценки) рассчитать валидность теста. Дать интерпретацию валидности теста.
Учебное издание
Авторы-составители:
Волкова Татьяна Ивановна,
Бадртдинова Файруза Тахваловна
- Современные средства оценивания результатов обучения
- Содержание
- 2 … . Требования к формам представления тз
- 3. Основные принципы составления заданий
- 4. Наиболее часто в построении заданий встречаются ошибки следующих типов:
- 5. Требования к технологиям компьютерного тестирования
- Лабораторная работа №3 Знакомства с конструктором тестов аст Цель работы:
- 1. Общие понятия
- 2. Функции конструктора тестов
- 3. Первый сеанс работы
- 4. Перемещение задания по структуре нтз
- 5. Экспорт тз
- 6. Библиотека ole-объектов
- Решение задач
- Возможные конфликтные ситуации
- 7. Мастер тестовых заданий
- Лабораторная работа № 4 Мастер тестовых заданий. Создание тестовой базы. Цель работы:
- Способ формирования содержательной части заданий
- I. Обработка swaPом документа Word.
- Оформление структуры материалов:
- 1. Задания открытой формы:
- 2. Задания закрытой формы:
- 3. Задания на установление соответствия:
- 4. Задание на установление правильной последовательности:
- II. Обработка swaPом Накопителя тестовых заданий.
- III. Примеры и технология выполнения задач с помощью swap:
- Лабораторная работа №7 Расчет характеристик тестовых заданий на основе анализа статистических данных в среде Excel Цель работы:
- Общие понятия
- Использование специальных функций
- Использование инструмента Пакет анализа
- Проведение корреляционного анализа
- Классическая теория тестирования
- Анализ и интерпретация коэффициента дискриминации
- 1. Общие положения
- 2. Коэффициент надежности, дисперсия и стандартная ошибка
- 3. Оценка надежности при повторном тестировании
- 4. Оценка надежности при однократном тестировнии
- 5. Интерпретация коэффициента надежности теста
- 6. Вычисление погрешности измерения тестового балла
- Методика оценки валидности тестовых заданий
- 1. Основные термины и определения
- 2. Область использования и сфера применимости теста
- 3. Содержательная валидность теста
- 4. Расчет критериальной валидности теста
- Современные средства оценивания результатов обучения
- 452453, Республика Башкортостан, г. Бирск, ул. Интернациональная, 10.