PsyhologToday.Ru

Тип смещения, описанный выше, называется внешним смещением, поскольку при этом исследуется связь между тестовыми оценками и некоторым внешним критерием. Однако совсем не обязательно иметь внешний критерий, чтобы выявить факт смещения тестовых оценок, поскольку возможно, что тест может включать несколько заданий, которые по содержанию явно направлены против одной или более групп. Другими словами, они могут оказаться существенно более трудными для членов одних групп по сравнению с другими. Для того чтобы выделять такое «внутреннее смещение», было разработано несколько методов, а Остерлинд (Osterlind, 1983) и Бек (Berk, 1982) представили превосходное обсуждение этих проблем. Я упомяну только два подхода.

Представим себе, что много людей выполняют тест способностей, и каждый ответ оценивается как правильный или неправильный. Этих индивидуумов можно классифицировать как членов одной или более групп (например, соответственно полу или этнической принадлежности). Чтобы упростить изложение, мы сконцентрируемся только на половых различиях и допустим, что тест состоит из 50 заданий. Можно реализовать смешанную модель (между- и внутри-) анализа вариативности тестовых оценок, используя «пол» (два признака) как межиндивидуальный фактор, а «задания» (50 уровней) — как внутрииндивидуальный фактор. Таким образом, мы обрабатываем ответы на все 50 заданий теста, рассматривая их как различные уровни одного внутри индивидуального фактора. Таблица, полученная в результате применения метода ANOVA в этом анализе, будет показывать значимость:

• эффекта «задания»;

• эффекта «группы»;

• эффекта «взаимодействия группа х задание».

Эффект «задания» определяет, все ли задания теста имеют одинаковый уровень трудности. Почти определенно они не будут одинаково трудны, поэтому обычно можно гарантировать, что этот член действительно будет очень важным. Однако этот компонент дисперсии не представляет никакого особого интереса для выделения смещения.

Эффект «группы» говорит о том, в какой степени мужчины и женщины склонны иметь одинаковые средние показатели по заданиям теста. Он также не вызывает большого интереса, хотя присутствие существенных групповых различий будет представлять проблему, если кто-то намеревается использовать тест для отбора или распределения.

Действительно интересным является эффект «взаимодействия группа х задание». Если он статистически значим, это означает, что некоторые задания являются более легкими для одной группы, чем для другой. Иными словами, распределение оценок по некоторым заданиям смещено. Можно точно обнаружить такие задания, нанося на график эффекты взаимодействия, проверяя простые эффекты и т.д. Затем они могут быть удалены из теста. Таким образом, констатация значимого «взаимодействия группа х х задание» может указать на то, что некоторые элементы теста проблематичны.

Этот подход имеет одну трудность, состоящую в том, что мощность статистической процедуры влияет на оценку значимости данного взаимодействия. На практике это означает, что, если анализ выполняется на небольшой группе людей, маловероятно, что удастся выделить слабую степень смещения. Однако если выборки включают тысячи индивидуумов, будет видно, что почти каждое задание обнаруживает статистически значимую (хотя и небольшую) степень смещения. Для полноты картины мне следует признать, что, как известно, этот подход имеет некоторые проблемы, упоминаемые Остерлиндом (Osterlind, 1983) наряду с другими, хотя, на мой взгляд (и по моему опыту), он может способствовать выявлению задания со значительной степенью смещения.