Одни психологи, например, Кэттелл, отстаивают целесообразность использования факторного анализа при конструировании тестов, а другие (например, Nunnally, 1978) наряду с этим выделяют некоторые проблемы, возникающие в связи с этим подходом. В соответствии с ним корреляции между полученными оценками по каждому заданию подвергаются факторному анализу, и фактор (или факторы) идентифицируется на основе факторных весов, как описано в главах 14 и 15. Объединяя вместе набор заданий для измерения одного определенного конструкта, мы, разумеется, надеемся, что появится только один фактор и что все переменные будут иметь по нему большие нагрузки. На практике может выделиться больше чем один фактор, и некоторые переменные могут не иметь нагрузок выше 0,4 по любому фактору. Этот метод конструирования шкал просто предусматривает выделение и сохранение тех заданий, которые имеют существенные нарузки по главному фактору (факторам).

При проведении анализа заданий любым методом важно контролировать, чтобы по каждому аспекту теста элиминировалось примерно равное число заданий. Как покажет следующий пример, анализ заданий — это в такой же степени искусство, как и наука. Представим себе, что математический тест из 35 заданий, описанный выше, был подвергнут факторному анализу и выделился только один фактор. Предположим также, что анализ показал, что три из пяти заданий, измеряющих письменное деление в столбик, имели нагрузки выше 0,4, так же как три из пяти заданий по каждой из следующих тем: умножение в столбик, геометрия/тригонометрия, решение систем уравнений и нахождение квадратных корней из уравнений. Однако представим теперь, что только одно из заданий на дифференцирование и все пять заданий на интегрирование имели нагрузки выше 0,4. Слепое применение критерия, предусматривающего сохранение заданий с «факторными нагрузками выше 0,4», приведет к созданию теста с различным числом заданий по каждой теме. Было бы целесообразнее проверить, нет ли среди заданий на дифференцирование таких, которые имели бы факторные нагрузки лишь ненамного ниже, чем 0,4, и, если таковые имеются, включить два из них в тест и изъять два задания на интегрирование с самыми низкими нагрузками. Этот прием обеспечит тест с 21 заданием, имеющим равное число заданий по каждой теме.

После этого необходимо будет провести эксперименты для проверки того, что эти задания действительно измеряют черту, которую предполагается измерить. Другими словами, должна быть установлена их валидность, как обсуждается в главе 13.

Проблемы возникают при разработке шкал способностей, которые предназначаются для использования с очень жесткими временными лимитами. Поскольку некоторые соискатели могут и не пройти тест до конца, очень сложно установить, почему это произошло: потому, что задания трудны, или потому, что человек не успел, т.е. степень трудности смешивается со скоростью ответов соискателей. На стадии разработки лучше предъявлять тест без ограничения времени и устанавливать временные лимиты лишь при подготовке окончательного варианта.

Смотрите также

Один фактор — более двух уровней
Если в экспериментах используется одна независимая переменная, ситуация, когда изучаются только два ее значения, является скорее исключением, чем правилом. В большинстве однофакторных исследований ...

Способы познания
Давайте задумаемся над чем-нибудь, что мы считаем безусловно верным. Это может быть нечто совсем простое, вроде мысли о том, что сад лучше поливать утром, а не вечером, или нечто сложное, как, нап ...

Оценка наблюдений
Исследователь, проводящий наблюдения, должен быть готов к возникновению некоторых проблем, в том числе проблемы недостаточного контроля, к появлению внесенного наблюдателем искажения, к проблеме р ...