Функционирование дифференциального элемента - Differential item functioning

Функционирование дифференциального элемента (DIF) представляет собой статистическую характеристику элемента, которая показывает, в какой степени этот элемент может измерять различные способности членов отдельных подгрупп. Средние баллы по заданию для подгрупп, имеющих одинаковый общий балл по тесту, сравниваются, чтобы определить, оценивается ли элемент по существу одинаково для всех подгрупп. Наличие DIF требует проверки и суждения, и это не обязательно указывает на наличие предвзятости.[1] DIF-анализ указывает на неожиданное поведение элементов теста. Элемент не отображает DIF, если люди из разных групп имеют разную вероятность дать определенный ответ; он отображает DIF тогда и только тогда, когда люди из разных групп с той же основной истинной способностью имеют разную вероятность дать определенный ответ. Общие процедуры для оценки DIF - Mantel-Haenszel, теория ответа элемента (IRT) методы, и логистическая регрессия.[2]

Описание

DIF относится к различиям в функционировании элементов в группах, часто демографических, которые соответствуют скрытому признаку или, в более общем смысле, атрибуту, измеряемому элементами или тестом.[3][4] Важно отметить, что при проверке элементов для DIF, группы должны быть сопоставлены по измеряемому атрибуту, иначе это может привести к неточному обнаружению DIF. Чтобы получить общее представление о DIF или ошибке измерения, рассмотрим следующий пример, предложенный Osterlind и Everson (2009).[5] В этом случае Y относится к ответу на конкретный элемент теста, который определяется скрытым строить измеряется. Представляющая интерес скрытая конструкция обозначается как theta (θ), где Y - показатель θ, который может быть упорядочен в терминах распределение вероятностей Y на θ выражением ж(Y) | θ. Следовательно, ответ Y зависит от скрытого признака (θ). Поскольку DIF исследует различия в условных вероятностях Y между группами, давайте обозначим группы как «контрольные» и «фокусные». Хотя обозначение не имеет значения, типичной практикой в ​​литературе является обозначение контрольной группы как группы, которая предположительно имеет преимущество, в то время как фокусная группа относится к группе, которая, как ожидается, окажется в невыгодном положении по результатам теста.[3] Следовательно, учитывая функциональную взаимосвязь и в предположении наличия идентичных погрешность измерения распределения для справочной и целевой групп можно сделать вывод, что в рамках нулевая гипотеза:

где G соответствует группирующей переменной, «r» - контрольной группе, а «f» - фокусной группе. Это уравнение представляет собой случай, когда DIF отсутствует. В этом случае отсутствие ДИФ определяется тем, что условная возможность распределение Y не зависит от членства в группе. Для иллюстрации рассмотрим элемент с вариантами ответа 0 и 1, где Y = 0 указывает на неправильный ответ, а Y = 1 указывает на правильный ответ. Вероятность правильного ответа на вопрос одинакова для членов любой группы. Это указывает на отсутствие предвзятости DIF или элемента, потому что члены контрольной и целевой группы с одинаковыми базовыми способностями или атрибутами имеют одинаковую вероятность правильного ответа. Следовательно, у одной группы нет предвзятости или недостатка по сравнению с другой. Рассмотрим случай, когда условная вероятность Y не одинакова для контрольной и целевой групп. Другими словами, члены разных групп с одинаковым признаком или уровнем способностей имеют неодинаковое распределение вероятностей по Y. После контроля θ появляется четкая зависимость между членством в группе и эффективностью предмета. За дихотомический Это говорит о том, что когда фокусная и референтная группы находятся в одном месте на θ, существует разная вероятность получить правильный ответ или одобрить элемент. Следовательно, группа с более высокой условной вероятностью правильного ответа на задание является группой, имеющей преимущество перед тестовым заданием. Это говорит о том, что элемент теста смещен и действует по-разному для групп, поэтому демонстрирует DIF. Важно провести различие между DIF или смещением измерения и обычными групповыми различиями. В то время как групповые различия указывают на различное распределение баллов по Y, DIF явно включает обусловливание по θ. Например, рассмотрим следующее уравнение:

Это указывает на то, что оценка экзаменуемого зависит от группировки, поэтому наличие информации о членстве в группе изменяет вероятность правильного ответа. Следовательно, если группы различаются по θ, а эффективность зависит от θ, то приведенное выше уравнение предполагает смещение по заданным параметрам даже в отсутствие DIF. По этой причине в литературе по измерениям обычно считается, что различия по Y, обусловленные только членством в группах, неадекватны для установления систематической ошибки.[6][7][8] Фактически, различия в θ или способностях являются общими для разных групп и создают основу для многих исследований. Не забудьте установить смещение или DIF, группы должны быть сопоставлены по θ, а затем продемонстрировать дифференциальные вероятности по Y как функцию членства в группе.

Формы

Единообразный DIF - это простейший тип DIF, в котором величина условной зависимости относительно неизменна в континууме скрытых признаков (θ). Интересующий пункт постоянно дает одной группе преимущество на всех уровнях способностей θ.[9] В рамках теории отклика заданий (IRT) это будет доказано, когда обе характеристические кривые заданий (ICC) одинаково различают, но демонстрируют различия в параметрах сложности (т.е. ар = аж и бр <бж), как показано на рисунке 1.[10] Однако неоднородный DIF представляет собой интересный случай. Вместо постоянного преимущества, предоставляемого контрольной группе по континууму способностей, условная зависимость перемещается и меняет направление в различных местах континуума θ.[11] Например, предмет может дать контрольной группе небольшое преимущество на нижнем конце континуума, в то время как большое преимущество на верхнем конце. Кроме того, в отличие от унифицированного DIF, элемент может одновременно различаться по двум группам, а также по сложности (т. Е. ар ≠ аж и бр <бж). Еще более сложным является «пересечение» неоднородного DIF. Как показано на рисунке 2, это происходит, когда элемент дает преимущество контрольной группе на одном конце континуума θ, а на другом конце - фокусной группе. Различия в ICC указывают на то, что испытуемые из двух групп с одинаковыми уровнями способностей имеют неодинаковые шансы правильно ответить на задание. Когда кривые разные, но не пересекаются, это свидетельствует о равномерном DIF. Однако, если ICC пересекаются в любой точке по шкале θ, это свидетельствует о неоднородном DIF.

Uniform DIF curve.pngNonuni DIF ICC.png

Процедуры обнаружения DIF

Mantel-Haenszel

Распространенной процедурой обнаружения DIF является подход Mantel-Haenszel (MH).[12] Процедура MH - это хи-квадрат Подход на основе таблицы непредвиденных обстоятельств, который исследует различия между контрольной и целевой группами по всем пунктам теста, один за другим.[13] Континуум способностей, определяемый общими результатами тестов, делится на k интервалы, которые затем служат основой для сопоставления членов обеих групп.[14] А 2 х 2 Таблица сопряженности используется в каждом интервале k сравнение обеих групп по отдельному элементу. Строки таблицы непредвиденных обстоятельств соответствуют членству в группе (справочной или основной), а столбцы соответствуют правильным или неправильным ответам. В следующей таблице представлена ​​общая форма для отдельного элемента в kинтервал умений.

MHDIFTable.png

Соотношение шансов

Следующим шагом в вычислении статистики MH является использование данных из таблицы непредвиденных обстоятельств для получения отношение шансов для двух групп по интересующему вопросу в конкретном k интервал. Это выражается в п и q куда п представляет пропорция правильно и q пропорция неверна как для референсной (R), так и для фокусной (F) групп. Для процедуры MH полученное отношение шансов представлено как α с возможным значением от 0 до ∞. А α значение 1.0 указывает на отсутствие DIF и, следовательно, на одинаковую производительность обеих групп. Значения больше 1,0 предполагают, что контрольная группа превзошла или сочла задание менее сложным, чем фокусная группа. С другой стороны, если полученное значение меньше 1.0, это показатель того, что задание было менее сложным для целевой группы.[8] Используя переменные из приведенной выше таблицы непредвиденных обстоятельств, расчет выглядит следующим образом:α =(пRk / qRk)⁄(пFk / qFk) = ​(Аk / (Аk + Bk)) / (Bk / (Аk + Bk)) ⁄ (Ck / (Ck + Dk)) / (Dk / (Ck + Dk))= ​(Аk / Bk)⁄(Ck / Dk)= ​АkDk⁄BkCkВышеупомянутые вычисления относятся к отдельному предмету с одним интервалом способности. Оценка населения α может быть расширен для отражения общего отношения шансов для всех интервалов способностей k для конкретного товара. Оценщик общего отношения шансов обозначен αMH и может быть вычислен по следующему уравнению:αMH = ​∑ (AkDk / Nk)⁄ ∑ (BkCk / Nk)
для всех значений k и где Nk представляет собой общий размер выборки на kth интервал. αMH часто стандартизируется с помощью преобразования журнала, центрируя значение около 0.[15] Новая преобразованная оценка MHD-DIF вычисляется следующим образом:MHD-DIF = -2,35ln (αMH)Таким образом, полученное значение 0 означает отсутствие DIF. При изучении уравнения важно отметить, что знак минус изменяет интерпретацию значений меньше или больше 0. Значения меньше 0 указывают на преимущество контрольной группы, тогда как значения больше 0 указывают на преимущество для целевой группы.

Теория отклика предмета

Теория ответа на вопрос (IRT) - еще один широко используемый метод оценки DIF. IRT позволяет критически изучить ответы на конкретные вопросы теста или меры. Как отмечалось ранее, DIF исследует вероятность правильного ответа или одобрения элемента, обусловленного скрытой чертой или способностью. Поскольку IRT изучает монотонный отношения между ответами и скрытой чертой или способностью, это подходящий подход для изучения DIF.[16]Три основных преимущества использования IRT при обнаружении DIF:[17]

  • В сравнении с классическая теория тестирования, IRT параметр оценки не настолько искажены характеристиками выборки.
  • Статистические свойства элементов могут быть выражены с большей точностью, что увеличивает точность интерпретации DIF между двумя группами.
  • Эти статистические свойства элементов могут быть выражены графически, улучшая интерпретируемость и понимание того, как элементы функционируют по-разному между группами.

В отношении DIF оценки параметров элемента вычисляются и графически исследуются с помощью характеристических кривых элемента (ICC), также называемых линиями трассировки или функциями ответа элемента (IRF). После изучения ICC и последующего подозрения на DIF применяются статистические процедуры для проверки различий между оценками параметров. ICC представляют собой математические функции взаимосвязи между позиционированием в континууме скрытых признаков и вероятностью получения определенного ответа.[18] Рисунок 3 иллюстрирует эту взаимосвязь как логистическая функция. Люди с более низким уровнем скрытой черты или с меньшими способностями имеют меньшую вероятность получить правильный ответ или одобрить предмет, особенно по мере увеличения сложности. Таким образом, те, кто обладает более высокими скрытыми чертами или способностями, имеют больше шансов на правильный ответ или одобрение предмета. Например, при инвентаризации депрессии люди с сильной депрессией будут иметь большую вероятность поддержать предмет, чем люди с более низкой депрессией. Точно так же люди с более высокими математическими способностями имеют большую вероятность получить правильный математический элемент, чем люди с меньшими способностями. Другой важный аспект ICC относится к точка перегиба. Это точка на кривой, где вероятность определенного ответа составляет 0,5, а также представляет собой максимальное значение для склон.[19] Эта точка перегиба указывает, где вероятность правильного ответа или одобрения элемента превышает 50%, за исключением случаев, когда c Параметр больше 0, что затем помещает точку перегиба в 1 + c / 2 (описание будет следовать ниже). Точка перегиба определяется сложностью предмета, которая соответствует значениям в континууме способности или скрытых черт.[20] Следовательно, для легкого предмета эта точка перегиба может быть ниже в континууме способностей, в то время как для сложного предмета она может быть выше по той же шкале.

ICC slope ip.png

Перед тем, как представить статистические процедуры для проверки различий параметров элементов, важно сначала дать общее представление о различных моделях оценки параметров и связанных с ними параметрах. К ним относятся одно-, двух- и трехпараметрические логистические (PL) модели. Все эти модели предполагают одну скрытую черту или способность. У всех трех моделей есть параметр сложности предмета, обозначенный б. Для моделей 1PL и 2PL б параметр соответствует точке перегиба на шкале способностей, как указано выше. В случае модели 3PL перегиб соответствует 1 + c / 2, где c - нижняя асимптота (обсуждается ниже). Теоретически значения сложности могут варьироваться от -∞ до + ∞; однако на практике они редко превышают ± 3. Более высокие значения указывают на более сложные тестовые задания. Товары с низким показателем б параметры - это простые тестовые задания.[21] Другой оцениваемый параметр - это параметр дискриминации, обозначенный а . Этот параметр относится к способности предмета различать людей. В а Параметр оценивается в моделях 2PL и 3PL. В случае модели 1PL этот параметр должен быть одинаковым между группами. Что касается ICC, а параметр - наклон точки перегиба. Как упоминалось ранее, наклон максимален в точке перегиба. В а параметр, аналогичный б параметр, может принимать значения от -∞ до + ∞; однако типичные значения меньше 2. В этом случае более высокое значение указывает на большую дискриминацию между людьми.[22] Модель 3PL имеет дополнительный параметр, называемый угадывать или параметр псевдошанс и обозначается c. Это соответствует более низкому асимптота что, по сути, дает возможность человеку правильно ответить на средний или сложный предмет, даже если у него низкие способности. Ценности для c диапазон от 0 до 1, однако обычно ниже 0,3.[23]При применении статистических процедур для оценки DIF, а и б параметры (различение и сложность) представляют особый интерес. Однако предположим, что использовалась модель 1PL, где а параметры должны быть одинаковыми для обеих групп, оставляя только оценку б параметры. После изучения ICC становится очевидным различие в б параметры для обеих групп. Используя метод, аналогичный T-тест Стьюдента следующий шаг - определить, является ли разница в сложности статистически значимой. При нулевой гипотезеЧАС0: bр = bжЛорд (1980) дает легко вычисляемую и нормально распределенный статистика теста.d = (bр - бж) / SE (bр - бж)В стандартная ошибка разницы между б параметры рассчитываются√ [SE (bр)]2 + √ [SE (bж)]2

Статистика Вальда

Однако чаще всего модель 2PL или 3PL более уместна, чем подгонка модели 1PL к данным, и, следовательно, оба а и б параметры должны быть проверены на DIF. Лорд (1980) предложил другой метод проверки различий как в а и б параметры, где c параметры должны быть одинаковыми для всех групп. Этот тест дает Статистика Вальда который следует распределению хи-квадрат. В этом случае проверяется нулевая гипотеза.ЧАС0: ар = аж и бр = bжВо-первых, 2 x 2 ковариационная матрица оценок параметров рассчитывается для каждой группы, которая представлена Sр и Sж для справочной и координационной групп. Эти ковариационные матрицы вычисляются путем инвертирования полученных информационных матриц. Затем различия между оцененными параметрами помещаются в вектор 2 x 1 и обозначаютсяV '= (aр - аж, бр - бж)Затем ковариационная матрица S оценивается суммированием Sр и SжИспользуя эту информацию, статистика Вальда рассчитывается следующим образом:χ2 = V'S−1Vкоторый оценивается в 2 степени свободы.

Тест отношения правдоподобия

В Тест отношения правдоподобия - еще один метод оценки DIF, основанный на IRT. Эта процедура включает сравнение соотношения двух моделей. Под моделью (Mc) параметры элемента должны быть равными или неизменными между эталонной и целевой группами. Под моделью (Mv) параметры элемента могут изменяться.[24] Функция правдоподобия при Mc обозначается (Lc), а функция правдоподобия при Mv обозначается (Lv). Элементы, которые должны быть равны, служат в качестве элементов привязки для этой процедуры, в то время как элементы, подозреваемые в DIF, могут свободно меняться. Используя элементы привязки и позволяя изменять остальные параметры элемента, можно одновременно оценивать несколько элементов на предмет DIF.[25] Однако, если отношение правдоподобия указывает на потенциальную DIF, анализ отдельных элементов будет уместным, чтобы определить, какие элементы, если не все, содержат DIF. Отношение правдоподобия двух моделей рассчитывается следующим образом:грамм2 = 2ln [Lv / Лc]В качестве альтернативы соотношение может быть выражено какграмм2 = -2ln [Lc / Лv]где Lv и яc переворачиваются, а затем умножаются на -2ln.G2 приблизительно соответствует распределению хи-квадрат, особенно для больших выборок. Следовательно, он оценивается по степеням свободы, которые соответствуют количеству ограничений, необходимых для получения модели с ограничениями из свободно меняющейся модели.[26] Например, если используется модель 2PL и обе а и б параметры могут изменяться в пределах Mv и эти же два параметра ограничены при Mc, то соотношение оценивается при 2 степенях свободы.

Логистическая регрессия

Логистическая регрессия подходы к обнаружению DIF предполагают проведение отдельного анализа для каждого элемента. Независимыми переменными, включенными в анализ, являются членство в группе, переменная соответствия способностей, обычно общая оценка, и термин взаимодействия между ними. Интересующая зависимая переменная - это вероятность или вероятность получения правильного ответа или одобрения элемента. Поскольку интересующий результат выражается в терминах вероятностей, оценка максимального правдоподобия это подходящая процедура.[27] Этот набор переменных затем может быть выражен следующим уравнением регрессии:

Y = β0 + β1M + β2G + β3MG

где β0 соответствует перехвату или вероятности ответа, когда M и G равны 0 с оставшимися βs соответствующие весовым коэффициентам для каждой независимой переменной. Первая независимая переменная, M, - это переменная соответствия, используемая для установления связи между людьми по способностям, в данном случае общая оценка за тест, аналогичная той, которая используется в процедуре Mantel-Haenszel. Переменная членства в группе обозначается G и в случае регрессии представлена ​​фиктивными кодированными переменными. Последний член MG соответствует взаимодействию между двумя вышеупомянутыми переменными. Для этой процедуры переменные вводятся иерархически. Следуя структуре уравнения регрессии, представленной выше, переменные вводятся в следующей последовательности: сопоставимая переменная M, группирующая переменная G и переменная взаимодействия MG. Определение DIF производится путем оценки полученной статистики хи-квадрат с 2 степенями свободы. Кроме того, проверяется значимость оценки параметров. По результатам логистической регрессии DIF будет указываться, если индивидуумы, соответствующие по способностям, имеют существенно разные вероятности ответа на элемент и, следовательно, разные кривые логистической регрессии. И наоборот, если кривые для обеих групп одинаковы, то элемент несмещен и, следовательно, DIF отсутствует. Что касается однородного и неоднородного DIF, если параметры перехватов и совпадающих переменных для обеих групп не равны, то имеется свидетельство однородного DIF. Однако, если есть ненулевой параметр взаимодействия, это указывает на неоднородность DIF.[28]

Соображения

Размер образца

Первое соображение относится к вопросам размера выборки, особенно в отношении контрольной и целевой групп. Перед любыми анализами обычно известна информация о количестве людей в каждой группе, например о количестве мужчин / женщин или членов этнических / расовых групп. Тем не менее, вопрос более тесно связан с тем, достаточно ли количества людей в группе для того, чтобы их хватило. статистическая мощность для идентификации DIF. В некоторых случаях, таких как этническая принадлежность, могут быть свидетельства неравных размеров групп, так что белые представляют гораздо большую групповую выборку, чем каждая отдельная представленная этническая группа. Следовательно, в таких случаях может оказаться целесообразным изменить или скорректировать данные так, чтобы группы, сравниваемые для DIF, фактически были равны или ближе по размеру. Фиктивное кодирование или перекодирование - обычная практика, используемая для корректировки различий в размерах контрольной и целевой группы. В этом случае все небелые этнические группы могут быть сгруппированы вместе, чтобы иметь относительно равный размер выборки для контрольной и целевой групп. Это позволило бы сравнить функционирование элементов "большинство / меньшинство". Если модификации не вносятся и выполняются процедуры DIF, может не хватить статистической мощности для определения DIF, даже если DIF существует между группами. Другая проблема, относящаяся к размеру выборки, напрямую связана со статистической процедурой, используемой для обнаружения DIF. Помимо соображений относительно размера выборки контрольной и целевой групп, должны соблюдаться определенные характеристики самой выборки, чтобы соответствовать предположениям каждого статистического теста, используемого при обнаружении DIF. Например, использование подходов IRT может потребовать больших выборок, чем требуется для процедуры Mantel-Haenszel. Это важно, так как исследование размера группы может подтолкнуть к использованию одной процедуры вместо другой. В рамках подхода логистической регрессии усиленные значения и выбросы вызывают особую озабоченность и должны быть проверены до обнаружения DIF. Кроме того, как и при любом анализе, должны выполняться допущения статистических тестов. Некоторые процедуры более устойчивы к незначительным нарушениям, а другие - в меньшей степени. Таким образом, необходимо изучить характер распределения выборочных ответов до внедрения любых процедур DIF.

Предметы

Необходимо учитывать определение количества элементов, используемых для обнаружения DIF. Не существует стандарта относительно того, сколько элементов следует использовать для обнаружения DIF, поскольку это меняется от исследования к исследованию. В некоторых случаях может быть целесообразно проверить все элементы на DIF, тогда как в других это может быть необязательно. Если только определенные элементы подозреваются в DIF при адекватном обосновании, тогда может быть более целесообразным тестировать эти элементы, а не весь набор. Однако часто бывает трудно просто предположить, какие элементы могут быть проблемными. По этой причине часто рекомендуется одновременно проверять все тестовые задания на предмет DIF. Это предоставит информацию обо всех элементах, пролив свет на проблемные элементы, а также на те, которые работают одинаково как для справочной, так и для целевой группы. Что касается статистических тестов, некоторые процедуры, такие как тестирование отношения IRT-правдоподобия, требуют использования элементов привязки. Некоторые элементы должны быть одинаковыми в группах, в то время как элементы с подозрением на DIF могут свободно меняться. В этом случае только подмножество будет идентифицировано как элементы DIF, а остальные будут служить группой сравнения для обнаружения DIF. После того, как элементы DIF идентифицированы, элементы привязки также можно проанализировать, ограничив исходные элементы DIF и позволив исходным элементам привязки свободно варьироваться. Таким образом, кажется, что тестирование всех элементов одновременно может быть более эффективной процедурой. Однако, как уже отмечалось, в зависимости от реализованной процедуры используются разные методы выбора элементов DIF. Помимо определения количества элементов, используемых при обнаружении DIF, дополнительное значение имеет определение количества элементов во всем тесте или самом измерении. Типичная рекомендация, как отмечает Zumbo (1999), - иметь минимум 20 элементов. Обоснование минимум 20 пунктов напрямую связано с формированием критериев соответствия. Как отмечалось в предыдущих разделах, общий балл за тест обычно используется как метод подбора людей по способностям. Общий балл теста обычно делится на 3-5 уровней способностей (k), которые затем используются для сопоставления людей по способностям до процедур анализа DIF. Использование минимум 20 заданий позволяет увеличить разброс в распределении баллов, что приводит к более значимым группам уровней способностей. Хотя психометрические свойства инструмента должны быть оценены перед использованием, важно, чтобы срок действия и надежность инструмента быть адекватным. Тестовые задания должны точно соответствовать интересующей конструкции, чтобы вывести значимые группы уровней способностей. Конечно, не стоит завышать коэффициенты надежности, просто добавляя лишние элементы. Ключевым моментом является наличие действительной и надежной меры с достаточным количеством элементов для создания значимых групп соответствия. Gadermann et al. (2012),[29] Ревелль и Зинбарг (2009),[30] и Джон и Сото (2007)[31] предлагают больше информации о современных подходах к структурной проверке и более точных и подходящих методах оценки надежности.

Статистика против рассуждений

Как и все психологическое исследование и психометрическая оценка, статистика играют жизненно важную роль, но ни в коем случае не должны быть единственной основой для принятия решений и выводов. Обоснованное суждение имеет решающее значение при оценке элементов для DIF. Например, в зависимости от статистической процедуры, используемой для обнаружения DIF, могут быть получены разные результаты.Некоторые процедуры более точны, а другие менее точны. Например, процедура Mantel-Haenszel требует, чтобы исследователь построил уровни способностей на основе общих результатов тестов, тогда как IRT более эффективно распределяет людей по латентной характеристике или континууму способностей. Таким образом, одна процедура может указывать DIF для определенных элементов, а другие - нет. Другая проблема заключается в том, что иногда может отображаться DIF, но нет четкой причины, по которой существует DIF. Здесь в игру вступает аргументированное суждение. Чтобы извлечь смысл из анализа DIF, исследователь должен руководствоваться здравым смыслом. Недостаточно сообщить, что элементы функционируют по-разному для групп, должна быть теоретическая причина, почему это происходит. Кроме того, свидетельство DIF не означает, что тест прямо несправедлив. В исследованиях DIF часто выявляются некоторые элементы, предполагающие DIF. Это может быть указанием на проблемные элементы, которые необходимо пересмотреть или опустить, и не обязательно указанием на несправедливый тест. Следовательно, DIF-анализ можно считать полезным инструментом для анализа заданий, но он более эффективен в сочетании с теоретическими рассуждениями.

Статистическое программное обеспечение

Ниже приведены общие статистические программы, способные выполнять описанные здесь процедуры. Нажав на список статистических пакетов, вы будете направлены к исчерпывающему списку программного обеспечения для статистики с открытым исходным кодом, общедоступного, бесплатного и проприетарного программного обеспечения.Процедура Мантеля-Хензеля

  • SPSS
  • SAS
  • Stata
  • R (например, 'difR'[32] упаковка)
  • Systat
  • Лертап 5

Процедуры на основе IRT

  • БИЛОГ-МГ
  • МУЛЬТИЛОГ
  • ПАРСКАЛЬ
  • ТЕСТФАКТ
  • EQSIRT
  • R (например, 'difR'[32] или "мирт"[33] упаковка)
  • ИРТПРО

Логистическая регрессия

  • SPSS
  • SAS
  • Stata
  • R (например, 'difR'[32] упаковка)
  • Systat

Смотрите также

Рекомендации

  1. ^ Национальный совет по измерениям в образовании http://www.ncme.org/ncme/NCME/Resource_Center/Glossary/NCME/Resource_Center/Glossary1.aspx?hkey=4bb87415-44dc-4088-9ed9-e8515326a061#anchorD В архиве 2017-07-22 в Wayback Machine
  2. ^ Зумбо, Б.Д. (2007). Три поколения анализа дифференциального функционирования предметов (DIF): рассмотрение того, где он был, где он сейчас и куда он движется. Ежеквартальная оценка языка, 4, 223–233.
  3. ^ Камилли, Г. (2006). Справедливость проверки: В Р. Л. (Ред.), Образовательное измерение (4-е изд., С. 220–256). Вестпорт, Коннектикут: Американский совет по образованию.
  4. ^ Холланд, П. В., и Вайнер, Х. (1993). Функционирование дифференциального элемента. Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум.
  5. ^ Остерлинд, С. Дж. И Эверсон, Х. Т. (2009). Функционирование дифференциального элемента. Таузенд-Оукс, Калифорния: Sage Publishing.
  6. ^ Акерман, Т. (1992). Дидактическое объяснение предвзятости, влияния и валидности задания с многомерной точки зрения. Журнал педагогических измерений, 29, 674–691.
  7. ^ Лорд, Ф. М. (1980). Применение теории отклика элемента к практическим задачам тестирования. Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум.
  8. ^ Миллсап Р. Э. и Эверсон Х. Т. (1993). Методологический обзор: статистические подходы к оценке систематической ошибки измерения. Прикладное психологическое измерение, 17 (4), 297–334.
  9. ^ Уокер, К. (2011). Что такое DIF? Почему дифференциальный анализ функционирования элементов является важной частью разработки и проверки инструментов. Журнал психообразовательной оценки, 29, 364–376
  10. ^ Мелленберг, Дж. Дж. (1982). Модели таблиц непредвиденных обстоятельств для оценки систематической ошибки элемента. Журнал статистики образования, 7, 105–118.
  11. ^ Уокер, К. М., Беретвас, С. Н., Акерман, Т. А. (2001). Исследование переменных условий, используемых в компьютерном адаптивном тестировании для DIF. Прикладные измерения в образовании, 14, 3–16.
  12. ^ Mantel, N., & Haenszel, W. (1959). Статистические аспекты анализа данных ретроспективных исследований болезни. Журнал Национального института рака, 22, 719–748.
  13. ^ Мараскулио, Л. А., и Слотер, Р. Е. (1981). Статистические процедуры для определения возможных источников систематической ошибки, основанной на статистике 2 x 2. Журнал педагогических измерений, 18, 229–248.
  14. ^ Холланд, П. В., и Тайер, Д. Т. (1988). Дифференциальные характеристики изделий и процедура Мантеля-Хензеля. В H. Wainer & H. I. Braun (Eds.), Срок действия теста (стр. 129–145). Хиллсдейл, Нью-Джерси: Эрлбаум.
  15. ^ Доранс, Н. Дж., И Холланд, П. В. (1993). Обнаружение и описание DIF: Mantel-Haenszel и стандартизация. В P. W. Holland & H. Wainer (Eds.), Функционирование дифференциального элемента (стр. 35–66). Хиллсдейл, Нью-Джерси: Эрлбаум.
  16. ^ Стейнберг, Л., и Тиссен, Д. (2006). Использование размеров эффекта для отчетов об исследованиях: примеры использования теории ответа элемента для анализа различного функционирования элемента. Психологические методы, 11 (4), 402–415.
  17. ^ Камилли, Г., и Шепард, Л. (1994). Методы выявления предвзятых тестовых заданий. Таузенд-Оукс, Калифорния: Сейдж.
  18. ^ Райз, С. П., и Эйнсворт, А. Т., и Хэвиленд, М. Г. (2005). Теория ответа на предмет: основы, применения и перспективы в психологических исследованиях. Современные направления психологической науки, 14, 95–101.
  19. ^ Эделен, М. О., Рив, Б. Б. (2007). Применение теории ответов на вопросы (IRT) для разработки, оценки и уточнения анкет. Исследование качества жизни, 16, 5–18.
  20. ^ ДеМарс, К. (2010). Теория отклика предмета. Нью-Йорк: Oxford Press.
  21. ^ Харрис, Д. (1989). Сравнение 1-, 2-, 3-параметрических моделей IRT. Образовательные измерения: проблемы и практика, 8, 35–41.
  22. ^ Бейкер, Ф. Б. (2001). Основы теории ответов на вопросы. Информационный центр ERIC по оценке и оценке.
  23. ^ Бирнбаум, А. (1968). Некоторые модели скрытых черт и их использование для определения способностей испытуемого. Часть 5 в Ф. М. Лорд и М. Р. Новик. Статистические теории результатов психологических тестов. Ридинг, Массачусетс: Эддисон-Уэсли
  24. ^ Тиссен, Д., Стейнберг, Л., Джеррард, М. (1986). Помимо групповых различий: концепция предвзятости. Психологический бюллетень, 99, 118–128.
  25. ^ ИРТПРО: Руководство пользователя. (2011). Линкольнвуд, Иллинойс: Scientific Software International, Inc.
  26. ^ Тиссен Д., Стейнберг Л. и Вайнер Х. (1993). Обнаружение дифференциального функционирования объекта с использованием параметров моделей реакции объекта. В P. W. Holland and & H. Wainer (Eds.), Функционирование дифференциального элемента(стр. 67–113). Хиллсдейл, Нью-Джерси: Лоуренс Эрлбаум.
  27. ^ Бок, Р. Д. (1975). Многомерные статистические методы. Нью-Йорк: Макгроу-Хилл.
  28. ^ Сваминатан Х. и Роджерс Х. Дж. (1990). Обнаружение дифференциального функционирования элемента с помощью процедур логистической регрессии. Журнал педагогических измерений, 27, 361–370.
  29. ^ Гадерманн, А., М., Гун, М., и Зумбо, Б. Д. (2012). Оценка порядковой надежности для данных ответов типа Лайкерта и порядковых элементов: концептуальное, эмпирическое и практическое руководство. Практическая оценка, исследования и оценка, 17 (3), 1–13.
  30. ^ Ревелль, В. и Зинбарг, Р. Э. (2009). Коэффициенты альфа, бета, омега и GLB: комментарии к Sijtsma. Психометрика, 74 (1), 145–154.
  31. ^ Джон, О. П., и Сото, К. Дж. (2007). Важность достоверности: надежность и процесс проверки конструкции. В Р. В. Робинсе, Р. К. Фрейли и Р. Ф. Крюгере (ред.), Справочник по методам исследования психологии личности (стр. 461–494). Нью-Йорк, Нью-Йорк: Издательство Кембриджского университета.
  32. ^ а б c Магис, Давид; Беланд, Себастьян; Туэрлинкс, Фрэнсис; Де Бок, Пол (2010). «Общая структура и пакет R для обнаружения функционирования дихотомических дифференциальных элементов». Методы исследования поведения. 42 (3): 847–862. Дои:10.3758 / BRM.42.3.847.
  33. ^ Чалмерс, Р. П. (2012). "mirt: Пакет теории многомерного ответа для среды R". Журнал статистического программного обеспечения. 48 (6): 1–29.