Кто ввел понятие валидность. Надежность и валидность теста - это что такое? Валидность в психологии

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до сих пор представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает».

Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называетсявалидизацией.

Валидность в первом ее понимании имеет отношение к самой методике, т.е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией . Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это -прагматическая валидизация.

Обобщая, можно сказать следующее:

при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что «нечто», измеряемое методикой, имеет связь с определенными областями практики.

Если опять обратиться к истории развития тестологии, то можно выделить такой период (20-30-е гг.), когда научное содержание тестов и их теоретический «багаж» интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Поэтому на ранних стадиях развития тестологии, когда концепция валидности только складывалась, бытовало интуитивное представление о том, что именно данный тест измеряет:

методика называлась валидной, так как то, что она измеряет, просто «очевидно»;

доказательство валидности основывалось на уверенности исследователя в том, что его метод позволяет «понять испытуемого»;

методика рассматривалась как валидная (т. е. принималось утверждение, что такой-то тест измеряет такое-то качество) только потому, что теория, на основании которой строилась методика, «очень хорошая».

Принятие на веру голословных утверждений о валидности методики не могло продолжаться длительное время. Первые проявления действительно научной критики развенчали такой подход: начались поиски научно обоснованных доказательств.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомендациям. Нельзя было точно назвать те особенности, качества, которые тесты выявляли. Б. М. Теплов, анализируя тесты того периода, назвал их «слепыми пробами».

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. не только в США, но и в других странах. Теоретическая слабость эмпирических методов валидизации не могла не вызвать критики со стороны тех ученых, которые в разработке тестов призывали опираться не только на «голую» эмпирику и практику, но и на теоретическую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-прагматическая оценка валидности методик воспринимается как наиболее продуктивная.

В по­нятие валидности входит большое количество са­мой разнообразной информации о тесте. В целом она описывает сферу при­менения методики и отражает уровень обоснованности результатов измерения. Различные категории этих сведений и способы их получения образуют различные типы валидности. Основными типами считаются содержательная валидность, конструктная валидность и критериаль­ная валидность. Классификация типов валидности в достаточной мере условна, так как нередко для различ­ных критериев валидности применяются общие ме­тоды определения, а с другой стороны, одни и те же исходные данные могут ин­терпретироваться с точки зрения различных ти­пов валидности. На рис. 2 приведена примерная схе­ма, отражающая виды и связи валидности.

Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее. Не вдаваясь пока в конкретные детали, остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т. п.), и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности диагностической методики. Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Теоретическая валидность складывается из содержательной и конструктной.

Валидность по содержанию заклады­вается в тест уже при подборе заданий будущей методики. В содержательной валидности реализуется синтетический подход в анализе элементного состава содержания самого теста, а не совокупности внешних критериев валидизации. Первым этапом валидизации является определение круга ис­следуемых свойств и видов деятельности, расчленение сложной способности или деятельности на элементы. На втором этапе разрабатывают собственно модель тестовой деятельности на основе наибо­лее важных элементов реальной деятель­ности. Наконец, на последнем этапе про­водят анализ степени соответствия разра­ботанной модели реальной деятельности, проверку соответствия пропорций представленности элементов в заданиях теста и в реальной деятельности. Так, для тес­тов достижений по отдельным предме­там разработке конкретного содержания тестовых задач предшествуют полная си­стематическая проверка соответствую­щих учебников и учебных программ, а также консультации со специалистами по данному предмету. На основе собранной таким путем информации составляют спе­цификацию теста, где указывают тестиру­емые области содержания (темы), задачи (процессы) обучения, а также относи­тельное значение каждой темы и процес­са для достижения целей обучения на дан­ном этапе. Конкретные задания оценива­ются экспертами по принципу их близос­ти к реальным требованиям (логическая валидность ). Эксперты вы­носят суждения о том, охватывает ли тест репрезентативную выборку конкретных навыков и знаний исследуемой области обучения. Широкое использование экспертных оценок сближает содержательную валидность с процедурой опре­деления валидности критериальной. Однако существенным различием между этими типами валидности является то, что экспертные оценки при анализе содер­жания являются критерием самого теста, в то время как при критериальной валидизации они относятся к испытуемым из вы­борки стандартизации.

Рис. 2. Основные виды валидности

Наряду с тестами достижений содержательная валидность является одной из важнейших форм вали­дизации тестов критериально-ориен­тированных, а также методик, предна­значенных для профотбора, анализа ус­пешности овладения профессией. Для валидизации опросников личнос­тных и тестов интеллекта критерии содержательной валидности имеют ограниченное применение и используются лишь на начальных стадиях составления теста.

Очевидная валидность -представление о тесте, сфере его применения, результативности и прогностической цен­ности, которое возникает у испытуемого или другого лица, не располагающего спе­циальными сведениями о характере ис­пользования и целях методики. Очевидная валидность не является компонентом объективно уста­навливаемой валидности. Вместе с тем высокая очевидная валидность в большинстве случаев яв­ляется весьма желательной. Она выступа­ет в качестве фактора, побуждающего ис­пытуемых к обследованию, способствует более серьезному и ответственному отно­шению к работе по выполнению заданий теста и к заключениям, формулируемым психологом. Достаточный уровень очевидной валидности особенно значим для методик обследования взрос­лых.

Конструктная валидность - один из основных типов валидности, от­ражающий степень репрезентации иссле­дуемого психологического конструкта в результатах теста. В качестве конструкта могут выступать практический или вер­бальный интеллект, эмоциональная неус­тойчивость, интроверсия, понимание ре­чи, переключаемость внимания и т. д. Иначе говоря, конструктная валидность определяет область те­оретической структуры психологических явлений, измеряемых тестом.

Поскольку проявления таких конст­руктов, как, например, интеллект в деятельно­сти человека многообразны и неоднознач­ны с точки зрения их выделения, процедура уста­новления конструктная валидность по сравнению с валиднос­тью критериальной или валидностью содержательной более сложна.

Среди конкретных методов характери­стики конструктной валидности в первую очередь необходимо назвать сопоставление исследуемого на предмет конструктной валидности теста с другими методиками, конструктное содержание которых известно. Наличие корреляции между новым и аналогичным по конструкту тестом ука­зывает на то, что разрабатываемый тест «измеряет» примерно ту же сферу поведе­ния, способность, личностное качество, что и эталонная методика.

При анализе конструктной валидности методики обычно формулируют ряд гипотез о том, как будет коррелировать разрабатываемый тест с широким кругом других тестов, направ­ленных на конструкты, находящиеся в те­оретически известной или предполагае­мой связи с исследуемыми. При этом конструктная валидность характеризуется не только связями про­веряемого теста с близкородственными показателями, но и с теми, где, исходя из гипотезы, значимых связей наблюдаться не должно. Эти подходы определяются как конвергентная (проверка степени близости прямой или обратной связи) и дискриминантная (установление отсут­ствия связи) валидизации. Подтвержде­ние совокупности теоретически ожидае­мых связей составляет важный круг све­дений конструктной валидности. В англоязычной психодиагностике такое операциональное определе­ние конструктной валидности обозначается как «предполагае­мая валидность» (assumed validity).

Инкрементная валидность (англ. incremental - приращение, при­быль) - один из компонентов критери­альной валидности, прогностической валидности теста, отражающий практи­ческую ценность методики при проведе­нии отбора. Инкрементная валидность может быть выражена количественно при помощи коэффициента валидности.

Показатель инкрементной валидности указывает на роль те­ста в улучшении отбора лиц для реальной деятельности, степень улучшения резуль­тативности процедуры отбора по сравне­нию с традиционной, основанной на ана­лизе объективных сведений, документов, бесед, приеме с испытательным сроком и т. д.

Прямое отношение к характеристике конструктной валидности имеет факторный анализ, позволя­ющий строго статистически проанализи­ровать структуру связей показателей ис­следуемого теста с другими известными и латентными факторами, выявить общие и специфические для группы сопоставляе­мых тестов факторы, степень их представ-ленности в результатах, т. е. определить факторный состав и факторные нагрузки результата теста. Исключительная важ­ность такой процедуры является основа­нием для выделения ее в особый вид конструктной валидности - факторную валидность.

Важным аспектом конструктной валидности является внутренняя согласованность, отражаю­щая то, насколько определенные пункты (задания, вопросы), составляющие мате­риал теста, подчинены основному направ­лению теста как целого, ориентированы на изучение одних и тех же конструктов. Анализ внутренней согласованности осу­ществляется путем коррелирования отве­тов на каждое задание с общим результа­том теста. Следует отметить, что крите­рий внутренней согласованности указы­вает лишь на меру связи всего содержа­ния теста с измеряемым конструктом, да­вая лишь косвенную информацию о при­роде измеряемого свойства.

При определении конструктной валидности важное место принадлежит изучению динамики измеря­емого конструкта. При этом мы можем опираться на гипотезы о его возрастном развитии, влиянии тренировок, обучения, освоения профессии и т. д. Одним из та­ких подходов является применение крите­рия возрастной дифференциации (ва­лидность по возрастной дифференциа­ции ). Характери­стика валидности по конструкту здесь за­ключается в определении соответствия результатов теста теоретически ожидае­мым и практически наблюдаемым возрастным изменениям данного конструкта или свойства. Наибольшее значение валидности по возрастной дифференциации имеет для характеристики валидности тестов, направленных на измерение психологи­ческих свойств, функций, отличающихся относительно быстрым изменением под воздействием индивидуального опыта, вы­раженной иерархичностью ступеней раз­вития (осведомленность, навыки, интел­лектуальные операции и др.). Критерий валидности по возрастной дифференциации обычно не находит широкого применения при валидизации методик, предназначенных для психологи­ческой диагностики функций, свойств, не обнаруживающих четкой и однознач­ной тенденции к возрастным изменениям. К их числу, в частности, относятся мето­дики диагностики личности.

В комплекс сведений о конструктной валидности методики входят также данные, относящиеся к сфе­ре критериальной и содержательной валидности. Так, критерии, используемые при валидизации, несут информацию, по­зволяющую раскрыть область поведения, качества, представленные в тесте в виде конструкта. Для характеристики конструктной валидности не­обходимы связь с практическими форма­ми деятельности, достоверность прогноза реального поведения. Однако конструктная валидность являет­ся качественно более высоким и комплек­сным уровнем описания теста, характери­зуя область измеряемого поведения в ши­роких психологических понятиях. Благо­даря данным конструктной валидности мы можем с психологи­ческих позиций закономерно объяснить результаты теста и их дисперсию, обосно­вать диагноз, введя измеряемое свойство в систему психологических категорий, прогнозировать поведение в более широ­ких пределах, чем это задается областью деятельности, для которой определялась содержательная валидность.

Таким образом, провести теоретическую валидизацию методики - это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять. Для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Такая проверка показывает, насколько замысел автора и результаты методики совпадают.

Не столь сложно провести теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и аналогичной, уже проверенной методикой указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная. Такой прием особенно часто применяется в дифференциальной психофизиологии при создании методик диагностики основных свойств нервной системы человека.

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с такой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации об изучаемом свойстве, анализ теоретических предпосылок и экспериментальных данных, значительный опыт работы с методикой позволяют раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления об ее сущности.

Важно помнить, что если доказана теоретическая валидность, то интерпретация полученных показателей становится более ясной и однозначной, а название методики соответствует сфере ее применения.

Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой имеет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в определенных видах деятельности. Ей придают большое значение особенно там, где встает вопрос отбора.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимыйвнешний критерий - показатель проявления изучаемого свойства в повседневной жизни. Такими критериями могут быть:

успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта);

производственные достижения (для методик профессиональной направленности);

эффективность реальной деятельности - рисование, моделирование и т.д. (для тестов специальных способностей);

субъективные оценки (для тестов личности).

Американские исследователи Д. Тиффин и Е. Маккормик, проведя анализ используемых для доказательства валидности внешних критериев, выделили четыре их типа:

критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса. давление крови, электросопротивление кожи, симптомы утомления и т. д.);

критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

он должен быть релевантным;

свободным от помех (контаминации);

надежным.

Под релевантностью имеется в виду смысловое соответствие диагностического инструмента независимому жизненно важному критерию. Другими словами, должна быть уверенность в том, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний критерий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородными по психологической сущности.

Если, например, тест измеряет индивидуальные особенности мышления, умение выполнять логические действия с определенными объектами, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятельности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вытекает существование нескольких критериев выполнения профессиональной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффективностью в целом. Необходимо найти такой критерий, который по характеру выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он измеряемому свойству или нет, то сопоставление с ним результатов психодиагностической методики становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оценку валидности методики.

Требования свободы от помех (контаминации) вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут привнести помехи, «загрязнить» применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно статистический характер. Так, например, производительность следует брать не по абсолютным значениям, а в отношении к средней производительности рабочих, имеющих аналогичные условия труда.

Когда говорят, что критерий должен иметь статистически достоверную надежность , это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии много методик дисквалифицировано только потому, что не удалось подыскать подходящего критерия для их проверки. В частности, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Существует несколько видов критериальной валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия. Однако чаще всего называются следующие:

Валидность по одновременности (текущая валидность , или диагностическая валидность) определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени: успеваемость в период испытания, производительность в этот же период и т. д. С ними сопоставляют результаты успешности по тесту.

«Предсказывающая» валидность (другое название - прогностическая валидность ). Определяется также по внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-либо оценках способность человека к тому виду деятельности, для которой он оценивался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, - применять его очень трудно. Точность диагноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

Ретроспективная валидность . Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т. д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Оценка валидности методик может носить количественный и качественный характер.

Для вычисления количественного показателя - коэффициента валидности - сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности? Практика показала, что их не должно быть меньше 50, однако лучше всего более 200. Часто возникает вопрос, какой должна быть величина коэффициента валидности, чтобы она считалась приемлемой? В общем, отмечается, что достаточно того, чтобы коэффициент валидности был статистически значим. Низким признается коэффициент валидности порядка 0,2-0,3, средним - 0,3-0,5 и высоким - свыше 0,6.

Но, как подчеркивают А. Анастази, К. М. Гуревич и др., не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорционален успеху в выполнении диагностической пробы. Позиция зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40 % решения теста. Более высокий показатель в тесте уже не имеет никакого значения для профессии.

Наглядный пример из монографии К. М. Гуревича: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью - это уже не имеет профессионального значения.

При таком соотношении показателей методики и внешнего критерия наиболее адекватным способом установления валидности может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так, еще на заре ХХ в. американский исследователь Ф. Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда,то есть высокий уровень их умственного развития мешал им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошли бы дисперсионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна статистическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидности методик используют другую модель - клинические оценки. Это не что иное, как качественное описание сущности изучаемого свойства . В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.

В психологической диагностике валидность - обязательная и наибо­лее важная часть сведений о методике, включающая:

данные о степени согласованности ре­зультатов теста с другими сведениями об исследуемой личности, полученными из различных источников (теоретические ожидания, наблюдение, экспертные оцен­ки, результаты других методик, достовер­ность которых установлена и т. д.),

суж­дение об обоснованности прогноза разви­тия исследуемого качества,

связь изучае­мой области поведения или особенности личности с определенными психологичес­кими конструктами.

конкретную направленность методики (контингент испытуемых по возрасту, уровню образования, социально-культур­ной принадлежности и т. д.) и

степень обоснованности выводов в конкретных условиях использования теста и т.д.

В сово­купности сведений, характеризующих валидность теста, содержится информация об адек­ватности применяемой модели деятельно­сти с точки зрения отражения в ней изучаемой пси­хологической особенности, о степени од­нородности заданий (субтестов), вклю­ченных в тест, их сопоставимости при ко­личественной оценке результатов теста в целом.

При приведении данных о валидности разработанной методики важно точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т. д.). Желательно также сообщать сведения о численности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользователям методики решить, насколько валиден этот прием для той группы, к которой он собирается его применять. Как и в случае с надежностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой - низкой. Поэтому, если исследователь планирует использовать методику на выборке испытуемых, существенно отличающейся от той, на которой проводилась проверка валидности, ему необходимо заново провести такую проверку. Приводимый в руководстве коэффициент валидности применим только к группам испытуемых, подобных тем, на которых он определялся.

Известны два пути создания психодиагностических методик: адаптация известных методик (зарубежных, устаревших, с иными целями) и разработка новых, оригинальных методик.

*Надежность и валидность теста - это характеристики соответствия исследования формальным критериям, определяющим качество и пригодность к применению на практике.

Что такое надежность

В ходе проверки надежности теста проводится оценка постоянства полученных результатов при повторном проведении испытания. Расхождения данных должны отсутствовать или же быть незначительными. В противном случае невозможно относиться к результатам теста с доверием.

Надежность теста - это критерий, который свидетельствует о Существенными считаются следующие свойства тестов:

• воспроизводимость результатов, полученных по итогам исследования;
• степень точности или соответствующих приборов;
• устойчивость результатов на протяжении определенного периода времени.

В трактовке надежности можно выделить следующие основные составляющие:

• надежность измерительного инструмента (а именно грамотности и объективности тестового задания), которая может быть оценена путем расчета соответствующего коэффициента;
• стабильность изучаемого признака на протяжении длительного периода времени, а также предсказуемость и плавность его колебаний;
• объективность результата (то есть его независимость от личных предпочтений исследователя).

Факторы надежности

На степень надежности может повлиять целый ряд негативных факторов, наиболее существенными из которых являются следующие:

• несовершенство методики (неверная или неточная инструкция, нечеткая формулировка заданий);
• временная нестабильность или постоянные колебания значений показателя, который подвергается исследованию;
• несоответствие обстановки, в которой проводятся первоначальные и повторные исследования;
• меняющееся поведение исследователя, а также нестабильность состояния испытуемого;
• субъективный подход при оценке результатов теста.

Способы оценки надежности теста

При определении надежности теста могут быть использованы следующие методики.

Метод повторного тестирования является одним из самых распространенных. Он позволяет установить степень корреляции между результатами исследований, а также временем, в которое они были проведены. Данная методика отличается простотой и эффективностью. Тем не менее у испытуемых, как правило, повторные исследования вызывают раздражение и негативные реакции.

• конструктивная валидность теста - это критерий, применяемый при оценке теста, имеющего иерархическую структуру (используется в процессе исследования сложных психологических явлений);
• валидность по критерию подразумевает сопоставление результатов тестирования с уровнем развития у испытуемого той или иной психологической характеристики;
• валидность по содержанию определяет соответствие методики изучаемому явлению, а также круг параметров, которые она охватывает;
• прогностическая валидность - это который позволяет оценить перспективное развитие параметра.

Типы критериев валидности

Валидность теста - это один из показателей, который позволяет оценить адекватность и пригодность методики для изучения того или иного явления. Можно выделить четыре основных критерия, которые могут повлиять на нее:

• критерий исполнителя (речь идет о квалификации и опыте исследователя);
• субъективные критерии (отношение испытуемого к тому или иному явлению, что отражается на конечном результате теста);
• физиологические критерии (состояние здоровья, усталость и прочие характеристики, которые могут оказать существенное влияние на конечный результат тестирования);
• критерий случайностей (имеет место в определении вероятности наступления того или иного события).

Критерий валидности представляет собой независимый источник данных о том или ином явлении (психологическом свойстве), исследование которого проводится посредством тестирования. До тех пор, пока не будет проведена проверка полученных результатов на соответствие критерию, о валидности судить нельзя.

Основные требования к критериям

Внешние критерии, которые влияют на показатель валидности теста, должны отвечать следующим основным требованиям:

• соответствие именно той сфере, в которой проводится исследование, релевантность, а также смысловая связь с диагностической моделью;
• отсутствие каких-либо помех или резких разрывов в выборке (суть состоит в том, что все участники эксперимента должны соответствовать заранее установленным параметрам и находиться в схожих условиях);
• исследуемый параметр должен быть надежным, постоянным и не подвергаться резким перепадам.

Способы установления валидности

Проверка валидности тестов может осуществляться несколькими способами.

Оценка очевидной валидности подразумевает проверку соответствия теста его предназначению.

Оценка конструктивной валидности проводится в том случае, когда для изучения определенного сложного показателя проводится ряд экспериментов. Она включает в себя:

• конвергентную валидизацию - проверку взаимосвязи оценок, полученных с использованием различных комплексных методик;
• дивергентную валидизацию, которая состоит в том, чтобы методика не подразумевала оценки посторонних показателей, не касающихся основного исследования.

Оценка прогностической валидности подразумевает установление возможности предвидения перспективного колебания изучаемого показателя.

Выводы

Валидность и надежность тестов - это взаимодополняемые показатели, которые дают наиболее полную оценку справедливости и значимости результатов исследований. Зачастую они определяются одновременно.

Надежность показывает, насколько результатам теста можно доверять. Имеется в виду их постоянство при каждом повторном проведении аналогичного испытания с одними и теми же участниками. Низкая степень надежности может говорить о намеренном искажении или безответственном подходе.

Понятие валидности теста связано с качественной стороной эксперимента. Речь идет о том, соответствует ли выбранный инструмент оценке того или иного психологического явления. Здесь могут быть применены как качественные показатели (теоретическая оценка), так и количественные (расчет соответствующих коэффициентов).

После надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: "Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает" .

Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой - какова ее действенность, эффективность, практическая полезность.

Не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Иными словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании (пригодна ли методика для измерения того, для чего она была создана) имеет отношение к сущности самой методики, т.е. это внутренняя валидность измерительного инструмента. Такая проверка называется теоретической валидизацией.

Валидность во втором понимании (какова действенность, эффективность, практическая полезность методики) относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

• - при теоретической валидизации исследователя интересует само свойство (конструкт), измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация
• - при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что "нечто", измеряемое методикой, имеет связь с определенными областями практики.

Теоретическая валидизация методики осуществляется путем доказательства ее конструктной валидности. Конструктная валидность, обоснованная Л. Кронбахом в 1955 г., характеризуется способностью методики к измерению такой черты, которая была обоснована теоретически (как теоретический конструкт). Когда сложно найти адекватный прагматический критерий, может быть выбрана ориентация на гипотезы, сформулированные на основе теоретических предположений об измеряемом свойстве. Подтверждение этих гипотез свидетельствует о теоретической обоснованности методики. Сначала необходимо насколько возможно полно, содержательно описать конструкт, для измерения которого она предназначена. Достигается это за счет формулирования гипотез о нем, предписывающих, с чем данный конструкт должен коррелировать, а с чем не должен. После этого данные гипотезы проверяются. Такой способ наиболее эффективен для валидизации личностных опросников, поскольку установление единственного критерия их обоснованности является затруднительным.

В качестве конструкта могут выступать интеллект, черты личности, мотивы, установки и т.д. Обращение к конструктной валидности необходимо в тех случаях, когда результаты диагностических измерений используются не просто для предсказания поведения, а для выводов о том, в какой степени испытуемые обладают определенной психологической характеристикой. При этом измеряемая психологическая характеристика не может быть отождествлена с какой-либо наблюдаемой особенностью поведения, а представляет собой теоретическую концепцию. Конструктная валидность имеет значение при разработке принципиально новых методик, для которых не определены внешние критерии валидности.

Таким образом, провести теоретическую валидизацию методики - это доказать ее конструктную валидность, т.е. установить, что методика измеряет именно тот конструкт (свойство, качество), который она по замыслу исследователя должна измерять. Так, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т.п.). Следовательно, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Такая проверка показывает, насколько замысел автора и результаты методики совпадают.

Чаще всего конструктная валидность методики определяется через ее внутреннюю согласованность, а также через конвергентную и дискриминантную валидность. Еще одним способом определения конструктной валидности является факторный анализ.

Внутренняя согласованность отражает то, насколько задания, вопросы, составляющие материал методики, подчинены основному направлению измеряемого как целого, ориентированы на изучение одного и того же явления. Анализ внутренней согласованности осуществляется путем коррелирования ответов на каждое задание с общим результатом методики. Так, если тест состоит из заданий, показавших значимую корреляцию с его общим баллом, то говорят, что тест обладает внутренней согласованностью, поскольку все его задания подчинены конструкту, представленному в тесте.

Критерием внутренней согласованности является также корреляция между суммарным баллом методики и результатами выполнения отдельных ее частей. Тесты, где в качестве конструкта выступает интеллект, всегда состоят из раздельно применяемых субтестов (таких, например, как осведомленность, аналогии, классификации, умозаключения и т.д.), из результатов которых складывается общий балл теста. Значимые корреляции между результатами каждого субтеста и общим баллом также свидетельствуют о внутренней согласованности всего теста.

Кроме того, для доказательства внутренней согласованности используются контрастные группы, которые формируются из испытуемых, показавших самые высокие и самые низкие суммарные результаты. Выполнение методики группой с высокими результатами сравнивается с выполнением группой с низкими результатами, и если первая группа справляется с заданиями лучше, чем вторая, методика признается внутренне согласованной.

Как подчеркивает А. Анастази, критерий внутренней согласованности методики - это существенная мера ее однородности. Так как этот показатель помогает охарактеризовать область поведения или свойство, выборочно проверяемое методикой, то степень ее однородности имеет отношение к конструктной валидности. Конечно, сама по себе внутренняя согласованность методики мало что может сказать о том, что она измеряет. Однако при наличии тщательно проработанных теоретических оснований создания методики, прочно обоснованной научной базы эта процедура подкрепляет теоретические представления о ее психологической сущности.

Другой способ определения конструктной валидности предполагает оценку методики по двум показателям, противоположным друг другу. Важно сопоставить показатели валидизируемой методики, с одной стороны, с методиками, имеющими тот же теоретический конструкт, и, с другой - с методиками, имеющими другое теоретическое основание. Для этого используется предложенная Д. Т. Кэмпбеллом и Д. В. Фиске процедура оценки конвергентной и дискриминантной валидности.

Конвергентная валидность (от лат. - сходиться к одному центру, конвертировать) - это заключение о подобии (изоморфизм - гомоморфизм) данного метода (методики, теста, меры) другому методу, предназначенному для тех же целей (конвергентному, сходному). Она выражается в требовании статистической зависимости диагностических показателей, если они направлены на измерение концептуально родственных психических свойств индивида.

Дискриминантная валидность (от лат. - разница, различие) - заключение об отличии одного метода (методики, теста, меры) от другого, теоретически отличающегося от первого. Она выражается в отсутствии статистической зависимости между диагностическими показателями, отражающими концептуально независимые свойства.

Конвергентная и дискриминантная валидности - это виды критериальной валидности. В эту категорию входят любые типы валидности, оцениваемые с использованием независимого признака, являющегося критерием оценки, сравнения .

Итак, процедура оценки конвергентной и дискриминантной валидности состоит в установлении одновременно как сходства, так и различия психологических феноменов, измеряемых новой методикой, с уже известными методиками. Она предполагает использование наряду с валидизируемой методикой специальной батареи контрольных методик, подобранной таким образом, чтобы в нее входили как методики, предположительно связанные с валидизируемой, так и не связанные с пей. Экспериментатор должен заранее предсказать, какие методики будут высоко коррелировать с валидизируемой, а корреляции с какими методиками будут низкими. В соответствии с этим различают конвергентную валидность (проверка степени близости прямой или обратной связи) и дискриминантную валидность (установление отсутствия связи). Методики, которые, но предположению, высоко коррелируют с валидизируемой, называются конвергирующими, а не коррелирующие - дискриминантными.

Подтверждение совокупности теоретически ожидаемых связей составляет важный круг сведений конструктной валидности. В англоязычной психодиагностике такое операциональное определение конструктной валидности обозначается как предполагаемая валидность (assumed validity).

Наличие корреляции между новой и аналогичной по конструкту методике, валидность которой ранее доказана, указывает на то, что разрабатываемая методика "измеряет" примерно то же психологическое качество, что и эталонная методика. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиагносты получают возможность использовать новый инструмент вместо старого. Такой прием особенно часто используется в дифференциальной психофизиологии при создании методик диагностики основных свойств нервной системы человека. Особое место в процедуре определения конструктной валидности занимает факторный анализ (факторная валидность). Он позволяет строго статистически проанализировать структуру связей показателей исследуемой методики, определить их факторный состав и факторные нагрузки, выявить скрытые признаки и внутренние закономерности их взаимосвязи.

Итак, при теоретической валидизации методики требуется применение разнообразных экспериментальных процедур, способствующих накоплению информации о диагностируемом конструкте. Если эти данные подтверждают гипотезу, то тем самым подтверждается психологическая концепция, положенная в основу методики, и способность методики служить инструментом измерения этой концепции. Чем убедительнее подтверждение, тем определеннее можно говорить о валидности методики по отношению к психологической концепции, положенной в ее основу.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т.е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то интерпретация полученных показателей становится более ясной и однозначной, а название методики соответствует сфере ее применения.

Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой имеет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в определенных видах деятельности. Ей придают большое значение особенно там, где встает вопрос отбора.

Если обратиться к истории развития тестологии , то можно выделить такой период (1920-1930-е гг.), когда научное содержание тестов и их теоретический "багаж" интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомендациям. Нельзя было точно назвать те особенности, качества, которые выявляли, например, тесты. Б. М. Теплов, анализируя тесты того периода, назвал их "слепыми пробами" .

Такой подход к проблеме валидности методик был характерен вплоть до начала 1950-х гг. не только для США, но и для других стран. Теоретическая слабость эмпирических методов валидизации не могла не вызвать критики со стороны тех ученых, которые в разработке методик призывали опираться не только на "голую" эмпирику и практику, но и на теоретическую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-прагматическая оценка валидности методик воспринимается как наиболее продуктивная.

Для проведения прагматической валидизации методики, т.е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий - показатель, обладающий непосредственной ценностью для определенной области практики. Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности - рисование, моделирование и т.д. (для тестов специальных способностей), и субъективные оценки (для тестов личности).

Американские исследователи Д. Тиффин и Е. Маккормик, проведя анализ используемых для доказательства валидности внешних критериев, выделяют четыре их типа :

• 1) критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т.п.);
• 2) субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);
• 3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);
• 4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям: он должен быть релевантным, свободным от помех (контаминации) и надежным.

Под релевантностью имеется в виду смысловое соответствие диагностического инструмента независимому жизненно важному критерию. Другими словами, должна быть уверенность в том, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний критерий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородными по психологической сущности. Если, например, тест измеряет индивидуальные особенности мышления, умение выполнять логические действия с определенными объектами, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятельности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вытекает существование нескольких критериев выполнения профессиональной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффективностью в целом. Необходимо найти такой критерий, который по характеру выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он измеряемому свойству или нет, то сопоставление с ним результатов психодиагностической методики становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оценку валидности методики.

Требования свободы от помех (контаминации) вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут привнести помехи, "загрязнить" применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно статистический характер. Так, производительность следует брать нс по абсолютным значениям, а в отношении к средней производительности рабочих, работающих в аналогичных условиях.

Когда говорят, что критерий должен иметь статистически достоверную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии много методик дисквалифицировано только потому, что не удалось найти подходящего критерия для их проверки. Например, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка прагматической валидности методик может носить количественный и качественный характер.

Для вычисления количественного показателя - коэффициента валидности - сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию, тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности? Практика показала, что их не должно быть меньше 50, однако лучше всего более 200. Часто возникает вопрос, какой должна быть величина коэффициента валидности, чтобы она считалась приемлемой? В целом отмечается, что достаточно того, чтобы коэффициент валидности был статистически значим. Низким признается коэффициент валидности порядка 0,20 0,30, средним - 0,30- 0,50 и высоким - свыше 0,60.

Но, как подчеркивают А. Анастази и К. М. Гуревич и другие авторы, не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорционален успеху в выполнении диагностической методики. Позиция зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40% решения теста. Дальнейший успех в тесте уже не имеет никакого значения для профессии. Наглядный пример из монографии К. М. Гуревича: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью - это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наиболее адекватным способом установления валидности может быть критерий различий.

Как показал опыт работы зарубежных тестологов, ни одна статистическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидности методик используют другую модель - клинические оценки. Это не что иное, как качественное описание сущности изучаемого свойства. В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.

В современной психометрии разработаны десятки разнообразных способов проверки валидности диагностических методик, обусловленных их особенностями, а также временным статусом внешнего критерия . Однако чаще всего называются следующие способы.

• 1. Валидность "по содержанию" означает, что методика является валидной по мнению специалистов. Этот прием используется, например, в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала? На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность "по содержанию" также подходит критериально-ориентированным тестам, поскольку в них используются экспертные методы. Специфичным является объект экспертизы - содержание теста. Эксперты должны оценить содержание заданий теста по их соответствию психическому свойству, объявляемому в качестве содержания валидизируемого теста. С этой целью экспертам предъявляются спецификация к тесту и список заданий. Если конкретное задание полностью соответствует спецификации, то эксперт обозначает его как соответствующее содержанию теста. Иногда этот прием называют логической валидностью или "валидностью по определению". .
• 2. Валидность "по одновременности", или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени: успеваемость в период испытания, производительность в этот же период и т.д. С ними сопоставляют результаты успешности по тесту.
• 3. "Предсказывающая" валидность (другое название - "прогностическая" валидность). Определяется также по внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность диагноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.
• 4. "Ретроспективная" валидность. Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

При приведении данных о валидности разработанной методики важно точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т.д.). Желательно также сообщать сведения о численности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользующемуся методикой психологу решить, насколько валиден этот прием для той группы, к которой он собирается его применять. Как и в случае с надежностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой - низкой. Поэтому если исследователь планирует использовать методику на выборке испытуемых, существенно отличающейся от той, на которой проводилась проверка валидности, ему необходимо заново провести такую проверку. Приводимый в руководстве коэффициент валидности применим только к группам испытуемых, подобным тем, на которых он определялся.

Анастази А. Психологическое тестирование: в 2 т. М, 1982.

Гуревич К. М. Указ. соч.

Анастази А. Психологическое тестирование: в 2 т. М., 1982 ; Бурлачук Л. Ф., Морозов С. М. Словарь-справочник но психологической диагностике. Киев. 1989; Гуревич К. М. Указ. соч.; Общая психодиагностика / под ред. Л. Л. Бодалева, В. В. Столица.

Валидность

Одна из важнейших характеристик психодиагностических методик и тестов, один из основных критериев их качества. Это понятие близко к понятию достоверности, но не вполне тождественно.

Проблема валидности возникает в ходе разработки и практического применения теста или методики, когда требуется установить соответствие между степенью выраженности интересующего свойства личности и методом его измерения. Валидность указывает, что именно тест или методика измеряет и насколько хорошо это делает; чем они валиднее, тем лучше отображается в них то качество (), ради измерения коего они создавались. Количественно валидность может выражаться через корреляции результатов, полученных с помощью теста или методики, с другими показателями, - например, с успешностью выполнения соответственной деятельности. Валидность можно обосновать разными путями, чаще всего - комплексно. Применяются также дополнительные понятия валидности концептуальной, критериальной, конструктивной, и прочие виды валидности - со своими способами установления их уровня. Требование валидности весьма важно, и многие нарекания в адрес тестов или иных психодиагностических методик связаны с сомнительностью их валидности. Например, валидность измерения интеллекта зависит:

1 ) от определения понятия интеллекта, являющего ту или иную концепцию этого феномена;

2 ) от состава тестовых заданий, разрабатываемых согласно этой концепции;

3 ) от эмпирических критериев.

Разные концепции требуют различного состава заданий, поэтому важен вопрос валидности концептуальной. Чем больше задания соответствуют данной авторской концепции интеллекта, тем увереннее можно говорить о валидности концептуальной теста. Корреляция теста с эмпирическим критерием указывает на его возможную валидность по отношению к данному критерию. Определение валидности теста всегда требует постановки дополнительных вопросов: валидность для чего? для какой цели? по какому критерию? Итак, понятие валидности относится не только к тесту, но и к критерию оценки его качества. Чем выше коэффициент корреляции теста с критерием, тем выше валидность. Развитие анализа факторного позволило создавать тесты, валидные по отношению к идентифицируемому фактору. Только проверенные на валидность тесты можно использовать в ориентации профессиональной, отборе профессиональном, в исследованиях научных.

Словарь практического психолога. - М.: АСТ, Харвест . С. Ю. Головин . 1998 .

Валидность

Степень нашей уверенности в том, что тест, измерение или эксперимент действительно выполняет ту функцию, для которой они предназначены. Этот весьма общий термин поразному используется в психологии. В процессе эксперимента мы можем оценить:

1. Внутреннюю валидность: действительно ли наблюдаемый эффект является следствием экспериментальной манипуляции? В экспериментах Милгрэма о повиновении авторитету сделанные выводы не могли бы считаться валидными, если бы участники не верили в то, что они действительно получают удар электрическим током.

2. Внешнюю валидность: даже если эксперимент удался, его результаты могут быть неприменимы к другим людям и в других ситуациях. Эксперименты в области социальной психологии часто подвергаются критике, так как они опираются на опыты с американскими студентамидобровольцами и используют лабораторные методы в ходе исследования (см. также Экологическая достоверность).

При определении валидности теста или измерения мы пользуемся одним из ряда следующих критериев:

1. Очевидная валидность: действительно ли тест измеряет то, для чего он предназначен? К примеру, тест иа умственное развитие может выглядеть именно так, как предполагается для тестов подобного рода (высокая степень очевидной валидности), или быть замаскированным под чтото еще (низкая степень очевидной валидности).

3. Конкурентая (совпадающая) валидность: достоверность теста можно проверить. сопоставив его с уже существующими методами измерения. К примеру. новый тест на умственное развитие можно сравнить с другим тестом. валидность которого ужс известна и доказана. Если показатели участников при испытании нового теста совпадают с показателями при провсдснии другого теста, то новый тест тоже обладает валидностью.

4. Прогностическая валидность: можно ли на основе теста предсказывать или рассчитывать показатели по другому критерию? Тесты, используемые с целью отбора, должны обладать хорошей прогностической валидностью.

5. Конструктная валидность: используется ли тест для адекватного измерения теоретического копструкта - т. е. действительно ли тест на умственное развитие определяет коэффициент умственного развития? Если это так, то тест должен обладать особенностями, позволяющими участникам выполнять его в соответствии с их уровнем интеллектуального развития.

Психология. А-Я. Словарь-справочник / Пер. с англ. К. С. Ткаченко. - М.: ФАИР-ПРЕСС . Майк Кордуэлл . 2000 .

Синонимы :

Смотреть что такое "валидность" в других словарях:

валидность - достоверность Словарь русских синонимов. валидность сущ., кол во синонимов: 8 адекватность (18) … Словарь синонимов

Валидность - Валидность ♦ Validité Употребляемый в логике синоним истины, точнее говоря, ее формальный эквивалент. Вывод считается валидным (верным), если представляет собой переход от истинного к истинному (от истинности посылок к истинности заключения) … Философский словарь Спонвиля

Валидность - от фр. valide в статистике законность и достоверность исходной информации, надежность методики сбора, получения данных, в том числе и для экономических исследований. Словарь бизнес терминов. Академик.ру. 2001 … Словарь бизнес-терминов

ВАЛИДНОСТЬ - [Словарь иностранных слов русского языка

ВАЛИДНОСТЬ - (от лат. validus сильный, крепкий) англ. validity; нем. Validitat/Gulltigkeit. Обоснованность и адекватность исследовательских инструментов (операционализированных понятий, измерительных операций и экспериментов). Antinazi. Энциклопедия… … Энциклопедия социологии

Валидность - Надежность информации, отсутствие в ней ошибок из за неточности выбранной методики сбора данных. Терминологический словарь банковских и финансовых терминов. 2011 … Финансовый словарь

ВАЛИДНОСТЬ - (от франц. valide законный, действительный) применительно к исходной статистической информации, используемой в экономических исследованиях: надежность информации, отсутствие в ней ошибок из за неточности выбранной методики сбора данных. Райзберг… … Экономический словарь

валидность - и, ж. validité f. <лат. validus. Действительность, законность, весомость, обоснованность; обладание юридической силой. Комлев 1992. || Способность образовать связную знаковую систему. Барт Что такое критика? // Б. 272. Качество исходной… … Исторический словарь галлицизмов русского языка

Валидность - (англ. validity) мера соответствия того, насколько методика и результаты исследования соответствуют поставленным задачам. В частности, валидность считается фундаментальным понятием экспериментальной психологии и психодиагностики. Как в… … Википедия

Валидность - качество метода психологического исследования, выражающееся в его соответствии тому, для изучения и оценки чего он изначально был предназначен. * * * (лат. validus крепкий, здоровый) надёжность в плане соответствия истине, действительности,… … Энциклопедический словарь по психологии и педагогике

Книги

• Личность политика. Теория и методология психологического портретирования , Ракитянский Николай Митрофанович. В настоящем издании обобщен отечественный и зарубежный опыт построения психологического портрета личности политика. Рассматриваются история феномена и понятия психологического портрета и…

Билет № 9

Опросники мотивации и их характеристика.

Опросники мотивов – группа опросников, предназначенных для диагностики мотивационно-потребностной сферы личности, которая позволяет установить, на что направлена активность индивидуума (мотивы как причины, определяющие выбор направленности поведения). Помимо этого, существенное значение имеет вопрос о том, как осуществляется регуляция динамики поведения. В этом случае нередко прибегают к измерению установок. Разработка опросников мотивов в психодиагностике во многом связана с необходимостью оценки влияния фактора “социальной желательности”, имеющего установочную природу и снижающего достоверность данных, получаемых с помощью личностных опросников. К наиболее известным опросникам мотивов относится разработанный А. Эдвардсом “Список личностных предпочтений” (1954), который предназначен для измерения “силы” потребностей, заимствованных из перечня, предложенного Г. Мюрреем к тематической апперцепции тесту. К числу этих потребностей относятся, например, потребности в достижении успеха, уважении, лидерстве и др. “Сила” каждой потребности выражается не в абсолютных величинах, а относительно “силы” других потребностей, т.е. используются личностные показатели. Для изучения роли фактора “социальной желательности” А. Эдвардсом (1957) предложен специальный опросник. Достаточно широко применяются и другие опросники мотивов, например, “Форма по изучению личности” Д. Джексона (1967), опросники А. Мехрабяна (1970) и др.

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» .

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что нечто, измеряемое методикой, имеет связь с определенными областями практики.

Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее. Не вдаваясь пока в конкретные детали, остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т. п.), и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической зна­чимости, эффективности, действенности диагностической методики.

Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Поэтому на ранних стадиях развития тестологии, когда концепция валидности только складывалась, бытовало интуитивное представление о том, что тест измеряет:

1) методика называлась валидной, так как то, что она измеряет, просто очевидно;

2) доказательство валидности основывалось на уверенности исследователя в том, что его метод позволяет понять испытуемого;

3) методика рассматривалась как валидная (т. е. принималось утверждение, что такой-то тест измеряет такое-то качество) только потому, что теория, на основании которой строилась методика, очень хорошая.

Принятие на веру голословных утверждений о валидности методики не могло продолжаться длительное время. Первые проявления действительно научной критики развенчали такой подход: начались поиски научно обоснованных доказательств.

Таким образом, провести теоретическую валидизацию методики - это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.

Так, например, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т. п.). Таким образом, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Это показывает, насколько замысел автора и результаты методики совпадают.

Не столь сложно провести теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и аналогичной уже проверенной методикой указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиагносты получают возможность использовать новый инструмент вместо старого.

Но теоретическая валидность доказывается не только путем сопоставления с родственными показателями, а также и с теми, где, исходя из гипотезы, значимых связей не должно быть. Таким образом, для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность) и отсутствие этой связи с методиками, имеющими другое теоретическое основание (дискриминантная валидность).

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с такой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации о изучаемом свойстве, анализ теоретических предпосылок и экспериментальных данных, значительный опыт работы с методикой позволяет раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то интерпретация полученных показателей становится более ясной и однозначной, а название методики соответствует сфере ее применения. Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой имеет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в определенных видах деятельности. Ей придают большое значение особенно там, где встает вопрос отбора.

Если опять обратиться к истории развития тестологии , то можно выделить такой период (20-30-е гг. XX в.), когда научное содержание тестов и их теоретический багаж интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомендациям. Нельзя было точно назвать те особенности, качества, которые тесты выявляли. По существу они являлись слепыми пробами.

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. XX в. не только в США, но и в других странах. Теоретическая слабость эмпирических методов валидизации не могла не вызвать критики со стороны тех ученых, которые в разработке тестов призывали опираться не только на голую эмпирику и практику, но и на теоретическую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-практическая оценка валидности методик воспринимается как наиболее продуктивная.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий - показатель проявления изучаемого свойства в повседневной жизни. Таким кри­терием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности - рисование, моделирование и т. д. (для тестов специальных способностей), субъективные оценки (для тестов личности).

Американские исследователи Д. Тиффин и Е. Мак-Кормик, проведя анализ используемых для доказательства валидности внешних критериев, выделяют четыре их типа [по 31):

1) критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

2) субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления И т. д.);

4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

он должен быть релевантным;

свободным от помех;

надежным.

Под релевантностью имеется в виду смысловое соответствие диагностического инструмента независимому жизненно важному критерию. Другими словами, должна быть уверенность в том, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний критерий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородными по психологической сущности. Если, например, тест измеряет индивидуальные особенности мышления, умение выполнять логические действия с определенными объектами, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятельности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вытекает существование нескольких критериев выполнения профессиональной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффективностью в целом. Необходимо найти такой критерий, который по характеру выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он измеряемому свойству или нет, то сопоставление с ним результатов психодиагностической методики становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оценку валидности методики.

Требования свободы от помех вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут привнести помехи, «загрязнить» применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно статистический характер. Так, например, производительность следует брать не по абсолютным значениям, а в отношении к средней производительности рабочих, работающих в аналогичных условиях.

Когда говорят, что критерий должен иметь статистически достоверную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии много методик дисквалифицировано только потому, что не удалось найти подходящего критерия для их проверки. Например, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка валидности методик может носить количественный и качественный характер.

Для вычисления количественного показателя - коэффициента валидности - сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию, тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности?

Практика показала, что их не должно быть меньше 50, однако лучше всего более 200. Часто возникает вопрос, какой должна быть величина коэффициента валидности, чтобы она считалась приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент валидности был статистически значим. Низким признается коэффициент валидности порядка 0,20-0,30, средним - 0,30-0,50 и высоким - свыше 0,60.

Но, как подчеркивают А. Анастази , К. М. Гуревич и др., не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорционален успеху в выполнении диагностической пробы. Позиция зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40 % решения теста. Дальнейший успех в тесте уже не имеет никакого значения для профессии. Наглядный пример из монографии К. М. Гуревича : почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью - это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наиболее адекватным способом установления валидности может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так, еще на заре XX в. американский исследователь Ф. Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда. То есть высокий уровень их умственного развития мешал им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошел бы дисперсионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна статистическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидности методик используют другую модель - клинические оценки. Это не что иное, как качественное описание сущности изучаемого свойства. В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.

Виды валидности

Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

Проверка валидности методики называется валидизацией.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий - показатель проявления изучаемого свойства в повседневной жизни. Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности - рисование, моделирование и т. д. (для тестов специальных способностей), субъективные оценки (для тестов личности).

4 типа внешних критериев:

критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);

критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Эмпирическая валидность.

Если в случае с содержательной валидностью оценка теста производится за счет экспертов (устанавливающих соответствие заданий теста содержанию предмета измерения), то эмпирическая валидность измеряется всегда с помощью статистического коррелирования: подсчитывается корреляция двух рядов значений - баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия валидности.

Конструктная валидность.

Конструктная валидность имеет отношение к теоретическому конструкту самому по себе и включает в себя поиск факторов, объясняющих поведение при выполнении теста. Как особый тип конструктная валидность канонизирована в статье Кронбаха и Миля (1955). Авторы оценивали с помощью этого типа валидности все тестовые исследования, которые не были прямо направлены на предсказание некоторых значимых критериев. Исследование содержало информацию о психологических конструктахл.

Валидность "по содержанию".

Содержательная валидность требует того, чтобы каждое задание, задача или вопрос, принадлежащие к определенной области, имели равные шансы стать заданиями теста. Валидность по содержанию оценивает соответствие содержания теста (заданий, вопросов) измеряемой области поведения. Тесты, составленные двумя командами разработчиков, проводятся на выборке испытуемых. Надежность тестов подсчитывается путем расщепления заданий на две части, в результате чего получают индекс содержательной валидности.

"Прогностическая" валидность.

"Прогностическая" валидность определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

"Ретроспективная" валидность.

Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Конвергентная и дискриминантная валидность.

От того, как психолог определяет диагностический конструкт, зависит стратегия включения в тест определенных пунктов. Если Айзенк определяет свойство «нейротизм» как независимое от экстраверсии-интроверсии, то это означает, что в его опроснике примерно поровну должны быть представлены пункты, с которыми будут соглашаться невротичные интроверты и невротичные экстраверты. Если же на практике окажется, что в тесте будут преобладать пункты из квадранта «Нейротизм-Интроверсия», то, с точки зрения теории Айзенка, это означает, что фактор «нейротизм» оказывается нагруженным иррелевантным фактором - «интроверсией». (Точно такой же эффект возникает, если появится перекос в выборке - если в ней будет больше невротичных интровертов, чем невротичных экстравертов.)

Для того чтобы не сталкиваться с такими сложностями, психологи хотели бы иметь дело с такими эмпирическими показателями (пунктами), которые однозначно информируют только об одном факторе. Но это требование реально никогда не выполняется: всякий эмпирический показатель оказывается детерминированным не только тем фактором, который нам нужен, но и другими - иррелевантными задаче измерения.

Таким образом, по отношению к факторам, которые концептуально определяются как ортогональные к измеряемому (встречающиеся с ним во всех комбинациях), составитель теста должен при отборе пунктов применить стратегию искусственного балансирования.

Соответствие пунктов измеряемому фактору обеспечивает конвергентную валидность теста. Сбалансированность пунктов относительно иррелевантных факторов обеспечивает дискриминантную валидностъ. Эмпирически она выражается в отсутствии значимой корреляции с тестом, измеряющим концептуально независимое свойство.

Виды валидности

Существует несколько видов валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия Во многих работах (А Анастази, 1982; Л.Ф Бурлачук, С.М. Морозов, 1989; KM. Гуревич, 1970; Б.В Кулагин, 1984; В Черны, 1983; "Общая психодиагностика", 1987 и др) называются чаще всего следующие:

1. Валидность "по содержанию". Этот прием используется в основном в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала. На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность "по содержанию" также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.

2. Валидность "по одновременности", или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени успеваемость в период испытания, производительность в этот же период и т д. С ним коррелируют результаты успешности по тесту.

3. "Предсказывающая" валидность (другое название - "прогностическая" валидность). Определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

4. "Ретроспективная" валидность. Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Корреляция

Корреля́ция (корреляционная зависимость) - статистическая взаимосвязь двух или нескольких случайных величин (либо величин, которые можно с некоторой допустимой степенью точности считать таковыми). При этом, изменения значений одной или нескольких из этих величин приводят к систематическому изменению значений другой или других величин. Математической мерой корреляции двух случайных величин служит корреляционное отношение , либо коэффициент корреляции (или). В случае, если изменение одной случайной величины не ведёт к закономерному изменению другой случайной величины, но приводит к изменению другой статистической характеристики данной случайной величины, то подобная связь не считается корреляционной, хотя и является статистической.

Впервые в научный оборот термин «корреляция» ввёл французский палеонтолог Жорж Кювье в XVIII веке. Он разработал «закон корреляции» частей и органов живых существ, с помощью которого можно восстановить облик ископаемого животного, имея в распоряжении лишь часть его останков. В статистике слово «корреляция» первым стал использовать английский биолог и статистик Фрэнсис Гальтон в конце XIX века.

Некоторые виды коэффициентов корреляции могут быть положительными или отрицательными (возможна также ситуация отсутствия статистической взаимосвязи - например, для независимых случайных величин). Если предполагается, что на значениях переменных задано отношение строгого порядка, то отрицательная корреляция - корреляция, при которой увеличение одной переменной связано с уменьшением другой переменной, при этом коэффициент корреляции может быть отрицательным; положительная корреляция в таких условиях - корреляция, при которой увеличение одной переменной связано с увеличением другой переменной, при этом коэффициент корреляции может быть положительным.