Структурная валидность проверяется методами. Что такое валидность методики

Билет № 9

Опросники мотивации и их характеристика.

Опросники мотивов – группа опросников, предназначенных для диагностики мотивационно-потребностной сферы личности, которая позволяет установить, на что направлена активность индивидуума (мотивы как причины, определяющие выбор направленности поведения). Помимо этого, существенное значение имеет вопрос о том, как осуществляется регуляция динамики поведения. В этом случае нередко прибегают к измерению установок. Разработка опросников мотивов в психодиагностике во многом связана с необходимостью оценки влияния фактора “социальной желательности”, имеющего установочную природу и снижающего достоверность данных, получаемых с помощью личностных опросников. К наиболее известным опросникам мотивов относится разработанный А. Эдвардсом “Список личностных предпочтений” (1954), который предназначен для измерения “силы” потребностей, заимствованных из перечня, предложенного Г. Мюрреем к тематической апперцепции тесту. К числу этих потребностей относятся, например, потребности в достижении успеха, уважении, лидерстве и др. “Сила” каждой потребности выражается не в абсолютных величинах, а относительно “силы” других потребностей, т.е. используются личностные показатели. Для изучения роли фактора “социальной желательности” А. Эдвардсом (1957) предложен специальный опросник. Достаточно широко применяются и другие опросники мотивов, например, “Форма по изучению личности” Д. Джексона (1967), опросники А. Мехрабяна (1970) и др.

Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» .

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;

при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что нечто, измеряемое методикой, имеет связь с определенными областями практики.

Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее. Не вдаваясь пока в конкретные детали, остановимся в общих чертах на том, как проверяется прагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т. п.), и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической значимости, эффективности, действенности диагностической методики.

Для определения теоретической валидности найти какой-либо независимый критерий, лежащий вне методики, гораздо труднее. Поэтому на ранних стадиях развития тестологии, когда концепция валидности только складывалась, бытовало интуитивное представление о том, что тест измеряет:

1) методика называлась валидной, так как то, что она измеряет, просто очевидно;

2) доказательство валидности основывалось на уверенности исследователя в том, что его метод позволяет понять испытуемого;

3) методика рассматривалась как валидная (т. е. принималось утверждение, что такой-то тест измеряет такое-то качество) только потому, что теория, на основании которой строилась методика, очень хорошая.

Принятие на веру голословных утверждений о валидности методики не могло продолжаться длительное время. Первые проявления действительно научной критики развенчали такой подход: начались поиски научно обоснованных доказательств.

Таким образом, провести теоретическую валидизацию методики - это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.

Так, например, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т. п.). Таким образом, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Это показывает, насколько замысел автора и результаты методики совпадают.

Не столь сложно провести теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с доказанной валидностью. Наличие корреляции между новой и аналогичной уже проверенной методикой указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиагносты получают возможность использовать новый инструмент вместо старого.

Но теоретическая валидность доказывается не только путем сопоставления с родственными показателями, а также и с теми, где, исходя из гипотезы, значимых связей не должно быть. Таким образом, для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность) и отсутствие этой связи с методиками, имеющими другое теоретическое основание (дискриминантная валидность).

Гораздо труднее провести теоретическую валидизацию методики тогда, когда такой путь проверки невозможен. Чаще всего именно с такой ситуацией сталкивается исследователь. В таких обстоятельствах только постепенное накопление разнообразной информации о изучаемом свойстве, анализ теоретических предпосылок и экспериментальных данных, значительный опыт работы с методикой позволяет раскрыть ее психологический смысл.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т. е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления о ее сущности.

Важно помнить, что если доказана теоретическая валидность, то интерпретация полученных показателей становится более ясной и однозначной, а название методики соответствует сфере ее применения. Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой имеет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в определенных видах деятельности. Ей придают большое значение особенно там, где встает вопрос отбора.

Если опять обратиться к истории развития тестологии , то можно выделить такой период (20-30-е гг. XX в.), когда научное содержание тестов и их теоретический багаж интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомендациям. Нельзя было точно назвать те особенности, качества, которые тесты выявляли. По существу они являлись слепыми пробами.

Такой подход к проблеме валидности тестов был характерен вплоть до начала 50-х гг. XX в. не только в США, но и в других странах. Теоретическая слабость эмпирических методов валидизации не могла не вызвать критики со стороны тех ученых, которые в разработке тестов призывали опираться не только на голую эмпирику и практику, но и на теоретическую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-практическая оценка валидности методик воспринимается как наиболее продуктивная.

Для проведения прагматической валидизации методики, т. е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий - показатель проявления изучаемого свойства в повседневной жизни. Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности - рисование, моделирование и т. д. (для тестов специальных способностей), субъективные оценки (для тестов личности).

Американские исследователи Д. Тиффин и Е. Мак-Кормик, проведя анализ используемых для доказательства валидности внешних критериев, выделяют четыре их типа [по 31):

1) критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

2) субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления И т. д.);

4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

он должен быть релевантным;

свободным от помех;

надежным.

Под релевантностью имеется в виду смысловое соответствие диагностического инструмента независимому жизненно важному критерию. Другими словами, должна быть уверенность в том, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний критерий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородными по психологической сущности. Если, например, тест измеряет индивидуальные особенности мышления, умение выполнять логические действия с определенными объектами, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятельности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вытекает существование нескольких критериев выполнения профессиональной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффективностью в целом. Необходимо найти такой критерий, который по характеру выполняемых операций соотносим с методикой.

Если относительно внешнего критерия неизвестно, релевантен он измеряемому свойству или нет, то сопоставление с ним результатов психодиагностической методики становится практически бесполезным. Оно не позволяет прийти к каким-либо выводам, которые могли бы дать оценку валидности методики.

Требования свободы от помех вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут привнести помехи, «загрязнить» применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно статистический характер. Так, например, производительность следует брать не по абсолютным значениям, а в отношении к средней производительности рабочих, работающих в аналогичных условиях.

Когда говорят, что критерий должен иметь статистически достоверную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Поиски адекватного и легко выявляемого критерия относятся к очень важным и сложным задачам валидизации. В западной тестологии много методик дисквалифицировано только потому, что не удалось найти подходящего критерия для их проверки. Например, у большей части анкет данные по их валидности сомнительны, так как трудно найти адекватный внешний критерий, отвечающий тому, что они измеряют.

Оценка валидности методик может носить количественный и качественный характер.

Для вычисления количественного показателя - коэффициента валидности - сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию, тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности?

Практика показала, что их не должно быть меньше 50, однако лучше всего более 200. Часто возникает вопрос, какой должна быть величина коэффициента валидности, чтобы она считалась приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент валидности был статистически значим. Низким признается коэффициент валидности порядка 0,20-0,30, средним - 0,30-0,50 и высоким - свыше 0,60.

Но, как подчеркивают А. Анастази , К. М. Гуревич и др., не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорционален успеху в выполнении диагностической пробы. Позиция зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40 % решения теста. Дальнейший успех в тесте уже не имеет никакого значения для профессии. Наглядный пример из монографии К. М. Гуревича : почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью - это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наиболее адекватным способом установления валидности может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так, еще на заре XX в. американский исследователь Ф. Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда. То есть высокий уровень их умственного развития мешал им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошел бы дисперсионный анализ или вычисление корреляционных отношений.

Как показал опыт работы зарубежных тестологов, ни одна статистическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидности методик используют другую модель - клинические оценки. Это не что иное, как качественное описание сущности изучаемого свойства. В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.

Виды валидности

Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

Проверка валидности методики называется валидизацией.

4 типа внешних критериев:

критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.);

субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);

физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);

критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Эмпирическая валидность.

Если в случае с содержательной валидностью оценка теста производится за счет экспертов (устанавливающих соответствие заданий теста содержанию предмета измерения), то эмпирическая валидность измеряется всегда с помощью статистического коррелирования: подсчитывается корреляция двух рядов значений - баллов по тесту и показателей по внешнему параметру, избранному в качестве критерия валидности.

Конструктная валидность.

Конструктная валидность имеет отношение к теоретическому конструкту самому по себе и включает в себя поиск факторов, объясняющих поведение при выполнении теста. Как особый тип конструктная валидность канонизирована в статье Кронбаха и Миля (1955). Авторы оценивали с помощью этого типа валидности все тестовые исследования, которые не были прямо направлены на предсказание некоторых значимых критериев. Исследование содержало информацию о психологических конструктахл.

Валидность "по содержанию".

Содержательная валидность требует того, чтобы каждое задание, задача или вопрос, принадлежащие к определенной области, имели равные шансы стать заданиями теста. Валидность по содержанию оценивает соответствие содержания теста (заданий, вопросов) измеряемой области поведения. Тесты, составленные двумя командами разработчиков, проводятся на выборке испытуемых. Надежность тестов подсчитывается путем расщепления заданий на две части, в результате чего получают индекс содержательной валидности.

"Прогностическая" валидность.

"Прогностическая" валидность определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

"Ретроспективная" валидность.

Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Конвергентная и дискриминантная валидность.

От того, как психолог определяет диагностический конструкт, зависит стратегия включения в тест определенных пунктов. Если Айзенк определяет свойство «нейротизм» как независимое от экстраверсии-интроверсии, то это означает, что в его опроснике примерно поровну должны быть представлены пункты, с которыми будут соглашаться невротичные интроверты и невротичные экстраверты. Если же на практике окажется, что в тесте будут преобладать пункты из квадранта «Нейротизм-Интроверсия», то, с точки зрения теории Айзенка, это означает, что фактор «нейротизм» оказывается нагруженным иррелевантным фактором - «интроверсией». (Точно такой же эффект возникает, если появится перекос в выборке - если в ней будет больше невротичных интровертов, чем невротичных экстравертов.)

Для того чтобы не сталкиваться с такими сложностями, психологи хотели бы иметь дело с такими эмпирическими показателями (пунктами), которые однозначно информируют только об одном факторе. Но это требование реально никогда не выполняется: всякий эмпирический показатель оказывается детерминированным не только тем фактором, который нам нужен, но и другими - иррелевантными задаче измерения.

Таким образом, по отношению к факторам, которые концептуально определяются как ортогональные к измеряемому (встречающиеся с ним во всех комбинациях), составитель теста должен при отборе пунктов применить стратегию искусственного балансирования.

Соответствие пунктов измеряемому фактору обеспечивает конвергентную валидность теста. Сбалансированность пунктов относительно иррелевантных факторов обеспечивает дискриминантную валидностъ. Эмпирически она выражается в отсутствии значимой корреляции с тестом, измеряющим концептуально независимое свойство.

Виды валидности

Существует несколько видов валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия Во многих работах (А Анастази, 1982; Л.Ф Бурлачук, С.М. Морозов, 1989; KM. Гуревич, 1970; Б.В Кулагин, 1984; В Черны, 1983; "Общая психодиагностика", 1987 и др) называются чаще всего следующие:

1. Валидность "по содержанию". Этот прием используется в основном в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала. На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность "по содержанию" также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.

2. Валидность "по одновременности", или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени успеваемость в период испытания, производительность в этот же период и т д. С ним коррелируют результаты успешности по тесту.

3. "Предсказывающая" валидность (другое название - "прогностическая" валидность). Определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

4. "Ретроспективная" валидность. Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

Корреляция

Корреля́ция (корреляционная зависимость) - статистическая взаимосвязь двух или нескольких случайных величин (либо величин, которые можно с некоторой допустимой степенью точности считать таковыми). При этом, изменения значений одной или нескольких из этих величин приводят к систематическому изменению значений другой или других величин. Математической мерой корреляции двух случайных величин служит корреляционное отношение , либо коэффициент корреляции (или). В случае, если изменение одной случайной величины не ведёт к закономерному изменению другой случайной величины, но приводит к изменению другой статистической характеристики данной случайной величины, то подобная связь не считается корреляционной, хотя и является статистической.

Впервые в научный оборот термин «корреляция» ввёл французский палеонтолог Жорж Кювье в XVIII веке. Он разработал «закон корреляции» частей и органов живых существ, с помощью которого можно восстановить облик ископаемого животного, имея в распоряжении лишь часть его останков. В статистике слово «корреляция» первым стал использовать английский биолог и статистик Фрэнсис Гальтон в конце XIX века.

Некоторые виды коэффициентов корреляции могут быть положительными или отрицательными (возможна также ситуация отсутствия статистической взаимосвязи - например, для независимых случайных величин). Если предполагается, что на значениях переменных задано отношение строгого порядка, то отрицательная корреляция - корреляция, при которой увеличение одной переменной связано с уменьшением другой переменной, при этом коэффициент корреляции может быть отрицательным; положительная корреляция в таких условиях - корреляция, при которой увеличение одной переменной связано с увеличением другой переменной, при этом коэффициент корреляции может быть положительным.

После надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методики решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика не может быть валидной. Но самая надежная методика без знания ее валидности является практически бесполезной.

Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: "Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает" .

Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой - какова ее действенность, эффективность, практическая полезность.

Не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Иными словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании (пригодна ли методика для измерения того, для чего она была создана) имеет отношение к сущности самой методики, т.е. это внутренняя валидность измерительного инструмента. Такая проверка называется теоретической валидизацией.

Валидность во втором понимании (какова действенность, эффективность, практическая полезность методики) относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

- при теоретической валидизации исследователя интересует само свойство (конструкт), измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация
- при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что "нечто", измеряемое методикой, имеет связь с определенными областями практики.

Теоретическая валидизация методики осуществляется путем доказательства ее конструктной валидности. Конструктная валидность, обоснованная Л. Кронбахом в 1955 г., характеризуется способностью методики к измерению такой черты, которая была обоснована теоретически (как теоретический конструкт). Когда сложно найти адекватный прагматический критерий, может быть выбрана ориентация на гипотезы, сформулированные на основе теоретических предположений об измеряемом свойстве. Подтверждение этих гипотез свидетельствует о теоретической обоснованности методики. Сначала необходимо насколько возможно полно, содержательно описать конструкт, для измерения которого она предназначена. Достигается это за счет формулирования гипотез о нем, предписывающих, с чем данный конструкт должен коррелировать, а с чем не должен. После этого данные гипотезы проверяются. Такой способ наиболее эффективен для валидизации личностных опросников, поскольку установление единственного критерия их обоснованности является затруднительным.

В качестве конструкта могут выступать интеллект, черты личности, мотивы, установки и т.д. Обращение к конструктной валидности необходимо в тех случаях, когда результаты диагностических измерений используются не просто для предсказания поведения, а для выводов о том, в какой степени испытуемые обладают определенной психологической характеристикой. При этом измеряемая психологическая характеристика не может быть отождествлена с какой-либо наблюдаемой особенностью поведения, а представляет собой теоретическую концепцию. Конструктная валидность имеет значение при разработке принципиально новых методик, для которых не определены внешние критерии валидности.

Таким образом, провести теоретическую валидизацию методики - это доказать ее конструктную валидность, т.е. установить, что методика измеряет именно тот конструкт (свойство, качество), который она по замыслу исследователя должна измерять. Так, если какой-то тест разрабатывался для того, чтобы диагностировать умственное развитие детей, надо проанализировать, действительно ли он измеряет именно это развитие, а не какие-то другие особенности (например, личность, характер и т.п.). Следовательно, для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, посредством которых эти психологические явления пытаются познать. Такая проверка показывает, насколько замысел автора и результаты методики совпадают.

Чаще всего конструктная валидность методики определяется через ее внутреннюю согласованность, а также через конвергентную и дискриминантную валидность. Еще одним способом определения конструктной валидности является факторный анализ.

Внутренняя согласованность отражает то, насколько задания, вопросы, составляющие материал методики, подчинены основному направлению измеряемого как целого, ориентированы на изучение одного и того же явления. Анализ внутренней согласованности осуществляется путем коррелирования ответов на каждое задание с общим результатом методики. Так, если тест состоит из заданий, показавших значимую корреляцию с его общим баллом, то говорят, что тест обладает внутренней согласованностью, поскольку все его задания подчинены конструкту, представленному в тесте.

Критерием внутренней согласованности является также корреляция между суммарным баллом методики и результатами выполнения отдельных ее частей. Тесты, где в качестве конструкта выступает интеллект, всегда состоят из раздельно применяемых субтестов (таких, например, как осведомленность, аналогии, классификации, умозаключения и т.д.), из результатов которых складывается общий балл теста. Значимые корреляции между результатами каждого субтеста и общим баллом также свидетельствуют о внутренней согласованности всего теста.

Кроме того, для доказательства внутренней согласованности используются контрастные группы, которые формируются из испытуемых, показавших самые высокие и самые низкие суммарные результаты. Выполнение методики группой с высокими результатами сравнивается с выполнением группой с низкими результатами, и если первая группа справляется с заданиями лучше, чем вторая, методика признается внутренне согласованной.

Как подчеркивает А. Анастази, критерий внутренней согласованности методики - это существенная мера ее однородности. Так как этот показатель помогает охарактеризовать область поведения или свойство, выборочно проверяемое методикой, то степень ее однородности имеет отношение к конструктной валидности. Конечно, сама по себе внутренняя согласованность методики мало что может сказать о том, что она измеряет. Однако при наличии тщательно проработанных теоретических оснований создания методики, прочно обоснованной научной базы эта процедура подкрепляет теоретические представления о ее психологической сущности.

Другой способ определения конструктной валидности предполагает оценку методики по двум показателям, противоположным друг другу. Важно сопоставить показатели валидизируемой методики, с одной стороны, с методиками, имеющими тот же теоретический конструкт, и, с другой - с методиками, имеющими другое теоретическое основание. Для этого используется предложенная Д. Т. Кэмпбеллом и Д. В. Фиске процедура оценки конвергентной и дискриминантной валидности.

Конвергентная валидность (от лат. - сходиться к одному центру, конвертировать) - это заключение о подобии (изоморфизм - гомоморфизм) данного метода (методики, теста, меры) другому методу, предназначенному для тех же целей (конвергентному, сходному). Она выражается в требовании статистической зависимости диагностических показателей, если они направлены на измерение концептуально родственных психических свойств индивида.

Дискриминантная валидность (от лат. - разница, различие) - заключение об отличии одного метода (методики, теста, меры) от другого, теоретически отличающегося от первого. Она выражается в отсутствии статистической зависимости между диагностическими показателями, отражающими концептуально независимые свойства.

Конвергентная и дискриминантная валидности - это виды критериальной валидности. В эту категорию входят любые типы валидности, оцениваемые с использованием независимого признака, являющегося критерием оценки, сравнения .

Итак, процедура оценки конвергентной и дискриминантной валидности состоит в установлении одновременно как сходства, так и различия психологических феноменов, измеряемых новой методикой, с уже известными методиками. Она предполагает использование наряду с валидизируемой методикой специальной батареи контрольных методик, подобранной таким образом, чтобы в нее входили как методики, предположительно связанные с валидизируемой, так и не связанные с пей. Экспериментатор должен заранее предсказать, какие методики будут высоко коррелировать с валидизируемой, а корреляции с какими методиками будут низкими. В соответствии с этим различают конвергентную валидность (проверка степени близости прямой или обратной связи) и дискриминантную валидность (установление отсутствия связи). Методики, которые, но предположению, высоко коррелируют с валидизируемой, называются конвергирующими, а не коррелирующие - дискриминантными.

Подтверждение совокупности теоретически ожидаемых связей составляет важный круг сведений конструктной валидности. В англоязычной психодиагностике такое операциональное определение конструктной валидности обозначается как предполагаемая валидность (assumed validity).

Наличие корреляции между новой и аналогичной по конструкту методике, валидность которой ранее доказана, указывает на то, что разрабатываемая методика "измеряет" примерно то же психологическое качество, что и эталонная методика. И если новый метод одновременно оказывается более компактным и экономичным в проведении и обработке результатов, то психодиагносты получают возможность использовать новый инструмент вместо старого. Такой прием особенно часто используется в дифференциальной психофизиологии при создании методик диагностики основных свойств нервной системы человека. Особое место в процедуре определения конструктной валидности занимает факторный анализ (факторная валидность). Он позволяет строго статистически проанализировать структуру связей показателей исследуемой методики, определить их факторный состав и факторные нагрузки, выявить скрытые признаки и внутренние закономерности их взаимосвязи.

Итак, при теоретической валидизации методики требуется применение разнообразных экспериментальных процедур, способствующих накоплению информации о диагностируемом конструкте. Если эти данные подтверждают гипотезу, то тем самым подтверждается психологическая концепция, положенная в основу методики, и способность методики служить инструментом измерения этой концепции. Чем убедительнее подтверждение, тем определеннее можно говорить о валидности методики по отношению к психологической концепции, положенной в ее основу.

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в теоретическом плане, т.е. чтобы имелась прочная, обоснованная научная база. Тогда при сопоставлении методики с взятым из повседневной практики внешним критерием, соответствующим тому, что она измеряет, может быть получена информация, подкрепляющая теоретические представления о ее сущности.

Что касается прагматической валидизации, то она подразумевает проверку методики с точки зрения ее практической эффективности, значимости, полезности, поскольку диагностической методикой имеет смысл пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных жизненных ситуациях, в определенных видах деятельности. Ей придают большое значение особенно там, где встает вопрос отбора.

Если обратиться к истории развития тестологии , то можно выделить такой период (1920-1930-е гг.), когда научное содержание тестов и их теоретический "багаж" интересовали в меньшей степени. Важно было, чтобы тест работал, помогал быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных и прикладных задач.

Использование диагностических методик с чисто эмпирическим обоснованием, без отчетливой теоретической базы нередко приводило к псевдонаучным выводам, к неоправданным практическим рекомендациям. Нельзя было точно назвать те особенности, качества, которые выявляли, например, тесты. Б. М. Теплов, анализируя тесты того периода, назвал их "слепыми пробами" .

Такой подход к проблеме валидности методик был характерен вплоть до начала 1950-х гг. не только для США, но и для других стран. Теоретическая слабость эмпирических методов валидизации не могла не вызвать критики со стороны тех ученых, которые в разработке методик призывали опираться не только на "голую" эмпирику и практику, но и на теоретическую концепцию. Практика без теории, как известно, слепа, а теория без практики мертва. В настоящее время теоретико-прагматическая оценка валидности методик воспринимается как наиболее продуктивная.

Для проведения прагматической валидизации методики, т.е. для оценки ее эффективности, действенности, практической значимости, обычно используется независимый внешний критерий - показатель, обладающий непосредственной ценностью для определенной области практики. Таким критерием может быть и успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), и производственные достижения (для методик профессиональной направленности), и эффективность реальной деятельности - рисование, моделирование и т.д. (для тестов специальных способностей), и субъективные оценки (для тестов личности).

Американские исследователи Д. Тиффин и Е. Маккормик, проведя анализ используемых для доказательства валидности внешних критериев, выделяют четыре их типа :

1) критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т.п.);
2) субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет);
3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления и т.д.);
4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям: он должен быть релевантным, свободным от помех (контаминации) и надежным.

Под релевантностью имеется в виду смысловое соответствие диагностического инструмента независимому жизненно важному критерию. Другими словами, должна быть уверенность в том, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряются и диагностической методикой. Внешний критерий и диагностическая методика должны находиться между собой во внутреннем смысловом соответствии, быть качественно однородными по психологической сущности. Если, например, тест измеряет индивидуальные особенности мышления, умение выполнять логические действия с определенными объектами, понятиями, то и в критерии нужно искать проявление именно этих умений. Это в равной степени относится и к профессиональной деятельности. Она имеет не одну, а несколько целей, задач, каждая из которых специфична и предъявляет свои условия к выполнению. Из этого вытекает существование нескольких критериев выполнения профессиональной деятельности. Поэтому не следует проводить сопоставление успешности по диагностическим методикам с производственной эффективностью в целом. Необходимо найти такой критерий, который по характеру выполняемых операций соотносим с методикой.

Требования свободы от помех (контаминации) вызываются тем, что, например, учебная или производственная успешность зависит от двух переменных: от самого человека, его индивидуальных особенностей, измеряемых методиками, и от ситуации, условий учебы, труда, которые могут привнести помехи, "загрязнить" применяемый критерий. Чтобы в какой-то мере избежать этого, следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях. Можно использовать и другой метод. Он состоит в корректировке влияния помех. Эта корректировка носит обычно статистический характер. Так, производительность следует брать нс по абсолютным значениям, а в отношении к средней производительности рабочих, работающих в аналогичных условиях.

Когда говорят, что критерий должен иметь статистически достоверную надежность, это означает, что он должен отражать постоянство и устойчивость исследуемой функции.

Оценка прагматической валидности методик может носить количественный и качественный характер.

Для вычисления количественного показателя - коэффициента валидности - сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию, тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону).

Сколько испытуемых необходимо для расчета валидности? Практика показала, что их не должно быть меньше 50, однако лучше всего более 200. Часто возникает вопрос, какой должна быть величина коэффициента валидности, чтобы она считалась приемлемой? В целом отмечается, что достаточно того, чтобы коэффициент валидности был статистически значим. Низким признается коэффициент валидности порядка 0,20 0,30, средним - 0,30- 0,50 и высоким - свыше 0,60.

Но, как подчеркивают А. Анастази и К. М. Гуревич и другие авторы, не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорционален успеху в выполнении диагностической методики. Позиция зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40% решения теста. Дальнейший успех в тесте уже не имеет никакого значения для профессии. Наглядный пример из монографии К. М. Гуревича: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью - это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наиболее адекватным способом установления валидности может быть критерий различий.

Как показал опыт работы зарубежных тестологов, ни одна статистическая процедура не в состоянии полностью отразить многообразие индивидуальных оценок. Поэтому часто для доказательства валидности методик используют другую модель - клинические оценки. Это не что иное, как качественное описание сущности изучаемого свойства. В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.

В современной психометрии разработаны десятки разнообразных способов проверки валидности диагностических методик, обусловленных их особенностями, а также временным статусом внешнего критерия . Однако чаще всего называются следующие способы.

1. Валидность "по содержанию" означает, что методика является валидной по мнению специалистов. Этот прием используется, например, в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала? На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность "по содержанию" также подходит критериально-ориентированным тестам, поскольку в них используются экспертные методы. Специфичным является объект экспертизы - содержание теста. Эксперты должны оценить содержание заданий теста по их соответствию психическому свойству, объявляемому в качестве содержания валидизируемого теста. С этой целью экспертам предъявляются спецификация к тесту и список заданий. Если конкретное задание полностью соответствует спецификации, то эксперт обозначает его как соответствующее содержанию теста. Иногда этот прием называют логической валидностью или "валидностью по определению". .
2. Валидность "по одновременности", или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени: успеваемость в период испытания, производительность в этот же период и т.д. С ними сопоставляют результаты успешности по тесту.
3. "Предсказывающая" валидность (другое название - "прогностическая" валидность). Определяется также по внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность диагноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.
4. "Ретроспективная" валидность. Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

При приведении данных о валидности разработанной методики важно точно указать, какой вид валидности имеется в виду (по содержанию, по одновременности и т.д.). Желательно также сообщать сведения о численности и особенностях индивидов, на которых проводилась валидизация. Такая информация позволяет пользующемуся методикой психологу решить, насколько валиден этот прием для той группы, к которой он собирается его применять. Как и в случае с надежностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой - низкой. Поэтому если исследователь планирует использовать методику на выборке испытуемых, существенно отличающейся от той, на которой проводилась проверка валидности, ему необходимо заново провести такую проверку. Приводимый в руководстве коэффициент валидности применим только к группам испытуемых, подобным тем, на которых он определялся.

Анастази А. Психологическое тестирование: в 2 т. М, 1982.

Гуревич К. М. Указ. соч.

Анастази А. Психологическое тестирование: в 2 т. М., 1982 ; Бурлачук Л. Ф., Морозов С. М. Словарь-справочник но психологической диагностике. Киев. 1989; Гуревич К. М. Указ. соч.; Общая психодиагностика / под ред. Л. Л. Бодалева, В. В. Столица.

Сколько испытуемых необходимо для расчета валидности? Практика показала, что их не должно быть меньше 50, однако лучше всего более 200 Часто возникает вопрос, какой должна быть величина коэффициента валидности, чтобы она считалась приемлемой? В общем отмечается, что достаточно того, чтобы коэффициент валидности был статистически значим. Низким признается коэффициент валидности порядка 0,20- 0,30, средним - 0,30-0,50 и высоким - свыше 0,60.

Но, как подчеркивают А. Анастази (1982), К.М. Гуревич (1970) и др, не всегда для вычисления коэффициента валидности правомерно использовать линейную корреляцию. Этот прием оправдан лишь тогда, когда доказано, что успех в какой-то деятельности прямо пропорционален успеху в выполнении диагностической пробы. Позиция зарубежных тестологов, особенно тех, кто занимается профпригодностью и профотбором, чаще всего сводится к безоговорочному признанию того, что для профессии больше подойдет тот, кто больше выполнил заданий в тесте. Но может быть и так, что для успеха в деятельности нужно обладать свойством на уровне 40% решения теста. Дальнейший успех в тесте уже не имеет никакого значения для профессии Наглядный пример из монографии КМ Гуревича: почтальон должен уметь читать, но читает ли он с обычной скоростью или с очень большой скоростью - это уже не имеет профессионального значения. При таком соотношении показателей методики и внешнего критерия наиболее адекватным способом установления валидности может быть критерий различий.

Возможен и другой случай: более высокий уровень свойства, чем это требует профессия, служит помехой профессиональному успеху. Так Ф Тейлор нашел, что наиболее развитые работницы производства имеют невысокую производительность труда. То есть высокий уровень их умственного развития мешает им высокопроизводительно трудиться. В этом случае для вычисления коэффициента валидности более подошел бы дисперсионный анализ или вычисление корреляционных отношений.

свойства. В этом случае речь идет об использовании приемов, не опирающихся на статистическую обработку.

Существует несколько видов валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия Во многих работах (А Анастази, 1982; Л.Ф Бурлачук, СМ. Морозов, 1989; КМ. Гуревич, 1970; Б.В Кулагин, 1984; В Черны, 1983; "Общая психодиагностика", 1987 и др) называются чаще всего следующие:

1. Валидность "по содержанию". Этот прием используется в основном в тестах
достижений. Обычно в тесты достижений включается не весь материал, который
прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть
уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об
усвоении всего материала. На это и должна ответить проверка валидности по
содержанию. Для этого проводится сопоставление успешности по тесту с экспертными
оценками учителей (по данному материалу). Валидность "по содержанию" также
подходит к критериально-ориентированным тестам. Иногда этот прием называют
логической валидностью.

2. Валидность "по одновременности", или текущая валидность, определяется с
помощью внешнего критерия, по которому информация собирается одновременно с
экспериментами по проверяемой методике. Другими словами, собираются данные,
относящиеся к настоящему времени успеваемость в период испытания,
производительность в этот же период и т д. С ним коррелируют результаты успешности
по тесту.

3. "Предсказывающая" валидность (другое название - "прогностическая"
валидность). Определяется также по достаточно надежному внешнему критерию, но
информация по нему собирается некоторое время спустя после испытания. Внешним
критерием обычно бывает выраженная в каких-нибудь оценках способность человека к
тому виду деятельности, для которой он отбирался по результатам диагностических
испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик -
предсказанию будущей успешности, применять его очень трудно. Точность прогноза
находится в обратной зависимости от времени, заданного для такого прогнозирования.
Чем больше проходит времени после измерения, тем большее количество факторов
требуется учитывать при оценке прогностической значимости методики. Однако учесть
все факторы, влияющие на предсказание, практически невозможно.

4. "Ретроспективная" валидность. Она определяется на основе критерия,
отражающего события или состояние качества в прошлом. Может быть использована
для быстрого получения сведений о предсказательных возможностях методики. Так, для
проверки того, в какой мере хорошие результаты теста способностей соответствуют
быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые
экспертные заключения и т.д. у лиц с высокими и низкими на данный момент
диагностическими показателями.

которой он собирается его применять. Как и в случае с надежностью, необходимо помнить, что в одной выборке методика может обладать высокой валидностью, а в другой - низкой. Поэтому если исследователь планирует использовать методику на выборке испытуемых, существенно отличающейся от той, на которой проводилась проверка валидности, ему необходимо заново провести такую проверку. Приводимый в руководстве коэффициент валидности применим только к группам испытуемых, подобным тем, на которых он определялся.

Литература

Анастази А. Психологическое тестирование" В 2 кн. / Под ред. К.М. Гуре-вича, В И. Лубовского М., 1982. Кн 1.

Гуревич К.М О надежности психофизиологических показателей // Проблемы дифференциальной психофизиологии М., 1969 Т VI. С 266-275.

Гуревич К.М Надежность психологических тестов // Психологическая диагностика Ее проблемы и методы М, 1975 С 162-176.

Гуревич КМ Статистика - аппарат доказательства психологической диагностики//Проблемы психологической диагностики Таллин 1977. С 206-225

Гуревич К.МЧ^о такое психологическая диагностика М., 1985.

ДИАГНОСТИКА УМСТВЕННОГО РАЗВИТИЯ И ОБЩИХ СПОСОБНОСТЕЙ

§ 1. УМСТВЕННОЕ РАЗВИТИЕ И ИНТЕЛЛЕКТ

Умственное развитие характеризуется совокупностью знаний, умений и набором умственных действий, которые сформировались в процессе приобретения этих знаний. Таково общепринятое в отечественной психологии понимание умственного развития. По существу, умственное развитие - это характеристика способов, форм и содержания мышления человека.

Современная психология и педагогика убедительно доказывают, что уровень мыслительной деятельности определяется содержанием знаний и умений, которые учитель дает учащимся (М.Н. Шардаков, 1963, В.В. Давыдов, 1986). Важен не только объем, но и качество знаний, т.е их глубина, осмысленность, динамичность. Характер усвоенных знаний определяет и качество освоенных умственных действий. Уровень умственного развития является основой, базой для усвоения новых знаний и умений, возникновения и функционирования новых умственных действий. По мнению К.М. Гуревича и Е.И. Горбачевой (1991), одним из признаков умственного развития следует считать присущую ему качественную направленность, избирательность по отношению к различным областям теории и практики, что проявляется в развитии различных видов мышления - лингвистического, естественнонаучного, математического. Но наиболее общей характеристикой уровня умственного развития является все же подготовленность функционирования мышления в пределах возрастного социально-психологического норматива. Иначе говоря, уровень умственного развития должен в первую очередь отражать наиболее типичные, общие, характерные возрастные особенности мыслительной деятельности, касающиеся как объема и качества знаний и умений, так и запаса определенных умственных действий.

В этом плане проблема умственного развития смыкается с проблемой интеллекта, или общей умственной способности. Интеллект - не сумма знаний и умственных операций, а то, что способствует их успешному усвоению. Достигнутый индивидом уровень умственного развития зависит от его интеллектуальных способностей. Поэтому нельзя не согласиться со справедливым утверждением Н.С. Лейтеса, что "умственное развитие не является чем-то внешним по отношению к способностям. Внутренняя близость умственного развития и умственных способностей не могут вызывать сомнения" (Н.С. Лейтес, 1960).

Но несомненно и другое: уровень умственного развития зависит не только от интеллекта, он обусловлен многими факторами, такими, как условия жизни, особенности учебного заведения, методы обучения и пр. В отечественной психологии имеется целое направление исследований, показывающих тесную связь между уровнем умственного развития и содержанием обучения, а также характером воспитательных методов (В.В. Давыдов, 1972, 1986; А.З. Зак, 1979, 1984). Например, одни и те же знания могут обусловить разный тип мышления учащегося (эмпирический или теоретический), все зависит от организации учебного процесса (А.З. Зак, 1984).

О роли метода обучения в формировании мышления говорят исследования, связанные с теорией поэтапного формирования умственных действий. В работах, базирующихся на этой теории, представлены теоретически и методически разработанные способы планомерного и управляемого развития мышления (Н.Ф. Талызина, 1975).

Итак, если в прошлом мышлению не обучали или делали это более или менее бессознательно, нецеленаправленно, считая, что мышление либо есть, либо его нет, а уровень мыслительной деятельности не зависит от обучения, то сегодня прогрессивные психологи и педагоги показывают, что продуктивному мышлению можно научить.

В связи с этой проблемой естественно возникает вопрос о соотношении умственного развития с понятием "обучаемость". Какие психологические сущности отражают эти термины, одинаковые или разные?

Проблема обучаемости школьников детально изучалась в лаборатории Н.А. Менчинской. З.И. Калмыкова, выбрав в качестве основного показателя темп продвижения, нашла, что чем выше уровень развития, тем выше темп продвижения, т.е. обучаемость (1968). Позднее Калмыкова стала отождествлять ее с умственными способностями, что, на наш взгляд, является неправомерным, так как обучаемость слишком зависима от методов и средств обучения, личности учителя и пр. Более того, обучаемость нельзя отождествлять и с уровнем умственного развития. Н.С. Лейтес на основе собственных исследований пришел к выводу, что если уровень умственного развития школьников возрастает от младших классов к старшим, то обучаемость не прогрессирует аналогичным образом (1971). Напротив, обучаемость школьников младших классов в некоторых отношениях превосходит обучаемость школьников последующих классов. Поэтому нельзя оценивать уровень умственного развития ребенка на основе его обучаемости, не принимая во внимание возрастные особенности индивидов.

Из всего вышесказанного следует вывод о неправомерности отождествления понятий "уровень умственного развития", "интеллект" и "обучаемость". Диагностика этих психологических феноменов также должна быть различной.

Но практически диагностика умственного развития возникла как тестирование интеллекта и в этом русле развивалась на протяжении первой половины XX века. Интеллектуальные тесты явились продолжением шкал Бине-Симона, о которых шла речь в гл. I.

§ 2. ДИАГНОСТИКА ИНТЕЛЛЕКТУАЛЬНОГО УРОВНЯ ТЕСТ Д ВЕКСЛЕРА

Наиболее удачная и жизнеспособная адаптация тестов Бине-Симона, названная шкалами Стэнфорд-Бине, в течение многих лет служила единственным инструментом для измерения интеллектуальных способностей, а также использовалась в качестве критерия валидности новых интеллектуальных тестов. Этим в значительной степени объясняется тот факт, что IQ стал представляться символом интеллекта, а не показателем по определенному тесту. Сыграла свою роль и относительная стабильность IQ, установленная при повторных испытаниях одних и тех же групп индивидов через некоторый промежуток времени, о причине чего будет сказано позднее.

Остановимся на другом типе индивидуальных тестов, предназначенных для тех же целей, что и шкала Стэнфорд-Бине. В 1939 г. была опубликована первая форма шкал Дэвида Векслера, известная как шкала интеллекта Векслера-Белльвью. Она предназначалась для тестирования взрослых. Она имела ряд методических недостатков (это касалось величины и репрезентативности нормативной выборки и надежности субтестов) и позднее была переработана. В 1955 г. была опубликована одна из последних шкал интеллекта для взрослых (WAIS). Она содержала 11 субтестов. 6 субтестов составляли вербальную шкалу и 5 - шкалу действия. В вербальную шкалу входили субтесты на осведомленность, понимание, решение арифметических задач, нахождение сходства, запоминание цифр и определение словарного запаса. Шкала действия состояла из субтестов "Цифровые символы", "Завершение картинок", "Конструирование блоков", "Расположение картинок", "Сборка объектов".

При стандартизации шкалы Векслера нормативная выборка состояла из 1700 испытуемых с равным количеством мужчин и женщин. Испытуемые в возрасте от 16 до 64 лет были распределены по 7 возрастным уровням. При комплектовании выборки исследователи опирались на данные переписи населения США за 1950 г. Учитывалось пропорциональное распределение населения по географическим районам, принадлежность к городскому или сельскому населению, к белой или цветной расе, учитывались также уровень образования и профессия. На каждом возрастном уровне в выборку были введены один мужчина и одна женщина, находящиеся в учреждении для умственно отсталых.

Для пожилых людей были установлены дополнительные нормы путем тестирования выборки лиц пожилого возраста, состоящей из 475 человек в возрасте от 60 лет из типичного города среднего запада. Для каждого возраста были установлены стандартные IQ со средним значением 100 и а, равной 15. Показатели надежности шкалы высоки и расположены от 0,93 до 0,97 (в зависимости от шкал и отдельных субтестов). Валидность, установленная по корреляции с тестами Стэнфорд-Бине, около 0,87, а валидность по внешнему критерию (с оценками в колледже) порядка 0,40-0,50.

Помимо шкал для взрослых, Векслером были созданы шкалы для детей (от 6,0 до 15 лет 11 мес.). Последнее издание WISC было опубликовано в 1974 г. В него были включены 12 субтестов. По сравнению со шкалой для взрослых тест для детей включает еще один дополнительный субтест "Лабиринты".

Стандартизация проводилась на выборке, состоящей из 100 мальчиков и 100 девочек по каждому годовому интервалу; общая численность выборки равнялась 2200. Она подбиралась так же тщательно на основе переписи населения США 1970 года, как это было сделано и для взрослых. Среднее значение показателей для каждой из шкал и для полного теста - 100ио= 15.

Показателями валидности были коэффициенты корреляции, полученные в результате сопоставления с показателями выполнения теста Стэнфорд-Бине. Они находились в пределах от 0,6 до 0,73. Коэффициенты надежности по методу ретеста для вербальной шкалы равнялись 0,93, для шкалы действий - 0,90, для полной шкалы - 0,95.

Векслером была создана также шкала для дошкольников и младших школьников (для возраста от 4 до 6,5 лет). Эта шкала была опубликована в 1967 г. Она состоит из 11 субтестов, 8 из которых представляют собой облегченные и адаптированные варианты заданий WISC, а остальные 3 были разработаны в качестве замены непригодных по тем или иным причинам субтестов WISC. В вербальной шкале таким новым субтестом был субтест "Предложения" (тест на запоминание, в котором от ребенка требуется вслед за экспериментатором повторять каждое произносимое им предложение). Новый субтест "Дом животного" сходен с субтестом "Цифровые символы". Субтест "Геометрические схемы" требует от ребенка скопировать 10 простых чертежей.

Стандартизация проводилась так же тщательно, как и для других векслеровских шкал. Размер референтной выборки был 1200 детей.

Выборка была стратифицирована относительно переписи США 1960 г. Стандартный IQ имел среднее 100 и квадратичное отклонение 15. Коэффициенты надежности при повторном тестировании равнялись для вербальной шкалы 0,86, для шкалы действия 0,89, для полной шкалы - 0,92. Валидность определялась путем корреляции с тестом Стэнфорд-Бине; коэффициенты корреляции по вербальной шкале равнялись 0,76, для шкалы действия - 0,56. Коэффициент по полной шкале равен 0,75.

Итак, в настоящее время имеются три формы шкал Векслера. Все они характеризуются высокими формальными показателями. От тестов Стэнфорд-Бине эти шкалы отличаются некоторыми важными параметрами:

1) задания одного типа в этих тестах не сгруппированы по возрастным уровням, а
объединены в субтесты и расположены в порядке возрастающей трудности;

2) субтесты разделяются на вербальные (объединяемые в вербальную шкалу) и
действия (объединяемые в шкалу действия); для каждой шкалы в отдельности
вычисляется IQ.

Помимо использования шкал Векслера для измерения общего интеллекта они применяются и как вспомогательное средство психиатрического диагноза.

Рассмотрим еще один тест интеллекта, относимый к разряду групповых. § 3. ТЕСТ Р. АМТХАУЭРА

Один из известнейших групповых тестов, широко используемых в немецкоязычных странах, - Тест структуры интеллекта Рудольфа Амтхауэра. Он создан в 1953 г. (последняя редакция осуществлена в 1973 г) и предназначен для измерения уровня интеллектуального развития лиц в возрасте от 13 до 61 года.

Тест отличается хорошими методическими показателями: коэффициент ретестовой надежности (интервал 1 год) - 0,83-0,91; коэффициент параллельных форм - 0,95; надежности частей теста (по методу "расщепления") - 0,97. Валидность, определяемая по связи с успеваемостью, - 0,46; с экспертными оценками уровня интеллектуального развития - 0,62.

Стандартизация теста проводилась на выборке из 4076 испытуемых, средний показатель по сырым (первичным) баллам равнялся 82. После стандартизации новая средняя равнялась 100, о = 10.

Тест разрабатывался в первую очередь для диагностирования уровня общих способностей в связи с проблемами профессиональной психодиагностики. При его создании Р. Амтхауэр исходил из концепции, согласно которой интеллект является специализированной подструктурой в целостной структуре личности и тесно связан с другими компонентами личности, такими, как волевая и эмоциональная сферы, интересы и потребности.

Интеллект понимался Амтхауэром как единство некоторых психических способностей, проявляющихся в различных формах деятельности. В тест им были включены задания на диагностику следующих компонентов интеллекта: вербального, счетно-математического, пространственного, мнемического.

Тест состоит из девяти субтестов, каждый из которых направлен на измерение различных функций интеллекта. Шесть субтестов диагностируют вербальную сферу, два - пространственное воображение, один - память. Во всех группах заданий, за исключением 4-6 субтестов, используются задачи закрытого типа

Субтест 1. Логический отбор исследование индуктивного мышления, чутья языка. Задача испытуемого заключается в том, чтобы закончить предложение одним из приведенных слов. Пример задания: Противоположностью понятия "верность" является

а) любовь; б) ненависть; в) дружба; г) предательство; д) вражда.

Субтест 2. Определение общих черт: исследование способности к абстрагированию, обобщению, оперированию вербальными понятиями В задачах предлагается пять,слов, из которых четыре объединены определенной смысловой связью, а одно лишнее. Это слово и следует выделить в ответе.

Пример: а) рисунок; б) картина; в) графика; г) скульптура; д) живопись.

Субтест 3. Аналогии: анализ комбинаторных способностей. В заданиях предлагаются три слова, между первым и вторым существует определенная связь. После третьего слова - прочерк. Из пяти прилагаемых к заданию вариантов необходимо выбрать такое слово, которое было бы связано с третьим таким же образом, как и первые два.

Пример: дерево - строгать, железо - ?

а) чеканить; б) сгибать; в) лить; г) шлифовать; д) ковать.

Субтест 4. Классификация: оценка способности выносить суждение, обобщать Испытуемый должен обозначить два слова общим понятием Пример дождь - снег Правильным ответом будет слово "осадки".

Субтест 5. Задания на счет: оценка уровня развития практического математического мышления, сформированности математических навыков. Пример-Сколько километров пройдет товарный поезд за 7 часов, если его скорость 40 км/ч?

Субтест 6. Ряды чисел: анализ индуктивного мышления, способности оперировать числами. В заданиях требовалось установить закономерность числового ряда и продолжить его.

Пример- 6, 9, 12, 15, 18, 21, 24, ?

Субтест 7. Выбор фигур: исследование пространственного воображения, комбинаторных способностей. В заданиях приводятся разделенные на части геометрические фигуры. При выборе ответа следует найти карточку с целой фигурой, которой соответствуют разделенные части.

Субтест 8. Задания с кубиками: исследуется то же, что и в 7-м субтесте. В заданиях предъявлялись изображения кубиков с различно обозначенными гранями. Кубики были определенным образом повернуты и перевернуты в пространстве, так что иногда появлялись новые, неизвестные испытуемому грани. Необходимо было определить, какой из пяти кубиков-образцов изображен на каждом рисунке.

Субтест 9. Задания на способность сосредоточить внимание и сохранить в памяти усвоенное. Предлагается запомнить ряд слов, которые объединены в таблице по определенным категориям, например, цветы: тюльпан, жасмин, гладиолус, гвоздика, ирис; или животные: зебра, уж, бык, хорек, тигр. Время заучивания - 3 минуты. Затем тетради с заданиями собираются, и испытуемым выдаются листы с вопросами такого типа: С буквы "б" начиналось слово:

а) растения; б) инструменты; в) птицы; г) произведения искусства; д) животные.

Общее время обследования (без подготовительных процедур и инструктажа испытуемых) - 90 минут. Время выполнения каждого субтеста ограничено и колеблется от 6 до 10 минут.

В нашей стране адаптированный вариант теста Амтхауэра был использован при обследовании учащихся 8-10 классов городских и сельских школ. Получены данные о достаточно высокой надежности и валидности этого теста (М.К. Акимова с соавторами, 1984).

Р. Амтхауэр при интерпретации результатов теста предполагал, что с его помощью можно судить о структуре интеллекта испытуемых (по успешности выполнения каждого субтеста). Для грубого анализа "умственного профиля" он предлагал подсчитать отдельно результаты по первым четырем и по следующим пяти субтестам. Если суммарная оценка первых четырех субтестов превышает суммарную оценку следующих пяти субтестов, значит у испытуемого больше развиты теоретические способности. Если наоборот, то практические способности.

При интерпретации полученных в отечественных исследованиях данных примененялся новый критерий, который был предложен К.М. Гуревичем и назван социально-психологическим нормативом (СПН). Социально-психологический норматив - это система требований, которые общность предъявляет каждому из своих членов и которым каждый должен соответствовать, если не хочет быть отторгнутым своей общностью. Оценка результатов тестирования в этом случае должна основываться на

степени близости к СПН, который дифференцируется в образовательно-возрастных группах. Использование в качестве критерия выполнения СПН выдвигает на первый план качественный анализ данных.

§ 4 НЕЯЗЫКОВЫЕ ТЕСТЫ, ТЕСТЫ ДЕЙСТВИЯ И СВОБОДНЫЕ ОТ ВЛИЯНИЯ КУЛЬТУРЫ ТЕСТЫ

Особо рассмотрим тесты интеллекта, разработанные для испытания людей, которых невозможно адекватно оценить с помощью вербальных тестов. Речь идет о младенцах, о детях с дефектами речи, с некоторыми психическими и физическими недостатками, о говорящих на иностранном языке, неграмотных, а также о лицах из неблагоприятной культурной среды и некоторых других. Для исследования этих групп испытуемых применяются либо тесты действия, либо неязыковые тесты, либо тесты, свободные от влияния культуры.

Одним из первых тестов действия, разработанных для испытания умственно отсталых детей, является тест воспроизведения прежнего порядка на доске. Созданный Э. Сегеном еще в 1866 г., он применяется и в настоящее время. Тест состоит в следующем. На доске расположены от 2 до 5 предметов; экспериментатор снимает их и складывает в определенном порядке. Испытуемый должен как можно быстрее вернуть предметы на прежнее место. Допускается три пробы; показателем по тесту является самое короткое время, необходимое для выполнения задания. Тесты, подобные этому, но большей трудности, применяются для испытания иностранцев. Широко применяется Лабиринтный тест Портеуса, разработанный в 1914 г. и усовершенствованный в 1959 г. Он состоит из серии изображенных линиями лабиринтов возрастающей трудности. От испытуемого требуется, не отрывая карандаша от бумаги, провести кратчайший путь от входа до выхода из лабиринта. Этот тест используется для исследования самых разных групп людей, включая умственно отсталых, правонарушителей и др.

Подобные тесты действия были объединены в шкалу тестов исполнения Артура в 1930 г., стандартизированную на единой выборке и единообразную по методу оценки каждого теста. Вторая форма этой шкалы была выпущена в 1947 г. Она состоит из 4 модифицированных старых тестов и одного нового, стандартизирована на новой выборке и применяется в качестве замены первой формы при повторном тестировании.

Несколько слов о тестировании младенцев и дошкольников (до 5 лет). Тестирование этого контингента испытуемых проходит индивидуально. Большинство тестов являются либо тестами действия, либо устными тестами; некоторые включают элементарные действия с карандашами и бумагой; часть тестов измеряет сенсорное и моторное развитие. Наиболее часто для тестирования младенцев применяется разработанная Р.Б. Кеттеллом Шкала интеллекта ребенка, охватывающая возрастные уровни от 2 до 30 месяцев. Н. Бейли была подготовлена. Шкала развития ребенка, предназначенная для детей от рождения до 15 месяцев. Шкала состоит из 3 частей: Умственная шкала направлена на оценку сенсорного развития, памяти, способности к научению, зачатков развития речи; Моторная шкала измеряет уровень развития мышечной координации и манипулирования; Запись о поведении ребенка предназначена для регистрации эмоциональных и социальных проявлений поведения, объема внимания, настойчивости и т д.

Шкалы Бейли нормированы на выборке из 1262 детей, имеют высокие показатели

надежности и валидности. По мнению видного тестолога А Анастази (1982), шкалы Бейли выгодно отличаются от других методик для детей раннего возраста и весьма полезны для раннего распознавания всякого рода нарушений и отклонений развития ребенка.

Обычно тесты для младенцев и дошкольников стандартизированы на выборках, меньших по величине и репрезентативности, чем нормативные выборки других тестов. Они менее надежны, чем тесты для старших возрастов. Определение валидности этих тестов затруднено из-за недостатка пригодных критериев. Валидность тестов для младенцев определяется, главным образом, по двум критериям: возрастные различия и предсказание последующего развития уровня интеллекта. С точки зрения первого критерия тесты для младенцев в целом показывают неплохую валидность. Однако их предсказательная валидность очень низка: так, корреляции показателей теста Кеттелла для детей в возрасте до года и теста Стэнфорд-Бине для детей трехлетнего возраста близки к 0.

Остановимся на некоторых важных проблемах, возникающих при тестировании представителей разных культурных групп. Изначальная связь тестирования интеллекта с культурой определенной социальной группы ограничивает сферу применения тестов. Они оказываются неадекватными для обследования лиц, принадлежащих к иной культуре, нежели та, в которой эти тесты создавались. Поэтому перед исследователями встала проблема создания таких интеллектуальных тестов, которые были бы свободны от влияния культуры. При создании таких тестов пытаются чаще всего исключить параметры, по которым эти культуры различаются.

Наиболее известный параметр - язык, другой параметр - скорость выполнения теста, еще одно различие - наличие информации, специфичной для некоторых культур. Эти типы различий между культурными группами привели к тому, что тесты для испытания представителей разных культур делают преимущественно неязыковыми, исключают влияние скорости выполнения, в них не используется информация, специфичная для некоторых культур.

Однако следует с полной определенностью сказать, что совершенно исключить влияние культурных различий на тестовые результаты не представляется возможным. Каждый тест, по мнению Анастази, благоприятен для лиц той культуры, в которой он был разработан. Важно отметить, что не только содержание теста, но также эмоциональные и мотивационные факторы ситуации опытов влияют на исполнение теста. Каждая культура стимулирует развитие одних способностей и образцов поведения и не поощряет, а подавляет развитие других. Поэтому по тестам, разработанным в американской культуре, американцы будут выгодно отличаться от других народов, а по результатам тестов, разработанных в другой культуре, не похожей на американскую, напротив, американцы, возможно, не будут соответствовать установленным нормам.

В отношении валидности тестов, разрабатываемых для сравнительного испытания представителей разных культур, сведения неутешительны. Эти тесты обладают малой валидностью в любой культуре, так как конструируются из элементов, равно знакомых (насколько возможно) во многих культурах, и, следовательно, измеряют тривиальные функции. По существу, устранение культурных различий из теста означает исключение из него интеллектуальных компонентов. "Свобода от культуры" есть просто "свобода от интеллекта" (Дж. Брунер, 1977).

Первым неязыковым групповым тестом был армейский тест "Бета", разработанный в период первой мировой войны (1918) для испытания солдат-иностранцев и неграмотных. В настоящее время используется переработанная и заново стандартизированная в 1946 г. форма этого теста. Она состоит из 6 субтестов, таких, как "Лабиринты", "Завершение картинок", "Нарисованные нелепости" и др.

В так называемых чистых, не тронутых культурой тестах стремятся исключить некоторые главные культурные различия не только в языке, но и в знаниях, интеллектуальных умениях. Пример такого рода тестов - Интеллектуальный тест, свободный от влияния культуры, разработанный Р.Б. Кеттеллом. Этот тест типа "карандаш-бумага", охватывающий 3 возрастных и интеллектуальных уровня: от 4 до 8 лет и умственно отсталых взрослых, от 8 до 13 лет и взрослых средних умственных способностей, от 10 до 16 лет и взрослых с высокими умственными способностями. Среди субтестов имеются такие, как "Выбор точки, завершающей серию", "Дополнение данной матрицы", "Лабиринты" и др. Данные о надежности и валидности этого теста неполны и получены на меньших, чем обычно принято, нормативных группах.

Интересным примером теста, "свободного от влияния культуры", является тест Гудинаф-Харриса, в котором испытуемому (старше 5 лет) дается задание "нарисовать мужчину" (первая форма) и "нарисовать женщину" (вторая форма). Надежность этого теста велика, порядка 0,90. Валидность, найденная по корреляции с показателями других тестов интеллекта, несколько превышает 0,50. Однако авторы этого теста, рассмотрев исследования, относящиеся к нему, пришли к выводу, что предложенный ими тест в большей степени зависит от различий в культурном окружении, чем это первоначально ожидалось. Нельзя не согласиться с высказанным ими мнением, что поиск свободного от культуры теста интеллекта - иллюзия.

Завершая обзор зарубежных интеллектуальных тестов, отметим, что для большинства из них характерен высокий методический уровень. В западной, главным образом американской, психологии созданы и продолжают создаваться и совершенствоваться методики с высокой надежностью, валидностью, а также репрезентативностью выборок, на которых эти показатели получены.

§ 5 ТЕОРЕТИЧЕСКИЕ ВОПРОСЫ ТЕСТИРОВАНИЯ ИНТЕЛЛЕКТА

Итак, на протяжении длительного периода тесты интеллекта служили средством измерения, как предполагалось, некоторой психологической реальности, о сущности которой имелись весьма смутные представления. Сведение интеллектуальных различий к коэффициенту умственного уровня вытекало из представлений об интеллекте как общей врожденной способности, лежащей в основе всех наших достижений и измеряемой с помощью тестов Эти представления подтверждались относительной стабильностью IQ, установленной при повторных испытаниях одних и тех же групп индивидов через некоторый промежуток времени.

Существует, по крайней мере, две основные причины стабильности IQ Первая причина - это стабильность, относительная неизменность окружающей среды. В большинстве случаев дети остаются в том же самом окружении, на одном и том же социально-экономическом уровне, в той же культурной среде долгие годы. Поэтому любые недостатки или преимущества для интеллектуального развития, которые испытуемые имели на ранней стадии развития, сохраняются и в интервалах между повторными тестированиями.

Вторая причина относительной стабильности IQ заключается в том, что умения и навыки, полученные на ранних этапах развития, сохраняются и служат предпосылками для последующего обучения.

Однако относительная стабильность IQ носит статистический характер. Иначе говоря, лишь в групповых исследованиях могут быть получены достаточно высокие корреляции между повторными исследованиями. Изучение же отдельных индивидов обнаруживает большие сдвиги показателей IQ, полученных через временные интервалы. Тестология к настоящему времени накопила множество фактов, неопровержимо свидетельствующих об изменчивости того, что измеряется коэффициентом IQ. Исследования, в которых собраны эти факты, группируются по двум направлениям. Одно направление доказывает зависимость тестовых оценок от окружающей среды, которая включает в себя множество самых разных показателей (материальная обеспеченность и уровень образования родителей, характер работы отца, занятость матери, размер семьи, наличие домашней библиотеки и др).

Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк, Е. Хаген и др.). Ими были разработаны формально-логический и математико-статистический аппарат (прежде всего корреляционный метод и фактический анализ) обоснования степени соответствия методик отмеченным критериям.

В традиционной тестологии термин «надёжность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.

Надёжность методики – это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты.

Это согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты свойств, но не состояний. Свойства:

Воспроизводимость рез-тов исследования.
Точность измерения.
Устойчивость результатов.

Степень надёжности методик зависит от многих причин. Среди негативных факторов наиболее часто называются следующие:

нестабильность диагностируемого свойства;
несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечётко сформулированы указания по предъявлению методики испытуемым и т.д.);
меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещённость помещения, наличие или отсутствие посторонних шумов и т.д.);
различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т.д.);
колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом – утомление и т.д.);
элементы субъективности в способах оценки и интерпретации результатов (когда ведётся протоколирование ответов испытуемых, оценивают ответы по степени полноты, оригинальности и т.д.).

Одним из важнейших средств повышения надежности методики является единообразие процедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.

На характеристику надёжности методик большое влияние оказывает исследуемая выборка. Она может, как снижать, так и завышать этот показатель, например, надежность, может быть искусственно завышена, если в выборке небольшой разброс результатов, т.е. если результаты по своим значениям близки друг к другу. Поэтому в руководстве обычно делается описание выборки, на котором определялась надёжность методики.

В настоящее время надежность все чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п.

Разновидностей надёжности методик так же много, как и условий, влияющих на результаты диагностических испытаний. Так как все виды надёжности отражают степень согласованности двух независимо полученных рядов показателей, то математико-статистический приём, с помощью которого устанавливается надёжность методики, - это корреляции (по Пирсону или Спирмену). Надёжность тем выше, чем больше полученный коэффициент корреляции приближается к единице, и наоборот.

К.М. Гуревич предложил толковать надёжность как:

надёжность самого измерительного инструмента (коэффициент надежности);
стабильность изучаемого признака (коэффициент стабильности);
константность, т.е. относительную независимость результатов от Личности экспериментатора (коэффициент константности).

Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надёжности; показатель, характеризующий стабильность измеряемого свойства, - коэффициентом стабильности; а показатель оценки влияния Личности экспериментатора – коэффициентом константности. Именно в таком порядке рекомендуется осуществлять проверку методики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого при необходимости заняться критерием константности. (Надёжность: ретестовая, параллельных форм, частей тела, по внутренней согласованности, факторно-дисперсионная).

Определение надежности измерительного инструмента. От того как составлена методика, насколько правильно подобраны задания, насколько она однородна зависит точность, объективность измерения.

Для проверки надежности измерительного инструмента, говорящего о его однородности (гомогенности) используют метод расщепления. Задания делят на четные и нечетные (необходимо выполнение всех заданий), а затем результаты коррелируются между собой. Если методика однородна, то большой разницы в успешности по этим половинам не будет, коэффициент будет высоким. Можно сравнивать по частям, но лучше по четным и нечетным, т.к. этот способ не зависит от тренировки, утомления и т.д.

Методика надежна, если коэффициент не ниже 0,75 – 0,85, лучше 0,90 и выше.

Определение стабильности изучаемого признака. Также необходимо установить насколько устойчив, стабилен признак, который исследователь намерен измерять. Признак со временем может меняться, но колебания его не должны иметь непредсказуемый характер.

Для проверки используется прием, который называется тест-ретест. Он заключается в повторном обследовании испытуемых с помощью этой же методики. О стабильности судят по коэффициенту корреляции между результатами первого и второго обследования. Он будет свидетельствовать о сохранении или не сохранении каждым испытуемым своего порядкового номера в выборке.

На степень устойчивости влияет разнообразие фактора. Необходимо соблюдать единообразие процедуры обследования.

При определении стабильности признака большое значение имеет промежуток времени между 1 и 2 обследованиями. Чем короче этот промежуток, тем больше шансов, что этот признак сохраняет уровень первого испытания. Целесообразно проводить повторное тестирование через короткий срок после тестирования. Экспериментатор сам устанавливает этот срок, но чаще в психологической литературе указывают на интервал от нескольких месяцев (но не более полугода). Вопрос о стабильности измеряемого свойства решается не всегда единообразно. Решение зависит от сущности диагностируемого признака.

Если измеряемое свойство уже сформировано, то коэффициент должен быть не ниже 0,80.

Определение константности , т.е. относительная независимость результатов от Личности экспериментатора. Так как методика разрабатывается для дальнейшего использования ее другими психодиагностами, необходимо определить в какой мере ее результаты поддаются влиянию личности экспериментатора. Коэффициент константности определяется путем корреляции результатов двух опытов, проводимых на одной и той же выборке, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.

Вопрос о валидности решается после того, как установлена надежность, так как ненадежная методика не может быть валидной.

Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает (А. Анастази). Валидность по своей сути – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова её действенность, эффективность, практическая полезность.

Валидность – соответствие конкретного исследования принятым стандартам (безупречному эксперименту).

Валидность в первом ее понимании имеет отношение к самой методике, т.е. это валидность измерительного инструмента. Такая про-верка называется теоретической валидизацией. Валидность во втором ее понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

При теоретической валидизации исследователя интересует само свойство, измеряемое методикой.

Так как для определения теоретической валидизации тяжело найти какой-нибудь независимый критерий, лежащий вне методики, и поэтому раньше принимались на веру голословные утверждения о валидности этой методики. Так как теоретическая валидизация направлена на доказательство того, что методика измеряет именно свойство, которое она должна измерить. Для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, по средствам которой эти психологические явления пытаются познать. Она показывает, что замысел автора и результаты методики совпадают.

Не столь сложно осуществить теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с известной, доказанной валидностью. Наличие корреляции между новой и аналогичной старой методиками указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная.

Для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность), а с другой – отсутствие этой связи с методиками, имеющими другое теоретической основание (дискриминантная валидность).

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами Деятельности. Важно чтобы методика была проработана в теоретическом плане.

Прагматическая валидизация

Проверяется практическая эффективность, значимость, полезность методики, так как методикой можно пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных видах Деятельности.

Для проверки прагматической валидности используется независимый внешний критерий – показатель проявления изучаемого свойства в повседневной жизни. В качестве такого критерия могут выступать успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), производственные достижения (для методик профессиональной направленности), эффективность реальной Деятельности – рисования, моделирования и так далее (для тестов специальных способностей), субъективные оценки (для тестов Личности).

Американские исследователи Тиффин и Маккормик выделили 4-е типа внешнего критерия:

Критерий исполнения (количество выполняемой работы, успеваемость, время, темп роста квалификации).
Субъективные критерии (включают различные виды ответов, которые отражают отношение человека к чему-либо, его мнения, взгляды).
Физиологический критерий (используется при изучении влияния внешней среды, влияющей на организм и психику).
Критерий случайности (например, когда цель касается проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен обладать 3 основными требованиями:

Должен быть релевантным, то есть должна быть уверенность, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряет диагностическая методика. Внешний критерий и диагностическая модель должны находиться во внутреннем смысловом соответствии.
Должен быть свободным от помех (контаминации). Следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях.
Должен быть надежен. Постоянство и устойчивость исследуемой функции.

Оценка валидности методики может носить количественный и качественный характер.

Для вычисления количественного показателя (коэффициента валидности) сопоставляются результаты, полученные при применении диагностических методик, с данными тех же лиц, полученные по внешнему критерию. Используются разные виды линейной корреляции (по Спирмену, по Пирсену).

Качественное описание сущности измеряемого свойства. Здесь не используют статистическую обработку.

Существуют несколько видов валидности , обусловленных особенностями диагностической методики, а также временным статусом внешнего критерия:

Валидность «по содержанию» (используется в тестах достижения): 3 – 4 вопроса из большой темы могут показать истинные знания ученика. Для этого результаты диагностики сравнивают с экспертными оценками учителя.
Валидность «по одновременности» или текущая валидность – собираются данные, относящиеся к настоящему времени: успеваемость, производительность и т.п. С ними коррелируют результаты успешности по тесту.
«Предсказывающая» валидность («прогностическая»). Определяется по надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования.
«Ретроспективная» валидность. Определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики.

Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. К числу основных критериев оценки психодиагностических методик относятся надежность и валидность. Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк, Е. Хаген и др.). Ими были разработаны формально-логический и математико-статистический аппарат (прежде всего корреляционный метод и фактический анализ) обоснования степени соответствия методик отмеченным критериям.

Надёжность методики - это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты.

Воспроизводимость рез-тов исследования.
Точность измерения.
Устойчивость результатов.

нестабильность диагностируемого свойства;
несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечётко сформулированы указания по предъявлению методики испытуемым и т.д.);
меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещённость помещения, наличие или отсутствие посторонних шумов и т.д.);
различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т.д.);
колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом - утомление и т.д.);
элементы субъективности в способах оценки и интерпретации результатов (когда ведётся протоколирование ответов испытуемых, оценивают ответы по степени полноты, оригинальности и т.д.).

К.М. Гуревич предложил толковать надёжность как:

надёжность самого измерительного инструмента (коэффициент надежности);
стабильность изучаемого признака (коэффициент стабильности);
константность, т.е. относительную независимость результатов от Личности экспериментатора (коэффициент константности).

Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надёжности; показатель, характеризующий стабильность измеряемого свойства, - коэффициентом стабильности; а показатель оценки влияния Личности экспериментатора - коэффициентом константности. Именно в таком порядке рекомендуется осуществлять проверку методики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого при необходимости заняться критерием константности. (Надёжность: ретестовая, параллельных форм, частей тела, по внутренней согласованности, факторно-дисперсионая).

Методика надежна, если коэффициент не ниже 0,75 - 0,85, лучше 0,90 и выше.

Если измеряемое свойство уже сформировано, то коэффициент должен быть не ниже 0,80.

Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает (А. Анастази). Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова её действенность, эффективность, практическая полезность.

Валидность - соответствие конкретного исследования принятым стандартам (безупречному эксперименту).

При теоретической валидизации исследователя интересует само свойство, измеряемое методикой.

Для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность), а с другой - отсутствие этой связи с методиками, имеющими другое теоретической основание (дискриминантная валидность).

Прагматическая валидизация

Для проверки прагматической валидности используется независимый внешний критерий - показатель проявления изучаемого свойства в повседневной жизни. В качестве такого критерия могут выступать успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), производственные достижения (для методик профессиональной направленности), эффективность реальной Деятельности - рисования, моделирования и так далее (для тестов специальных способностей), субъективные оценки (для тестов Личности).

Американские исследователи Тиффин и Маккормик выделили 4-е типа внешнего критерия:

Критерий исполнения (количество выполняемой работы, успеваемость, время, темп роста квалификации).
Субъективные критерии (включают различные виды ответов, которые отражают отношение человека к чему-либо, его мнения, взгляды).
Физиологический критерий (используется при изучении влияния внешней среды, влияющей на организм и психику).
Критерий случайности (например, когда цель касается проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен обладать 3 основными требованиями:

Должен быть релевантным, то есть должна быть уверенность, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряет диагностическая методика. Внешний критерий и диагностическая модель должны находиться во внутреннем смысловом соответствии.
Должен быть свободным от помех (контаминации). Следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях.
Должен быть надежен. Постоянство и устойчивость исследуемой функции.

Оценка валидности методики может носить количественный и качественный характер.

Качественное описание сущности измеряемого свойства. Здесь не используют статистическую обработку.

Валидность «по содержанию» (используется в тестах достижения): 3 - 4 вопроса из большой темы могут показать истинные знания ученика. Для этого результаты диагностики сравнивают с экспертными оценками учителя.
Валидность «по одновременности» или текущая валидность - собираются данные, относящиеся к настоящему времени: успеваемость, производительность и т.п. С ними коррелируют результаты успешности по тесту.
«Предсказывающая» валидность («прогностическая»). Определяется по надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования.
«Ретроспективная» валидность. Определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики.