– как выработка единых требований к процедуре эксперимента;
– как определение единого критерия оценки результатов диагностических испытаний.
Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.
К числу требований, которые необходимо соблюдать при проведении эксперимента, можно, например, отнести такие:
1) инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;
2) ни одному испытуемому не следует давать никаких преимуществ перед другими;
3) в процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
4) эксперимент с разными группами следует проводить в одинаковое, по возможности, время дня, в сходных условиях;
5) временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и т. д.
Обычно авторы методики в руководстве приводят точные и подробные указания по процедуре ее проведения. Формулирование таких указаний составляет основную часть стандартизации новой методики, так как только строгое их соблюдение дает возможность сравнить между собой показатели, полученные разными испытуемыми.
Другим наиболее важным этапом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний, поскольку диагностические методики не имеют заранее определенных стандартов успешности или неудачи в их выполнении.
Так, например, ребенок шести лет, выполняя тест умственного развития, получил балл, равный 117. Хорошо это или плохо? Часто ли такой показатель встречается у детей данного возраста? Количественный результат как таковой ничего не означает. Полученный дошкольником балл нельзя интерпретировать как показатель относительно высокого, среднего или низкого развития, так как это развитие выражено в мерах, присущих данной методике, и, таким образом, абсолютного значения полученные результаты иметь не могут. Очевидно, нужно располагать точкой отсчета и какими-то дозированными мерами, чтобы с их помощью оценивать полученные при диагностировании индивидуальные и групповые данные. Возникает вопрос, что за эту точку отсчета брать? В традиционном тестировании такая точка добывается статистическим путем — это так называемая статистическая норма.
В общих чертах стандартизация диагностической методики, ориентированной на норму, осуществляется путем ее проведения на большой представительной выборке испытуемых, которая ничем не отличается от той, для которой данная методика предназначена. На этой группе испытуемых, называемой выборкой стандартизации, разрабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в выполнении диагностической пробы. Это позволяет определить положение конкретного испытуемого относительно выборки стандартизации [10, т. 1].
Для вычисления статистической нормы психологи-диагносты обратились к давно применяемым в биологии приемам математической статистики.
Рассмотрим пример.
На призывной пункт явилось несколько тысяч молодых людей.
Допустим, что все они примерно одного возраста. Что мы получим при измерении их роста? Обычно оказывается, что большинство почти одного роста, совсем немного будет людей очень маленького и очень высокого роста. Остальные же распределятся симметрично, уменьшаясь по количеству от среднего максимума в ту и другую сторону. Распределение рассматриваемых величин — это нормальное распределение (или распределение по нормальному закону, кривая распределения Гаусса). Математики показали, что для описания такого распределения достаточно знать два показателя — среднюю арифметическую и так называемое стандартное отклонение, которое получается путем несложных вычислений. Назовем среднюю арифметическую х, а стандартное отклонение ? (сигма малая). При нормальном распределении все изучаемые величины практически находятся в пределах х + 5 ?.
Рассмотрим как определялась статистическая норма для тестов Стэн-форд-Бине. В группу испытуемых входили 4498 человек от 2,5 до 18 лет. Усилия стэнфордских психологов были направлены на то, чтобы распределение полученных по каждому возрасту данных о выполнении
тестов было близко к нормальному. Этого результата удалось добиться далеко не сразу; в некоторых случаях ученым приходилось заменять одни задания другими. В конце концов эта работа была закончена, и были подготовлены тесты по каждому возрасту со средней арифметической, равной 100, и со стандартным отклонением, равным 16. Принимается, что результаты в пределах х ± ? показывают границы наиболее характерной, представительной части распределения, границы нормы для данного возраста. При ? = 16 и х = 100 эти границы нормы будут от 84 до 116. Интерпретируется это так: результаты испытуемых, которые не выходят за эти границы, находятся в пределах нормы. Те, чьи результаты менее 84, находятся ниже нормы, а те, чьи результаты более 116, — выше нормы. Нередко этот же прием применяют и для дальнейшей классификации. Тогда результаты в пределах от х – ? до х – 2 ? интерпретируются как «несколько ниже нормы», а от х – 2 ? до х – З ? — как «значительно ниже нормы». Соответственно классифицируются результаты, находящиеся выше нормы.
Вернемся к результату, полученному ребенком шести лет, о котором упоминалось выше. Его успешность по тесту равна 117. Этот результат выше нормы, но очень незначительно (верхняя граница нормы 116).
Кроме статистической нормы, основой для сравнения, интерпретации результатов диагностических испытаний могут стать и такие показатели, как процентили.
Процентиль — это процентная доля индивидов из выборки стандартизации, первичный результат которых ниже данного первичного показателя.
Например, если 28 % людей правильно решат не более 15 задач в арифметическом тесте, то первичному показателю 15 соответствует 28-й процентиль (Р28). Процентили указывают на относительное положение индивида в выборке стандартизации. Их также можно рассматривать, как ранговые градации, общее число которых равно 100, с той лишь разницей, что при ранжировании принято начинать отсчет сверху, т. е. с лучшего члена группы, получающего ранг 1. В случае же процентилей отсчет ведется снизу, поэтому чем ниже процентиль, тем хуже позиция индивида.
50-й процентиль (Р50) соответствует медиане — одному из показателей центральной тенденции. Процентили свыше 50 представляют показатели выше среднего, а те, которые лежат ниже 50, — сравнительно низкие показатели. 25-й и 75-й процентили известны также под названием 1-го и 3-го квартилей, поскольку они выделяют нижнюю и верхнюю четверти распределения. Как и медиана, они удобны для описания распределения показателей и сравнения с другими распределениями [10, т. 1].
Процентили не следует смешивать с обычными процентными показателями. Последние являются первичными показателями и представляют собой процент правильно выполненных заданий, тогда как процентиль — это производный показатель, указывающий на долю от общего числа членов группы. Первичный результат, который ниже любого показателя, полученного в выборке стандартизации, имеет нулевой процентильный ранг (Ро). Результат, превышающий любой показатель в выборке стандартизации, получает процентильный ранг 100 (Р100). Эти процентили, однако, не означают нулевого или абсолютного результата выполнения теста.
Процентильные показатели обладают рядом достоинств, в частности:
– их легко рассчитать и понять даже сравнительно неподготовленному человеку;
– их применение достаточно универсально и подходит к любому типу тестов.
Однако недостаток процентилей – это существенное неравенство единиц отсчета в том случае, когда анализируются крайние точки распределения. При использовании процентилей (как уже отмечалось выше) определяется только относительное положение индивидуальной оценки, но не величина различий между отдельными показателями.
В психодиагностике существует и другой подход к оценке результатов диагностических испытаний. В нашей стране под руководством К. М. Гуревича [35] разрабатываются тесты, в которых в качестве точки отсчета выступает не статистическая норма, а независимый от результатов испытания, объективно заданный социально-психологический норматив.
Социально-психологический норматив реализуется в совокупности заданий, составляющих тест. Следовательно, сам тест в полном его объеме и является таким нормативом. Все сопоставления индивидуальных или групповых результатов тестирования проводятся с тем максимумом, который представляется в тесте (а это полный набор знаний). В качестве критерия оценки выступает показатель, отражающий степень близости результатов к нормативу. Имеется разработанная схема представления групповых количественных данных.
Для анализа данных относительно их близости к социально-психологическому нормативу, условно рассматриваемому как 100 %-ное выполнение всего теста, все испытуемые подразделяются по результатам тестирования на 5 подгрупп:
1) наиболее успешные — 10%;
2) близкие к успешным — 20 %;
3) средние по успешности — 40 %;
4) мало успешные — 20 %;
5) наименее успешные — 10%.
Для каждой из подгрупп подсчитывается средний процент правильно выполненных заданий. Строится система координат, где по оси абсцисс идут номера подгрупп, по оси ординат — процент выполненных каждой из подгрупп заданий. После нанесения соответствующих точек вычерчивается график, отражающий приближение каждой из подгрупп к социально-психологическому нормативу. Такая обработка проводится по результатам как теста в целом, так и каждого субтеста в отдельности.
Выборка стандартизации. При разработке и применении любой точки отсчета следует обращать особое внимание на выборку испытуемых, на которой проводится стандартизация диагностической методики. В математической статистике принято различать такие понятия, как генеральная совокупность (популяция) и выборка.
Всякая большая совокупность людей, которую хотели бы исследовать или относительно которых собираются делать выводы, называется генеральной совокупностью.
Выборка — это часть или подмножество совокупности. Проводить исследование всей популяции не принято. Обычно из нее выделяют группу людей — выборку стандартизации — которая реально подвергается тестированию, и с ее помощью оценивается генеральная совокупность. Чтобы оценки носили достоверный характер, выборка должна быть репрезентативна, представительна рассматриваемой популяции, т. е. ее вероятностные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.
А. Анастази приводится пример формирования репрезентативной выборки при стандартизации шкалы Векслера. Выборка включала 1700 человек с равным количеством мужчин и женщин. Испытуемые в возрасте от 16 до 64 лет были распределены по семи возрастным уровням. При формировании выборки исследователи опирались на данные последней переписи населения США. Учитывалось пропорциональное распределение населения по географическим районам, принадлежность к городскому и сельскому населению, принадлежность к белой или цветной расе, учитывались также уровень образования и профессия. На каждом возрастном уровне в выборку были введены один мужчина и одна женщина, находящиеся в учреждениях для умственно отсталых. По мнению А. Анастази, подавляющее большинство диагностических методик стандартизовано не для столь широких популяций, как многие полагают. Трудно рассчитывать, что по какому-либо тесту имеются адекватные нормы для таких обширных популяций, как, например, «взрослые американцы-мужчины» или «американские дети 14-летнего возраста». Выборки, ориентированные на широкие популяции, не всегда репрезентативны и чаще всего бывают смещены в тех или иных отношениях (т. е. некоторые подгруппы популяции могут быть представлены непропорционально своей численности). Так, если определить популяцию как «14-летние дети», а выборку стандартизации составить из 14-летних школьников, то ее нельзя рассматривать в качестве репрезентативной, поскольку не все 14-летние дети являются школьниками. В этом случае лучше сузить определение популяции (т. е. определить ее как «14-летние школьники»), чем переносить нормы, полученные на школьниках, на популяцию 14-летних детей.
Таким образом, одним из способов обеспечения репрезентативности выборки является ограничение популяции. Ограничить популяцию можно по разным признакам: по возрасту, полу, социальному происхождению, профессии, социально-экономическому статусу, здоровью и т. д. Такая популяция определяется как специфическая, и стандартизация диагностических методик осуществляется на узконаправленных выборках, которые репрезентативны специфической популяции. Создатель диагностической методики должен всегда сообщать, для какой специфической популяции были разработаны нормативные показатели.
Отбор испытуемых в выборку стандартизации осуществляется следующим образом:
1) дается определение популяции с выделением в ее структуре переменных, значимых и малозначимых для изучаемого психического явления (возраст, образование, профессия и т. д.);
2) популяция делится на части в соответствии со значимыми переменными;
3) испытуемые отбираются в случайном порядке и пропорционально численности каждой значимой части совокупности. Случайный отбор может осуществляться по алфавиту, по таблице случайных чисел или другим способом. Важно, чтобы у всех представителей популяции были равные шансы попасть в выборку стандартизации. Это условие подразумевает, что каждый выбор не зависит от остальных.
Объем выборки может варьироваться в широких пределах, но ее минимальный порог, необходимый для получения достоверных результатов, — порядка 200 человек.
