Проблема валидности эксперимента в психологии (работа 1)

Проблема валидности эксперимента в психологии

Необходимость более тесной интеграции теоретических и прикладных исследований в психологии, интенсивного развития практической психологии [11, 12], наконец, наблюдающийся в последние годы существенный прогресс как философской [19], так и специальной [24] методологии научного познания, в том числе в области психологии [17], — все это побуждает со всей тщательностью, во многом с более совершенных методологических позиций проанализировать состояние ее методического арсенала. Метод эксперимента привлекает внимание в этой связи в силу двух обстоятельств.

С одной стороны, для психологической науки этот метод был и остается основным инструментом получения эмпирических данных, проверки теоретических гипотез [16].

С другой стороны, по мере того как сфера применения лабораторного эксперимента все более расширялась, далеко выйдя за первоначальные рамки общей психологии, данный метод подвергался возрастающей критике. Ее лейтмотив — неудовлетворенность степенью научной достоверности и практической ценности знания, обеспечиваемых данным методом.

Примером критики первого из этих недостатков может служить анализ модельной природы лабораторного эксперимента, проведенный А. Чапанисом (A. Chapanis). Взяв в качестве примера ряд исследований по проблеме бдительности оператора, он делает следующее обобщение:

«Всякий лабораторный эксперимент — лишь модель реальной жизни, причем модель, которая всегда является неполной, а значит, и неверной [29, с. 561]. Неадекватность эксперимента как модели, отмечает далее {117} Чапанис, обусловливается, как правило, еще двумя обстоятельствами: во-первых, типичным для лабораторного эксперимента рандомизированным предъявлением стимулов (в реальной жизни стимулы обычно воспринимаются в контекстных и последовательностных рамках) и, во-вторых, прежде всего повышенной, по сравнению с условиями «реальной жизни», частотой воспроизведения аварийных ситуаций и других стрессовых воздействий.

Наконец, ко всему этому можно добавить часто встречающиеся в литературе сетования на неудовлетворительную репрезентацию исследуемой популяции, на влияние разного рода артефактов, в особенности установок предвзятости, носителями которых часто оказываются не только испытуемые, но и сам экспериментатор [9, 15, 16, 25].

В отношении критики второго главного недостатка рассматриваемого метода весьма показательной является статья Е.Г. Чемберса (Е.G. Chambers) [28]. Исходя из того что быстро развивающаяся автоматизация производства выдвигает в число актуальных практических задач проблему перманентного «переучивания» кадров, автор задался целью выяснить, сколь полезным могут быть в этом отношении результаты многочисленных лабораторных исследований по так называемому переносу научения — одной из традиционных проблем общей психологии. Проанализировав имевшуюся в то время (середина 50-х годов) весьма обширную литературу, Чемберс пришел к неутешительному выводу: несмотря на возможную научную значимость, исследования, проведенные по данной проблеме, в подавляющем большинстве не могут быть использованы для решения указанной задачи. Главная причина — крайне упрощенный и искусственный характер тех заданий, которые предлагаются испытуемым в такого рода исследованиях (например, усвоение парных словесных ассоциаций, формирование навыка нажатия на кнопку при появлении определенного сигнала и т. п.).

Таким образом, налицо определенные признаки кризисной ситуации: с одной стороны, констатируется «непрактичность» многих лабораторных экспериментов, проведенных в русле общепсихологического исследования, а с другой — ставится под сомнение возможность адекватного моделирования в прикладном лабораторном эксперименте тех аспектов профессиональной деятельности, которые составляют предмет непосредственного интереса со стороны практики. Учитывая сказанное, нельзя не согласиться с выводом Б. Ф. Ломова о том, что «разработка теории психологического эксперимента является сейчас одной из наиболее острых задач, в решении которой заинтересованы так или иначе все отрасли психологии» [18, с. 33].

Успех в решении данной задачи, естественно, возможен лишь при ориентации на соответствующие положения марксистско-ленинской философской методологии. Здесь прежде всего необходимо принять во внимание замечание К. Маркса о том, что «...не только результат исследования, но и ведущий к нему путь должен быть истинным» [1]. Не случайно во многих работах по философской и специальной методологии научного познания подчеркивается, что в становлении и развитии знания, взятом как относительно самостоятельный процесс, важную роль наряду с критерием общественно-исторической практики призваны сыграть и «внутринаучные критерии обоснования знания, в частности логические формы доказательства». Их роль тем значительнее, что и сам по себе критерий практики (одной из основных форм которой является, как известно, эксперимент) «включается в познание посредством получаемых в итоге его применения понятий, суждений, умозаключений, где логическая правильность операций мышления выступает в качестве одного из обязательных условий истинности выводов» [20, с. 338].

В качестве одного из таких критериев внимание психологов в последние годы во все возрастающей степени привлекает валидность исследовательской {118} (в первую очередь экспериментальной) методики. Существуют различные типы и виды этого критерия, каждый из которых используется для характеристики определенного аспекта исследовательской конструкции [5]. Однако мы ограничим свой анализ рассмотрением лишь типов валидности, поскольку именно с ними связана возможность совершенствования того или иного метода. Это — валидность содержательная и валидность экологическая (практическая). Первый из этих типов можно определить как степень соответствия между, с одной стороны, предметом исследования и содержанием получаемого результата, которые приписываются экспериментальной методике ее автором, и, с другой стороны, тем, что она фактически представляет собой в этих отношениях. Второй тип валидности характеризует методику с точки зрения практической применимости даваемого ею знания (на что и указывает соответствующий термин — «практическая»).

Пользуясь только что обозначенными понятиями, можно сказать, что А. Чапанис фактически обвинил лабораторный эксперимент в низкой содержательной валидности, тогда как Е. Г.Чемберс — в отсутствии валидности практической. Попутно укажем на взаимосвязь, существующую между этими типами: первый является необходимым, но не достаточным условием второго; вместе с тем отсутствие у методики практической валидности во многих случаях (но отнюдь не всегда) может служить основанием для более глубокого анализа ее содержательной валидности. Отсюда следует, что применение критерия валидности — это не что иное, как один из важнейших механизмов того критико-рефлексивного отношения к своим задачам и средствам их решения, которое столь характерно для современного этапа развития научного познания [24].

Не случайно поэтому в последние годы авторы экспериментальных исследований в области психологии при характеристике применявшейся методики и оценке ее эффективности довольно часто обращаются к критерию валидности, причем как в содержательном, так и в практическом ее аспектах. Однако эта положительная тенденция в значительной мере тормозится его недостаточной разработанностью. Весьма фрагментарные и разрозненные описания данного критерия, содержащиеся в новейших публикациях по конструированию психологического эксперимента [9, 15, 27, 31], не только не устраняют, но, наоборот, подчеркивают необходимость специального, систематического анализа данной проблемы. Предпринимая попытку в этом направлении, остановимся вначале на факторах, определяющих содержательную валидность экспериментальной методики, а затем коснемся вопросов, связанных с экологической валидностью.

УСЛОВИЯ, ОБЕСПЕЧИВАЮЩИЕ СОДЕРЖАТЕЛЬНУЮ ВАЛИДНОСТЬ

Экспериментальная гипотеза как системообразующий фактор. В гносеологическом плане эксперимент выступает прежде всего как один из тех главных «стыков», где два основных звена общей цепи познания — теория и практика — входят в непосредственное соприкосновение и взаимодействие друг с другом. При этом теоретическое звено представлено экспериментальной гипотезой, практическое — процедурой и результатами ее экспериментальной проверки. В отличие от исторического процесса человеческого познания, примат в котором во всех отношениях принадлежит общественной практике [20], в рамках отдельного научного эксперимента роль основы и системообразующего фактора отводится теоретической гипотезе. Она конституирует не только всю структуру конкретной методики, но в некоторых случаях (когда выдвигается достаточно весомое теоретическое положение или методологический принцип) и сам экспериментальный метод в целом. {119}

Последнее можно проиллюстрировать, сославшись на хорошо известный факт усовершенствования С. Л. Рубинштейном и его сотрудниками метода естественного эксперимента. Напомним, что в своей первоначальной форме этот метод строился на исключении каких-либо целенаправленных воздействий на ребенка со стороны экспериментатора — считалось, что лишь при этом условии может быть достигнут желанный эффект естественности. Однако С. Л. Рубинштейн, исходя из теоретической концепции о развитии ребенка в условиях обучения и воспитания под влиянием определенным образом организованных воздействий, выдвинул совершенно новый методический принцип, согласно которому построенное по типу педагогического процесса воздействие вполне естественно [3]. На этом принципе основаны широко используемые в наше время методики формирующего (обучающего или воспитывающего) эксперимента.

Экспериментальная гипотеза может считаться психологически содержательной, если в ее основу положено теоретическое понятие, соответствующее современному уровню развития науки и отражающее те психические феномены, которые должны выступать в предстоящем исследовании в роли промежуточных переменных. Иными словами, необходимо, чтобы в гипотезе были указаны, причем как можно более дифференцированно, те психические процессы или состояния, которые, с одной стороны, провоцируются или изменяются в количественном отношении под влиянием независимой переменной (т.е. фактора, планомерно изменяемого экспериментатором с целью выяснить его влияние на психику и поведение испытуемых), а с другой — непосредственно детерминируют те или иные значения зависимых переменных, находя в них, таким образом, свое внешнее проявление (при этом в роли зависимых переменных могут выступать скорость выполнения экспериментального задания, количество допущенных при этом ошибок, латентное время ответа и т. п.). Независимо от того, презентированы ли в какой-либо форме сознанию испытуемого соответствующие психические процессы или состояния, теоретическое понятие, в котором они отражены, выступает в исследовании в качестве средства для объяснения зафиксированных изменений зависимых переменных.

К сожалению, далеко не во всех экспериментальных исследованиях промежуточные переменные эксплицированы должным образом.

Яркий пример тому — зарубежные работы, посвященные применению функциональной музыки на производстве. Как показал специальный анализ [7], музыка в этих исследованиях рассматривается всего лишь как фоновый, ритмически организованный звуковой раздражитель, оказывающий на работающих сугубо физиологическое воздействие. Односторонность такого понимания функциональной музыки, нс учитывающего ее художественной содержательности и упрощающего структуру перцептивного процесса при полном игнорировании его мыслительного и эмоционального компонентов, проявилась, в частности, в тенденции исключать из соответствующих программ произведения с поэтическим словесным текстом, не принимать во внимание при составлении этих программ вкусы и пожелания самих рабочих.

В методическом плане все это означало искажение фактического содержания промежуточной переменной, т. е. содержательную невалидность указанных исследований. В методологическом же отношении здесь имеет место ошибка, на которую специально обратил внимание исследователей М. Г. Ярошевский. Сущность ее состоит в том, что нераздельность физиологического и психического в деятельности целостного организма как объекта исследования как бы переносится на его предмет. Это приводит к гипертрофии роли физиологического при недооценке или полном игнорировании функции психического, т.е., по сути, к физиологическому редукционизму [26, с. 11].

Успешная попытка «развести» психологические и физиологические факторы, выполняющие роль промежуточных переменных, была предпринята в свое время Е. А. Деревянко при исследовании динамики утомления [10]. На материале лабораторного эксперимента убедительно показано, что в детерминации продуктивности работы физиологические потенции и профессиональный опыт индивида опосредуются его способностью {120} к эмоционально-волевому напряжению; хотя последняя в свою очередь в значительной степени зависит от нейрофизиологических особенностей организма, тем не менее ее уровень во многом определяется такими сугубо психологическими факторами, как отношение к труду, чувство ответственности и т.п.

Другим примером такого рода может служить проведенное нами совместно с В. Г. Лоосом исследование, направленное на оптимизацию режима труда и отдыха на конвейерно-поточных линиях [8]. Производственный эксперимент был построен таким образом, чтобы эффект, вызываемый сугубо психологическим фактором осознания рабочими своей регулирующей роли по отношению к скорости движения конвейерной ленты, можно было оценить изолированно от воздействий физиологического характера, оказываемых на человеческий организм фактическим изменением темпа работы в соответствии с кривой работоспособности.

Что касается проверяемости экспериментальной гипотезы, то необходимо, чтобы логический объем каждого из входящих в ее состав понятий (а значит, и объем выводов, формулируемых в результате исследования) полностью репрезентировался независимыми и зависимыми переменными, используемыми в данном исследовании. Если же в описании в качестве промежуточных переменных фигурируют, как это нередко случается, максимально обобщенные наименования психических процессов и состояний (такие, как «восприятие», «внимание», «память», «стресс» и т. п.), то это делает его маловалидным. Ведь ни одна методика не может представить исследуемый психический процесс в столь широком разнообразии типов и видов, чтобы такого рода тотальные наименования оказались правомерными. Поэтому промежуточные переменные должны быть специфицированы со всеми ограничениями, вытекающими из конкретных особенностей как стимульного материала, с которым имеет дело испытуемый, так и применяемых в данном эксперименте зависимых переменных.

Независимые переменные как психологические модели ситуаций «реальной жизни». В этом вопросе полезно выделить два взаимосвязанных аспекта: 1) репрезентацию исследуемого фактора per se; 2) представление его взаимосвязей с другими факторами исследуемой реальности.

В отношении первого аспекта возможны различные решения: а) данный фактор воспроизводится в эксперименте в его натуральном виде; б) при его репрезентации используются приемы ограничения, сокращения, технической замены и обогащения; в) данный фактор отображается в эксперименте по методу психологического замещения — имитационного, изобразительно-символического или комбинированного [б]. Какой из указанных подходов следует предпочесть в том или ином конкретном случае, зависит от многих обстоятельств. Однако для создания валидной методики всегда необходимо обеспечить тождественность психических процессов и состояний, провоцируемых, с одной стороны, в естественных и, с другой — в экспериментальных условиях [6].

Что касается второго из названных аспектов, то определенная аналитичность репрезентации реальной действительности в лабораторном эксперименте не просто допустима — она составляет его неотъемлемую черту. Все зависит от того, какие именно связи исследуемого фактора не представлены в лабораторной ситуации. Несущественные, случайные, несомненно, могут быть опущены без какого-либо ущерба для валидности планируемого эксперимента. Для репрезентации же существенных связей следует воспользоваться одним из вариантов факторного планирования [25].

Таким образом, нельзя согласиться с мнением Чапаниса, будто присущая эксперименту неполная репрезентация исследуемой реальности неминуемо является вместе с тем репрезентацией «неверной». Аналогичных {121} переменных. Такого рода непредвиденное воздействие (именуемое с тех пор «эффектом Хоторна») может быть легко обнаружено и соответствующим образом учтено, если в дополнение к экспериментальной группе в аналогичном помещении будет работать контрольная группа испытуемых. Однако в данном случае это сделано не было, и эксперимент, замышлявшийся как модель типичной производственной ситуации, в действительности представлял собой лишь квазимодель.

Средством избежать искажающего влияния артефактов является и их предупреждение путем создания такой экспериментальной конструкции, которая во всех отношениях носила бы «естественный» характер. Успешный опыт проведения таких экспериментов существует.

Мы имеем в виду проведенное еще в 20-х годах под руководством Э. Заксенберга лабораторное исследование влияния скорости движения конвейера на производительность труда при выполнении различных видов физической работы [13].

Выбор и регистрация зависимых переменных. Главная проблема, которая встает здесь перед исследователем, — добиться того, чтобы, говоря словами С. Л. Рубинштейна, «внешнее протекание акта адекватно отражало бы его внутреннее психическое содержание» [22, с. 37]. Адекватность отражения предполагает прежде всего его полноту. Последняя же обеспечивается достаточно глубоким знанием сущности исследуемого феномена.

Хорошей иллюстрацией этого требования могут служить исследования утомления. Казалось бы, здесь нет и не может быть никаких «подводных камней»: нужно брать в качестве зависимой переменной показатели продуктивности работы, и цель исследования будет достигнута. Однако полностью валидным такое исследование окажется лишь в том случае, если будет правильно выбрано время фиксации названных показателей. Дело в том, что нередко интервал между работой, вызывающей утомление, и моментом, когда оно впервые начинает себя проявлять, исчисляется несколькими часами.

Самооценка валидности. Реализация изложенных выше требований делает описание исследования настолько «прозрачным», что в нем сразу же прорисовываются те моменты, состояние которых определяет степень валидности оцениваемой методики. Исследование, описание которого не содержит полной и четкой спецификации основных элементов экспериментальной конструкции и ее структуры в целом, не может быть признано валидным. Иными словами, вначале анализ и оценку валидности разработанной экспериментальной методики должен представить ее автор. В этом случае читатель и критик получают возможность выполнить одну из своих функций — проконтролировать и оценить обоснованность, логическую непротиворечивость представленных рассуждений и, исходя из такой оценки, сделать вывод о том, насколько в действительности валидна данная методика.

НЕКОТОРЫЕ ПРЕДПОСЫЛКИ ПОВЫШЕНИЯ ЭКОЛОГИЧЕСКОЙ ВАЛИДНОСТИ ЭКСПЕРИМЕНТАЛЬНЫХ МЕТОДИК

Попытаемся теперь установить объективный смысл критических замечаний, высказанных Чемберсом в адрес экспериментальных исследований переноса тренировки. Мы видим этот смысл отнюдь не в отрицании практической ценности всякого лабораторного эксперимента, а в косвенном указании на необходимость проведения по данной проблеме, в дополнение к экспериментам общепсихологического плана, экспериментальных исследований прикладного, а затем и практического характера. Следовательно, здесь встает задача состыковки всех трех звеньев исследовательской системы, классифицируемых по степени общности и характеру получаемых результатов. {123}

Задача состыковки прикладного и практического уровней исследования глубоко проанализирована в одной из работ Ю. М. Забродина [12]. Представляется весьма конструктивным положение о том, что «для решения практических задач, точно так же как и для решения задач исследовательских, нужна своя, особая, адекватная им система методов — применения (а не добывания) психологических знаний» [12, с. 10]. Важное значение имеет также указание на гносеологическую особенность данного стыка — необходимость перехода от «предметного» отражения различных аспектов и сфер реальности, характерного не только для общепсихологических, но в значительной мере и для прикладных психологических исследований, к целостным явлениям и объектам, которые существуют в этой реальности. «Другими словами, от абстракции отдельных сторон реальности приходится переходить к действительным контактам, взаимодействию, к управлению этими самыми реальными объектами» [12, с. б]. Это предполагает прежде всего предварительное выявление не только общих свойств, но и индивидуальных особенностей реального объекта. На этой основе и к тем и к другим свойствам должны быть приложены уже не «предметные», не абстрактные знания, а знания системы, конкретные, представляющие собой, по выражению К. Маркса, «синтез многих определений, следовательно единство многообразного» [2]. Причем, как подчеркивает Ю.М.Забродин, «синтез различного научного знания для таких объектов в направлении решения практической задачи (в силу системности объекта) должен быть комплексным, как и сами практические решения» [12, с. 10].

Важнейшим средством проверки правильности такого комплексного синтеза и комплексного решения становится практический эксперимент.

О том, какой высокой степенью сложности и специфичности могут обладать системные объекты, с которыми при проведении таких экспериментов имеет дело, в частности, инженерная психология, свидетельствует, например, опыт конструирования систем отображения информации для диспетчерских пунктов объединенных энергосистем. Как отмечает В. Ф. Венда [4], в отличие от вычислительной техники, средств связи и другого серийно выпускаемого оборудования система отображения информации для каждой АСУ проектируется отдельно, поскольку нестандартны сами функции операторов. В связи с этим в практических экспериментах по оценке структуры систем отображения информации могут участвовать только диспетчеры конкретного объединения.

Приведенный пример убедительно показывает: если в прикладном эксперименте прототипом при моделировании служит определенный класс объектов, то в эксперименте практическом эту функцию выполняет тот или иной единичный объект, по отношению к которому и осуществляется «привязка» знаний, полученных на уровне прикладного исследования.

Стык между общепсихологическим и прикладным уровнями исследования коренным образом отличается от стыка между этим последним и непосредственно практическим экспериментом. Если во втором случае применение полученных знаний осуществляется в основном путем дедукции (разумеется, после предварительного их синтеза), то в первом случае «перенос» полученного знания в практику происходит опосредованно — через синтез новой теории, на основании которой разрабатываются эмпирические гипотезы для прикладных, в том числе экспериментальных, исследований. Возможность и сам факт разработки таких гипотез должны служить показателями экологической валидности той или иной экспериментальной методики общепсихологического уровня.

Подведем краткий итог. Мы сделали лишь первоначальную попытку систематического анализа общенаучного критерия валидности в приложении к психологическому эксперименту. Однако и она показывает, сколь существенно данное понятие для дальнейшего развития экспериментальной психологии. Критерий валидности предстает здесь как решающий фактор субъективной (авторской) и объективной (исходящей {124} от научного сообщества) рефлексии, обеспечивающий органическое взаимодействие логической оценки и практической проверки экспериментальных методик на всех уровнях их исследования: общепсихологическом, прикладном и практическом. Всесторонняя и детальная разработка этого критерия (а здесь пока существует немало «белых пятен») является поэтому важнейшей методологической предпосылкой дальнейшего прогресса экспериментальной психологии.

ЛИТЕРАТУРА

Маркс К., Энгельс Ф. Соч. 2-е изд., т. 1, с. 7.

Маркс К; Энгельс Ф. Соч., т. 46, ч. 1, с. 37.

Будилова Е. А. Методология, теория и эксперимент в научном творчества С. Л. Рубинштейна. — Вопр. психологии, 1979, № 3, с. 106—114.

Венда В. Ф. Инженерная психология и синтез систем отображения информации М., 1975.

Гильбух Ю. З. Актуальные проблемы валидации психологических тестов. — Вопр. психологии, 1978, № 5, с. 108-118.

.Гильбух Ю. З. Тренировочные устройства в профессиональном обучении (Психолого-педагогические аспекты). Киев, 1979.

Гильбух Ю. З., Костюк Л. Г., Лоос В. Г. Проблема функциональной музыки в зарубежной психологии. — Вопр. психологии, 1971, № 3, с. 162—168.

Гильбух Ю. З., Лоос В. Г. Психологические проблемы НОТ. — Соц. труд, 1967 № 8, с. 70—79.

Готтсданкер Р. Основы психологического эксперимента. М., 1982.

Деревянко Е. А. Взаимодействие между некоторыми физиологическими и психологическими факторами при развитии утомления в процессе трудовой деятельности. — В кн.: Тез. докл. на I съезде Об-ва психологов. М., 1959, с. 173—176.

Забродин Ю.М. Проблемы разработки практической психологии (О научных основах психологической службы). — Психол. ж., 1980, т. 1, № 2, с. 5—18.

Забродин Ю.М. Развитие советской психологии и задачи психологической службы. — Психол. ж., 1984, т. 5, № 6, с. 3—20.

Заксенберг Э. Производительность труда при непрерывном потоке. — В кн.: Организация поточного производства в машиностроении. М.—Л., 1933, с. 9—59.

Зараковский Г. М., Рысакова С. Л., Чернов К. А. Принципы постановки экспериментов при разработке моделей сложных действий человека-оператора. — Психол. ж., 1984, т. 5, № 6, с. 93—105.

Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М., 1980.

Личность в психологическом эксперименте. М., 1973.

Ломов Б. Ф. Методологические и теоретические проблемы психологии. М., 1984.

Ломов Б. Ф. О роли практики в развитии теории общей психологии. — Вопр. психологии, 1971, № 1, с. 26—35.

Материалистическая диалектика: в 5-ти т. Т. 2: Субъективная диалектика М 1982.

Материалистическая диалектика. Краткий очерк теории. М., 1985.

Паповян С. С. Эксперимент в прикладной социальной психологии: актуальные проблемы статистического анализа данных. — Психол. ж., 1985, т. 6, # 6, с. 90—100.

Рубинштейн С. Л. Основы общей психологии. М., 1946.

Система испытаний для психологического профотбора шоферов. Харьков, 1936.

Швырев В. С. Научное познание как деятельность. М., 1984.

Экспериментальная психология. Вып. 1, 2 / Под ред. Фресс П., Пиаже Ж. М., 1966.

Ярошевский М. Г. Психофизиология труда и зарождение принципа деятельности в советской психологии. — Вопр. психологии, 1977, № 6, с. 3—16.

Bures J. Techniques and Basic Experiments for the Study of Brain and Behaviour Amsterdam, 1983.

Chambers E. G. Transfer of Training: a Practical Problem. — Occup. Psychol, 1956 v. 30, № 5, р. 557—578.

Chapanis A. The Relevance of Laboratory Studies to Practical Situation. — Ergonomics, 1967, v. 10, № 5, р. 557—578.

Mayo E. Social Problems of Industrial Civilization. L., 1949.

Zeisel J. Inquiry by Design: Tools for Environment-Behaviour Research. Cambridge, 1985