Проблема валидности эксперимента в психологии (работа 2)

Проблема валидности эксперимента в психологии

Необходимость более тесной интеграции теоретических и прикладных исследований в психологии, интенсивного развитияпрактической психологии [11, 12], наконец, наблюдающийся в последние годы существенный прогресс как философской [19], так и специальной [24] методологиинаучного познания, в том числе в области психологии [17], — все это побуждает со всей тщательностью, во многом с более совершенных методологических позицийпроанализировать состояние ее методического арсенала. Метод эксперимента привлекает внимание в этой связи в силу двух обстоятельств.

С одной стороны, для психологической науки этот метод был и остается основным инструментом получения эмпирических данных,проверки теоретических гипотез [16].

С другой стороны, по мере того как сфера применения лабораторного эксперимента все более расширялась, далеко выйдя запервоначальные рамки общей психологии, данный метод подвергался возрастающей критике. Ее лейтмотив — неудовлетворенность степенью научной достоверности ипрактической ценности знания, обеспечиваемых данным методом.

Примером критики первого из этих недостатков может служить анализ модельной природы лабораторного эксперимента, проведенный А.Чапанисом (A. Chapanis). Взяв в качестве примера ряд исследований по проблеме бдительности оператора, он делает следующее обобщение:

«Всякий лабораторный эксперимент — лишь модель реальной жизни, причем модель, которая всегда является неполной, а значит, иневерной [29, с. 561]. Неадекватность эксперимента как модели, отмечает далее {117} Чапанис, обусловливается, как правило, еще двумя обстоятельствами:во-первых, типичным для лабораторного эксперимента рандомизированным предъявлением стимулов (в реальной жизни стимулы обычно воспринимаются вконтекстных и последовательностных рамках) и, во-вторых, прежде всего повышенной, по сравнению с условиями «реальной жизни», частотой воспроизведенияаварийных ситуаций и других стрессовых воздействий.

Наконец, ко всему этому можно добавить часто встречающиеся в литературе сетования на неудовлетворительную репрезентациюисследуемой популяции, на влияние разного рода артефактов, в особенности установок предвзятости, носителями которых часто оказываются не толькоиспытуемые, но и сам экспериментатор [9, 15, 16, 25].

В отношении критики второго главного недостатка рассматриваемого метода весьма показательной является статья Е.Г. Чемберса(Е.G. Chambers) [28]. Исходя из того что быстро развивающаяся автоматизация производства выдвигает в число актуальных практических задач проблемуперманентного «переучивания» кадров, автор задался целью выяснить, сколь полезным могут быть в этом отношении результаты многочисленных лабораторныхисследований по так называемому переносу научения — одной из традиционных проблем общей психологии. Проанализировав имевшуюся в то время (середина 50-хгодов) весьма обширную литературу, Чемберс пришел к неутешительному выводу: несмотря на возможную научную значимость, исследования, проведенные по даннойпроблеме, в подавляющем большинстве не могут быть использованы для решения указанной задачи. Главная причина — крайне упрощенный и искусственный характертех заданий, которые предлагаются испытуемым в такого рода исследованиях (например, усвоение парных словесных ассоциаций, формирование навыка нажатия накнопку при появлении определенного сигнала и т. п.).

Таким образом, налицо определенные признаки кризисной ситуации: с одной стороны, констатируется «непрактичность» многихлабораторных экспериментов, проведенных в русле общепсихологического исследования, а с другой — ставится под сомнение возможность адекватногомоделирования в прикладном лабораторном эксперименте тех аспектов профессиональной деятельности, которые составляют предмет непосредственногоинтереса со стороны практики. Учитывая сказанное, нельзя не согласиться с выводом Б. Ф. Ломова о том, что «разработка теории психологическогоэксперимента является сейчас одной из наиболее острых задач, в решении которой заинтересованы так или иначе все отрасли психологии» [18, с. 33].

Успех в решении данной задачи, естественно, возможен лишь при ориентации на соответствующие положения марксистско-ленинскойфилософской методологии. Здесь прежде всего необходимо принять во внимание замечание К. Маркса о том, что «...не только результат исследования, но иведущий к нему путь должен быть истинным» [1]. Не случайно во многих работах по философской и специальной методологии научного познания подчеркивается, что встановлении и развитии знания, взятом как относительно самостоятельный процесс, важную роль наряду с критерием общественно-исторической практики призванысыграть и «внутринаучные критерии обоснования знания, в частности логические формы доказательства». Их роль тем значительнее, что и сам по себе критерийпрактики (одной из основных форм которой является, как известно, эксперимент) «включается в познание посредством получаемых в итоге его применения понятий,суждений, умозаключений, где логическая правильность операций мышления выступает в качестве одного из обязательных условий истинности выводов» [20, с.338].

В качестве одного из таких критериев внимание психологов в последние годы во все возрастающей степени привлекает валидностьисследовательской {118} (в первую очередь экспериментальной) методики. Существуют различные типы и виды этого критерия, каждый из которых используетсядля характеристики определенного аспекта исследовательской конструкции [5]. Однако мы ограничим свой анализ рассмотрением лишь типов валидности, посколькуименно с ними связана возможность совершенствования того или иного метода. Это — валидность содержательная и валидность экологическая (практическая). Первыйиз этих типов можно определить как степень соответствия между, с одной стороны, предметом исследования и содержанием получаемого результата, которыеприписываются экспериментальной методике ее автором, и, с другой стороны, тем, что она фактически представляет собой в этих отношениях. Второй тип валидностихарактеризует методику с точки зрения практической применимости даваемого ею знания (на что и указывает соответствующий термин — «практическая»).

Пользуясь только что обозначенными понятиями, можно сказать, что А. Чапанис фактически обвинил лабораторный эксперимент внизкой содержательной валидности, тогда как Е. Г.Чемберс — в отсутствии валидности практической. Попутно укажем на взаимосвязь, существующую междуэтими типами: первый является необходимым, но не достаточным условием второго; вместе с тем отсутствие у методики практической валидности во многих случаях (ноотнюдь не всегда) может служить основанием для более глубокого анализа ее содержательной валидности. Отсюда следует, что применение критерия валидности —это не что иное, как один из важнейших механизмов того критико-рефлексивного отношения к своим задачам и средствам их решения, которое столь характерно длясовременного этапа развития научного познания [24].

Не случайно поэтому в последние годы авторы экспериментальных исследований в области психологии при характеристикеприменявшейся методики и оценке ее эффективности довольно часто обращаются к критерию валидности, причем как в содержательном, так и в практическом ееаспектах. Однако эта положительная тенденция в значительной мере тормозится его недостаточной разработанностью. Весьма фрагментарные и разрозненные описанияданного критерия, содержащиеся в новейших публикациях по конструированию психологического эксперимента [9, 15, 27, 31], не только не устраняют, но,наоборот, подчеркивают необходимость специального, систематического анализа данной проблемы. Предпринимая попытку в этом направлении, остановимся вначалена факторах, определяющих содержательную валидность экспериментальной методики, а затем коснемся вопросов, связанных с экологической валидностью.

УСЛОВИЯ, ОБЕСПЕЧИВАЮЩИЕ СОДЕРЖАТЕЛЬНУЮ ВАЛИДНОСТЬ

Экспериментальная гипотеза как системообразующий фактор. В гносеологическом плане эксперимент выступает прежде всего как один из техглавных «стыков», где два основных звена общей цепи познания — теория и практика — входят в непосредственное соприкосновение и взаимодействие друг сдругом. При этом теоретическое звено представлено экспериментальной гипотезой, практическое — процедурой и результатами ее экспериментальной проверки. Вотличие от исторического процесса человеческого познания, примат в котором во всех отношениях принадлежит общественной практике [20], в рамках отдельногонаучного эксперимента роль основы и системообразующего фактора отводится теоретической гипотезе. Она конституирует не только всю структуру конкретнойметодики, но в некоторых случаях (когда выдвигается достаточно весомое теоретическое положение или методологический принцип) и сам экспериментальныйметод в целом. {119}

Последнее можно проиллюстрировать, сославшись на хорошо известный факт усовершенствования С. Л. Рубинштейном и его сотрудникамиметода естественного эксперимента. Напомним, что в своей первоначальной форме этот метод строился на исключении каких-либо целенаправленных воздействий наребенка со стороны экспериментатора — считалось, что лишь при этом условии может быть достигнут желанный эффект естественности. Однако С. Л. Рубинштейн,исходя из теоретической концепции о развитии ребенка в условиях обучения и воспитания под влиянием определенным образом организованных воздействий,выдвинул совершенно новый методический принцип, согласно которому построенное по типу педагогического процесса воздействие вполне естественно [3]. На этомпринципе основаны широко используемые в наше время методики формирующего (обучающего или воспитывающего) эксперимента.

Экспериментальная гипотеза может считаться психологически содержательной, если в ее основу положено теоретическое понятие,соответствующее современному уровню развития науки и отражающее те психические феномены, которые должны выступать в предстоящем исследовании в роли промежуточныхпеременных. Иными словами, необходимо, чтобы в гипотезе были указаны, причем как можно более дифференцированно, те психические процессы или состояния,которые, с одной стороны, провоцируются или изменяются в количественном отношении под влиянием независимой переменной (т.е. фактора, планомерноизменяемого экспериментатором с целью выяснить его влияние на психику и поведение испытуемых), а с другой — непосредственно детерминируют те или иныезначения зависимых переменных, находя в них, таким образом, свое внешнее проявление (при этом в роли зависимых переменных могут выступать скоростьвыполнения экспериментального задания, количество допущенных при этом ошибок, латентное время ответа и т. п.). Независимо от того, презентированы ли вкакой-либо форме сознанию испытуемого соответствующие психические процессы или состояния, теоретическое понятие, в котором они отражены, выступает висследовании в качестве средства для объяснения зафиксированных изменений зависимых переменных.

К сожалению, далеко не во всех экспериментальных исследованиях промежуточные переменные эксплицированы должным образом.

Яркий пример тому — зарубежные работы, посвященные применению функциональной музыки на производстве. Как показал специальныйанализ [7], музыка в этих исследованиях рассматривается всего лишь как фоновый, ритмически организованный звуковой раздражитель, оказывающий на работающихсугубо физиологическое воздействие. Односторонность такого понимания функциональной музыки, нс учитывающего ее художественной содержательности иупрощающего структуру перцептивного процесса при полном игнорировании его мыслительного и эмоционального компонентов, проявилась, в частности, втенденции исключать из соответствующих программ произведения с поэтическим словесным текстом, не принимать во внимание при составлении этих программ вкусыи пожелания самих рабочих.

В методическом плане все это означало искажение фактического содержания промежуточной переменной, т. е. содержательнуюневалидность указанных исследований. В методологическом же отношении здесь имеет место ошибка, на которую специально обратил внимание исследователей М. Г.Ярошевский. Сущность ее состоит в том, что нераздельность физиологического и психического в деятельности целостного организма как объекта исследования какбы переносится на его предмет. Это приводит к гипертрофии роли физиологического при недооценке или полном игнорировании функции психического, т.е., по сути, кфизиологическому редукционизму [26, с. 11].

Успешная попытка «развести» психологические и физиологические факторы, выполняющие роль промежуточных переменных, былапредпринята в свое время Е. А. Деревянко при исследовании динамики утомления [10]. На материале лабораторного эксперимента убедительно показано, что вдетерминации продуктивности работы физиологические потенции и профессиональный опыт индивида опосредуются его способностью {120} к эмоционально-волевомунапряжению; хотя последняя в свою очередь в значительной степени зависит от нейрофизиологических особенностей организма, тем не менее ее уровень во многомопределяется такими сугубо психологическими факторами, как отношение к труду, чувство ответственности и т.п.

Другим примером такого рода может служить проведенное нами совместно с В. Г. Лоосом исследование, направленное наоптимизацию режима труда и отдыха на конвейерно-поточных линиях [8]. Производственный эксперимент был построен таким образом, чтобы эффект,вызываемый сугубо психологическим фактором осознания рабочими своей регулирующей роли по отношению к скорости движения конвейерной ленты, можнобыло оценить изолированно от воздействий физиологического характера, оказываемых на человеческий организм фактическим изменением темпа работы всоответствии с кривой работоспособности.

Что касается проверяемости экспериментальной гипотезы, то необходимо, чтобы логический объем каждого из входящих в ее составпонятий (а значит, и объем выводов, формулируемых в результате исследования) полностью репрезентировался независимыми и зависимыми переменными,используемыми в данном исследовании. Если же в описании в качестве промежуточных переменных фигурируют, как это нередко случается, максимальнообобщенные наименования психических процессов и состояний (такие, как «восприятие», «внимание», «память», «стресс» и т. п.), то это делает егомаловалидным. Ведь ни одна методика не может представить исследуемый психический процесс в столь широком разнообразии типов и видов, чтобы такогорода тотальные наименования оказались правомерными. Поэтому промежуточные переменные должны быть специфицированы со всеми ограничениями, вытекающими изконкретных особенностей как стимульного материала, с которым имеет дело испытуемый, так и применяемых в данном эксперименте зависимых переменных.

Независимые переменные как психологические модели ситуаций «реальной жизни». В этомвопросе полезно выделить два взаимосвязанных аспекта: 1) репрезентацию исследуемого фактора per se; 2) представление его взаимосвязей с другимифакторами исследуемой реальности.

В отношении первого аспекта возможны различные решения: а) данный фактор воспроизводится в эксперименте в его натуральномвиде; б) при его репрезентации используются приемы ограничения, сокращения, технической замены и обогащения; в) данный фактор отображается в экспериментепо методу психологического замещения — имитационного, изобразительно-символического или комбинированного [б]. Какой из указанных подходов следует предпочесть в томили ином конкретном случае, зависит от многих обстоятельств. Однако для создания валидной методики всегда необходимо обеспечить тождественностьпсихических процессов и состояний, провоцируемых, с одной стороны, в естественных и, с другой — в экспериментальных условиях [6].

Что касается второго из названных аспектов, то определенная аналитичность репрезентации реальной действительности влабораторном эксперименте не просто допустима — она составляет его неотъемлемую черту. Все зависит от того, какие именно связи исследуемого фактора непредставлены в лабораторной ситуации. Несущественные, случайные, несомненно, могут быть опущены без какого-либо ущерба для валидности планируемогоэксперимента. Для репрезентации же существенных связей следует воспользоваться одним из вариантов факторного планирования [25].

Таким образом, нельзя согласиться с мнением Чапаниса, будто присущая эксперименту неполная репрезентация исследуемойреальности неминуемо является вместе с тем репрезентацией «неверной». Аналогичных {121} переменных. Такого рода непредвиденное воздействие (именуемоес тех пор «эффектом Хоторна») может быть легко обнаружено и соответствующим образом учтено, если в дополнение к экспериментальной группе в аналогичномпомещении будет работать контрольная группа испытуемых. Однако в данном случае это сделано не было, и эксперимент, замышлявшийся как модель типичнойпроизводственной ситуации, в действительности представлял собой лишь квазимодель.

Средством избежать искажающего влияния артефактов является и их предупреждение путем создания такой экспериментальнойконструкции, которая во всех отношениях носила бы «естественный» характер. Успешный опыт проведения таких экспериментов существует.

Мы имеем в виду проведенное еще в 20-х годах под руководством Э. Заксенберга лабораторное исследование влияния скорости движенияконвейера на производительность труда при выполнении различных видов физической работы [13].

Выбор и регистрация зависимых переменных. Главная проблема, которая встает здесь передисследователем, — добиться того, чтобы, говоря словами С. Л. Рубинштейна, «внешнее протекание акта адекватно отражало бы его внутреннее психическоесодержание» [22, с. 37]. Адекватность отражения предполагает прежде всего его полноту. Последняя же обеспечивается достаточно глубоким знанием сущностиисследуемого феномена.

Хорошей иллюстрацией этого требования могут служить исследования утомления. Казалось бы, здесь нет и не может быть никаких«подводных камней»: нужно брать в качестве зависимой переменной показатели продуктивности работы, и цель исследования будет достигнута. Однако полностьювалидным такое исследование окажется лишь в том случае, если будет правильно выбрано время фиксации названных показателей. Дело в том, что нередко интервалмежду работой, вызывающей утомление, и моментом, когда оно впервые начинает себя проявлять, исчисляется несколькими часами.

Самооценка валидности. Реализация изложенных выше требований делает описаниеисследования настолько «прозрачным», что в нем сразу же прорисовываются те моменты, состояние которых определяет степень валидности оцениваемой методики.Исследование, описание которого не содержит полной и четкой спецификации основных элементов экспериментальной конструкции и ее структуры в целом, неможет быть признано валидным. Иными словами, вначале анализ и оценку валидности разработанной экспериментальной методики должен представить ее автор. В этомслучае читатель и критик получают возможность выполнить одну из своих функций — проконтролировать и оценить обоснованность, логическую непротиворечивостьпредставленных рассуждений и, исходя из такой оценки, сделать вывод о том, насколько в действительности валидна данная методика.

НЕКОТОРЫЕ ПРЕДПОСЫЛКИ ПОВЫШЕНИЯ ЭКОЛОГИЧЕСКОЙ ВАЛИДНОСТИ ЭКСПЕРИМЕНТАЛЬНЫХ МЕТОДИК

Попытаемся теперь установить объективный смысл критических замечаний, высказанных Чемберсом в адрес экспериментальныхисследований переноса тренировки. Мы видим этот смысл отнюдь не в отрицании практической ценности всякого лабораторного эксперимента, а в косвенномуказании на необходимость проведения по данной проблеме, в дополнение к экспериментам общепсихологического плана, экспериментальных исследованийприкладного, а затем и практического характера. Следовательно, здесь встает задача состыковки всех трех звеньев исследовательской системы, классифицируемыхпо степени общности и характеру получаемых результатов. {123}

Задача состыковки прикладного и практического уровней исследования глубоко проанализирована в одной из работ Ю. М. Забродина[12]. Представляется весьма конструктивным положение о том, что «для решения практических задач, точно так же как и для решения задач исследовательских,нужна своя, особая, адекватная им система методов — применения (а не добывания) психологических знаний» [12, с. 10]. Важное значение имеет также указание нагносеологическую особенность данного стыка — необходимость перехода от «предметного» отражения различных аспектов и сфер реальности, характерного нетолько для общепсихологических, но в значительной мере и для прикладных психологических исследований, к целостным явлениям и объектам, которыесуществуют в этой реальности. «Другими словами, от абстракции отдельных сторон реальности приходится переходить к действительным контактам, взаимодействию, куправлению этими самыми реальными объектами» [12, с. б]. Это предполагает прежде всего предварительное выявление не только общих свойств, но ииндивидуальных особенностей реального объекта. На этой основе и к тем и к другим свойствам должны быть приложены уже не «предметные», не абстрактныезнания, а знания системы, конкретные, представляющие собой, по выражению К. Маркса, «синтез многих определений, следовательно единство многообразного» [2].Причем, как подчеркивает Ю.М.Забродин, «синтез различного научного знания для таких объектов в направлении решения практической задачи (в силу системностиобъекта) должен быть комплексным, как и сами практические решения» [12, с. 10].

Важнейшим средством проверки правильности такого комплексного синтеза и комплексного решения становится практическийэксперимент.

О том, какой высокой степенью сложности и специфичности могут обладать системные объекты, с которыми при проведении такихэкспериментов имеет дело, в частности, инженерная психология, свидетельствует, например, опыт конструирования систем отображения информации для диспетчерскихпунктов объединенных энергосистем. Как отмечает В. Ф. Венда [4], в отличие от вычислительной техники, средств связи и другого серийно выпускаемогооборудования система отображения информации для каждой АСУ проектируется отдельно, поскольку нестандартны сами функции операторов. В связи с этим впрактических экспериментах по оценке структуры систем отображения информации могут участвовать только диспетчеры конкретного объединения.

Приведенный пример убедительно показывает: если в прикладном эксперименте прототипом при моделировании служит определенный классобъектов, то в эксперименте практическом эту функцию выполняет тот или иной единичный объект, по отношению к которому и осуществляется «привязка» знаний,полученных на уровне прикладного исследования.

Стык между общепсихологическим и прикладным уровнями исследования коренным образом отличается от стыка между этим последними непосредственно практическим экспериментом. Если во втором случае применение полученных знаний осуществляется в основном путем дедукции (разумеется, послепредварительного их синтеза), то в первом случае «перенос» полученного знания в практику происходит опосредованно — через синтез новой теории, на основаниикоторой разрабатываются эмпирические гипотезы для прикладных, в том числе экспериментальных, исследований. Возможность и сам факт разработки такихгипотез должны служить показателями экологической валидности той или иной экспериментальнойметодики общепсихологического уровня.

Подведем краткий итог. Мы сделали лишь первоначальную попытку систематического анализа общенаучного критериявалидности в приложении к психологическому эксперименту. Однако и она показывает, сколь существенно данное понятие для дальнейшего развитияэкспериментальной психологии. Критерий валидности предстает здесь как решающий фактор субъективной (авторской) и объективной (исходящей {124} от научногосообщества) рефлексии, обеспечивающий органическое взаимодействие логической оценки и практической проверки экспериментальных методик на всех уровнях ихисследования: общепсихологическом, прикладном и практическом. Всесторонняя и детальная разработка этого критерия (а здесь пока существует немало «белыхпятен») является поэтому важнейшей методологической предпосылкой дальнейшего прогресса экспериментальной психологии.

ЛИТЕРАТУРА

1. Маркс К., Энгельс Ф. Соч. 2-е изд., т. 1, с. 7.

2. Маркс К; Энгельс Ф. Соч., т. 46, ч. 1, с. 37.

3. Будилова Е. А. Методология, теория и эксперимент в научном творчества С. Л. Рубинштейна. —Вопр. психологии, 1979, № 3, с. 106—114.

4. Венда В. Ф. Инженерная психология и синтез систем отображения информации М., 1975.

5. Гильбух Ю. З. Актуальные проблемы валидации психологических тестов. — Вопр. психологии, 1978,№ 5, с. 108-118.

6. .Гильбух Ю. З. Тренировочные устройства в профессиональном обучении (Психолого-педагогическиеаспекты). Киев, 1979.

7. Гильбух Ю. З., Костюк Л. Г., Лоос В. Г. Проблема функциональной музыки в зарубежнойпсихологии. — Вопр. психологии, 1971, № 3, с. 162—168.

8. Гильбух Ю. З., Лоос В. Г. Психологические проблемы НОТ. — Соц. труд, 1967 № 8, с. 70—79.

9. Готтсданкер Р. Основы психологического эксперимента. М., 1982.

10. Деревянко Е. А. Взаимодействие между некоторыми физиологическими и психологическими факторамипри развитии утомления в процессе трудовой деятельности. — В кн.: Тез. докл. на I съезде Об-ва психологов. М., 1959, с. 173—176.

11. Забродин Ю.М. Проблемы разработки практической психологии (О научных основах психологической службы).— Психол. ж., 1980, т. 1, № 2, с. 5—18.

12. Забродин Ю.М. Развитие советской психологии и задачи психологической службы. — Психол. ж., 1984, т. 5,№ 6, с. 3—20.

13. Заксенберг Э. Производительность труда при непрерывном потоке. — В кн.: Организация поточногопроизводства в машиностроении. М.—Л., 1933, с. 9—59.

14. Зараковский Г. М., Рысакова С. Л., Чернов К. А. Принципы постановки экспериментов при разработке моделейсложных действий человека-оператора. — Психол. ж., 1984, т. 5, № 6, с. 93—105.

15. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М., 1980.

16. Личность в психологическом эксперименте. М., 1973.

17. Ломов Б. Ф. Методологические и теоретические проблемы психологии. М., 1984.

18. Ломов Б. Ф. О роли практики в развитии теории общей психологии. — Вопр. психологии, 1971, № 1, с.26—35.

19. Материалистическая диалектика: в 5-ти т. Т. 2: Субъективная диалектика М 1982.

20. Материалистическая диалектика. Краткий очерк теории. М., 1985.

21. Паповян С. С. Эксперимент в прикладной социальной психологии: актуальные проблемыстатистического анализа данных. — Психол. ж., 1985, т. 6, # 6, с. 90—100.

22. Рубинштейн С. Л. Основы общей психологии. М., 1946.

23. Система испытаний для психологического профотбора шоферов. Харьков, 1936.

24. Швырев В. С. Научное познание как деятельность. М., 1984.

25. Экспериментальная психология. Вып. 1, 2 / Под ред. Фресс П., Пиаже Ж. М., 1966.

26. Ярошевский М. Г. Психофизиология труда и зарождение принципа деятельности в советскойпсихологии. — Вопр. психологии, 1977, № 6, с. 3—16.

27. Bures J. Techniques and Basic Experiments for the Study of Brain and Behaviour Amsterdam, 1983.

28. Chambers E. G. Transfer of Training: a Practical Problem. — Occup. Psychol, 1956 v. 30, № 5,р. 557—578.

29. Chapanis A. The Relevance of Laboratory Studies to Practical Situation. — Ergonomics, 1967, v.10, № 5, р. 557—578.

30. Mayo E. Social Problems of Industrial Civilization. L., 1949.

31. Zeisel J. Inquiry by Design: Tools for Environment-Behaviour Research. Cambridge, 1985