Оперантное обусловливание в психологии. Различия между классическим и оперантным обусловливанием. Как работает классическое обусловливание

Основывается на сформулированном в начале XX века американским исследователем процессов научения Э. Торндайком (1998) «законе эффекта».

Реактивные формы поведения возникают в результате таких событий, при которых организм в основном пассив­но испытывает внешние воздействия на соответствующие врожденные структуры, отвечающие за соматовегетативно-инстинктивный (по В. В. Ковалеву, 1979) уровень нервно-психического реагирования. По мере созревания произвольной активности накопление поведенческого репертуара человека все более определяется результатами взаимодействия со средой. Такие вновь приобретаемые формы поведения получили название оперантных (от лат. operatio - действие), поскольку в этом случае первично действие, производимое в отношении окружающей среды. Будет ли это действие повторяться или, наоборот, избегаться - это зависит от вызванных им последствий, их желательности или нежелательности для организма. И ре­активные, и оперантные формы поведения подчиняются одним и тем же закономерностям; в общем случае обусловливание определяется ассоциацией между двумя стимулами или между поведением и его результатом.

Э. Торндайк (1898) открыл тип научения, названный им «методом проб и ошибок»: встретившись с каким-либо препятствием, индивидуум совершает попытки преодо­леть его и, постепенно отказываясь от неэффективных действий, находит решение задачи. В своих опытах Э. Торндайка использовал так называемые проблемные клетки, в которые он помещал голодных кошек. Клетки открывались лишь в случае, если животное, пытающееся выйти к лежащей снаружи приманке, найдет соответствующий способ - случайный (потянет за веревку или при­поднимет крючок) либо оптимальный (нажмет на педаль, соединенную с веревкой, приподнимающей запорный крючок). Проанализировав данные о числе попыток, не­обходимых для нахождения оптимального способа откры­вания клетки, и о влиянии на этот процесс предшествую­щих, «нечаянных» случаев освобождения, исследователь сформулировал закон эффекта.- Он гласит, что, если ка­кое-то действие приводит к желательным результатам, вероятность его повторения возрастает, а если к нежела­тельным - то снижается. Если быть еще точнее, связь между действием и его результатом для индивидуума тем сильнее, чем большее удовлетворение доставляет этот ре­зультат. Нежелательный или безразличный результат эту связь ослабляет.

Следует констатировать, что научение методом проб и ошибок само по себе не очень эффективно и что одним случайным «изобретением» новых форм поведения труд­но объяснить быстрое приобретение новых навыков людь­ми и домашними животными. Наряду с данным способом выработки навыков, существовавшим на протяжении миллионов лет, в эволюции человека несомненно складыва­лись и другие, более совершенные способы формирования и передачи новых типов поведения.

В 40-е годы XX века американский психолог Б. Ф. Скиннер развил концепцию Э. Торндайка, отказавшись от таких необъективных понятий, как удовлетворение и неудовлет­ворение, и сформулировав принцип подкрепления: то или иное поведение чаще повторяется, если приводит к опре­деленным последствиям - к ситуациям, играющим роль подкрепления. Таким образом, в теории Скиннера под­крепление - это событие, которое повышает вероят­ность повторения в будущем поведенческой реакции. Б. Ф. Скиннер разработал способ формирования слож­ных форм поведения путем последовательных прибли­жений, который составил основу концепции и метода оперантного обусловливания.

Суть метода «оперантного обусловливания» (Skinner В. Е, 1984) заключается в создании связи между поведением и его результатом при помощи повторяющихся «подкреп­лений», т. е. предлагаемых либо устраняемых позитивных и негативных последствий. При этом весь путь от исход­ной реакции (еще до начала обучения) до конечной пове­денческой модели, разбивается на несколько этапов, каж­дый из которых последовательно и систематически под­крепляется.

В экспериментах Б. Ф. Скиннера голубь, сидящий в клетке, награждался зерном вначале каждый раз, когда оказывался в нужной ее половине, затем только тогда, ког­да, находясь на этой половине клетки, поворачивал голо­ву в нужном направлении, далее только в том случае, если эти два условия сопровождались направлением его клю­ва в сторону пластмассового кружка, расположенного на стенке. Следующий этап заключался в подкреплении слу­чаев касания кружка клювом, и, наконец, подкреплялась лишь конечная цель обучения - удар клювом по кружку.

Принципиально важно приступать к очередному этапу обучения лишь при сформулированной поведенческой реакции, выработке которой был посвящен предыдущий этап. Такой способ моделирования сложных форм пове­дения широко применяется при дрессировке животных.

Аналогичный путь освоения человеческого лексикона прослеживается у ребенка. Первые членораздельные зву­ки вызывают бурный восторг окружающих, стимулируя их повторение. Затем энтузиазм взрослых остывает до тех пор, пока в лепете ребенка не появятся сочетания звуков, напоминающие слово «мама» и т. д. Такое избирательное поощрение со стороны членов семьи заставляет младенца отбрасывать неправильные реакции, за которые он не по­лучает социального подкрепления, и сохранять те, которые близки к ожидаемому результату. Аналогичным образом, игнорирование ребенка в тот момент, когда он стремится привлечь к себе внимание капризами, нытьем, «истерика­ми», и позитивное общение с ним при демонстрации со­циально одобряемых поступков обеспечивает дифференцированный отбор в его поведенческий репертуар более зрелых шаблонов.

Различными сторонами процесса подкрепления яв­ляются рассмотренные выше механизмы угасания, дифференцировки и генерализации или иррадиации (по И. П; Павлову).

Инструментальные (оперантные) условные рефлексы отличаются от классических (павловских) активностью отбора поведенческого стереотипа, большей естественно­стью. Классический условный рефлекс формирует «экспериментатор» (дрессировщик, родитель, воспитатель, терапевт), обеспечивающий повторное попарное предъявление нейтрального стимула и специфического стимула врожденной реакции. В экспериментах Скиннера животное само (под влиянием дискриминантного стимула, сигнализирующего о возможности получить награду или наказание) осуществляет отбор нужного поведенческого эталона из своего репертуара, ориентируясь на результирующий эффект. Стимул определяется самой «жизнью» (реалиями естественной среды обитания, законами общества, принципами коллектива, традициями семьи), отвечающей на активное поведение субъекта удовлетворением или фрустрацией его потребностей (как врожденных, так и сформировавшихся после рождения).

По мнению Б. Ф. Скиннера и других бихевиористов, именно таким образом происходит выработка большин­ства поведенческих реакций у человека. Подобная абсолютизация роли внешней мотивации, создаваемой подкреплением, и игнорирование значения внутренней мотивации встречает справедливую критику со стороны представителей как когнитивной, так и гуманистической психологии (Годфруа Ж., 1992). При идентификации контекста предшествующего (дискриминантного) стимула (что является, по сути, когнитивным актом) задействуются мозговые структуры более высокого уровня, чем при срабатывании условного рефлекса. Уровень должен обеспечивать организму возможность использовать для обуче­ния собственный опыт.

В 1960-е годы парадигма оперантного обусловливания в форме «планов оперантного подкрепления» широко применялась для коррекции нарушенного поведения госпитализированных детей, а также в школах в форме «программированных уроков».

Примером сочетания классического условного реф­лекса и оперантного научения являются эксперименты по исследованию поведения избегания (Mourer О. Н., 19б5; Miller H.E., 1963, цит. по А.П. Федорову, 2002). После того как вслед за условным сигналом включался ток, животное в результате хаотических прыжков по клетке случайно обнаруживало спасительную площадку, на которую приучалось запрыгивать, не дожидаясь начала болевой стимуляции. Поведение избегания стойко осуществлялось всякий раз после включения условного сигнала, и в последующих опытах, несмотря на то, что ток больше не включали, подобная реакция стала бессмысленной. Чтобы животное об этом «узнало» и поведение избегания перестало подкреплять самое себя, экспериментаторы вынуждены были внести изменения в процедуру опыта: действие условного раздражителя (звукового сигнала) продолжалось и после начала демонстрации реакции избегания, т. е. условный сигнал опасности «обесценивался» в реально безопасной обстановке. Другой способ быстрого погашения реакции избегания - удаление от животного «площадки безопасности». Это обусловливало форсированное тестирование реальности, поскольку за время, явно достаточное для возникновения болевого «подтверждения» целесообразности стереотипного поведения, подкрепления не наступало.

Описанные механизмы погашения зафиксировавшей­ся реакции избегания используются при лечении фобий и навязчивых ритуалов, в частности в форме представления устрашающих объектов в субъективно комфортной ситуации и лишения возможности реализовать избегаю­щее поведение в пугающей, но реально безопасной обстановке (методика «наводнения»).

Третий способ торможения реакции избегания - ими­тирующее моделирование, которое осуществляется с помощью животного, не подвергавшегося воздействию элек­трического тока. Новое животное запускают в тот же ящик, и оно демонстрирует спокойное «реалистическое» пове­дение. Терапия и профилактика неофобии (страха нового), типичной для аутистов и детей младшего возраста, включает не только привыкание к незнакомой и потому пугающей обстановке, но и наблюдение за тем, как другие дети ведут себя в этих условиях. Адаптация к новому коллективу происходит успешнее, когда у человека есть воз­можность «присмотреться» к нему.

ОПЕРАНТНОЕ ОБУСЛОВЛИВАНИЕ

ОПЕРАНТНОЕ ОБУСЛОВЛИВАНИЕ. Теория инструментального, или О. о. связана с именами Торндайка (Thorndike E. L.) и Скиннера (Skinner В. F.). В отличие от принципа классического обусловливания (S->R), они разработали принцип О. о. (R->S), согласно которому поведение контролируется его результатами и последствиями. Основной путь воздействия на поведение, исходя из этой формулы, - влияние на его результаты.
Для различения стимула классического условного рефлекса и стимула инструментального условного рефлекса Скиннер предложил обозначать первый как Sd (дискриминантный стимул), а второй - Sr (pecпондентный стимул). Sd - стимул, по времени предшествующий определенной поведенческой реакции, Sr - стимул, подкрепляющий определенную поведенческую реакцию и по времени следующий за ней. Хотя в повседневной жизни эти стимулы часто совмещены в одном объекте, они могут быть разделены путем анализа с целью систематизации и определения последовательности мер воздействия на модифицируемое поведение. При использовании оперантных методов управление результатами поведения осуществляется для воздействия на само поведение. Поэтому здесь очень важен этап функционального анализа или поведенческой диагностики. Задача этого этапа состоит в определении подкрепляющей значимости окружающих пациента объектов, установлении иерархии их подкрепляющей силы. Это делается путем прямого наблюдения за поведением человека и установления связи между частотой и интенсивностью проявляемого поведения (зависимая переменная) и имеющимися в это время объектами и событиями, происходящими в окружении (независимая переменная).
Оперантные методы могут быть использованы для решения ряда задач.
1. Формирование нового стереотипа поведения, которого до этого не было в репертуаре поведенческих реакций человека (например, кооперативное поведение ребенка, поведение самоутверждающего типа у пассивного ребенка и т. д.). Для решения этой задачи может быть использовано несколько стратегий выработки нового поведения.
Под шейпингом понимается поэтапное моделирование сложного поведения, которое не было свойственно ранее индивиду. В цепи последовательных воздействий важным является первый элемент, который, хотя и отдаленно, связан с конечной целью шейпинга, однако с большой степенью вероятности направляет поведение в нужное русло. Этот первый элемент должен быть точно дифференцирован, а критерии оценки его достижения четко определены. Для облегчения проявления первого элемента желательного стереотипа должно быть выбрано условие, которое может быть достигнуто быстрее и легче всего. Для этого используется разнообразное варьирующее подкрепление, от материальных предметов до социального подкрепления (одобрение, похвала и др.). Например, при обучении ребенка навыкам самостоятельного одевания первым элементом может быть привлечение его внимания к одежде.
В случае "сцепления" используется представление о поведенческом стереотипе как о цепи отдельных поведенческих актов, при этом конечный результат каждого акта является дискриминантным стимулом, запускающим новый поведенческий акт. При реализации стратегии сцепления следует начинать с формирования и закрепления последнего поведенческого акта, находящегося ближе всего к самому концу цепи, к цели. Рассмотрение сложного поведения как цепи последовательных поведенческих актов позволяет понять, какая часть цепи хорошо сформирована, а какая должна быть создана с помощью шейпинга. Тренинг должен продолжаться до того момента, пока желательное поведение всей цепи не осуществляется с помощью обычных подкрепляющих стимулов.
Фейдинг - это постепенное уменьшение величины подкрепляющих стимулов. При достаточно прочно сформированном стереотипе пациент должен реагировать на минимальное подкрепление прежним образом. Фейдинг играет важную роль при переходе от тренировок с психотерапевтом к тренировкам в повседневном окружении, когда подкрепляющие стимулы исходят от других людей, замещающих психотерапевта.
Побуждение является вариантом вербального или невербального подкрепления, который повышает у обучающегося уровень внимания и фокусировки на желательном стереотипе поведения. Подкрепление может выражаться в демонстрации этого поведения, прямых инструкциях, центрированных или на нужных действиях, или на объекте действия и т. д.
2. Закрепление уже имеющегося в репертуаре индивида желательного стереотипа поведения. Для решения этой задачи может использоваться положительное подкрепление, отрицательное подкрепление, контроль стимула.
3. Уменьшение или угашение нежелательного стереотипа поведения. Достигается с помощью методик наказания, угашения, насыщения.
4. Лишение всех положительных подкреплений.
5. Оценка ответа.
См. также Бихевиоризм, Поведенческая психотерапия, Положительное и отрицательное подкрепление.

Теория-инструментального, или оперантного, обусловливания связана с именами Э. Л. Торндайка (Е. L. Thorn-dike) и Б. Ф. Скиннера (В. Е Skinner). Скиннер и Торн-дайк - виднейшие представители бихевиоризма - показали, что воздействие окружающей среды определяет поведение человека. Они рассматривают в качестве главного фактора формирования человеческого поведения культуру, содержание которой выражается в определенном наборе комплексов подкреплений. С их помощью можно создавать и модифицировать человеческое поведение в нужном направлении. На таком понимании основаны методы модификации поведения, использующиеся не только в психотерапевтической практике, но и, например, при воспитательных воздействиях.

Термины «инструментальное научение» и «оперант-ное обусловливание» означают, что реакция организма, которая формируется по методу проб и ошибок, является инструментом для получения поощрения и предполагает оперирование средой, то есть поведение есть функция его последствий. Согласно принципу оперантного обусловливания, поведение контролируется его результатом и последствиями. Модификация поведения осуществляется за счет влияния на его результаты и последствия. В соответствии со схемой оперантного обусловливания экспериментатор, наблюдая поведение, фиксирует случайные проявления желательной, «правильной», реакции и сразу же подкрепляет ее. Таким образом, стимул следует после поведенческой реакции, используется прямое подкрепление через поощрение и наказание. Результатом подобного научения является оперантное научение, или оперант. В этом случае подкрепляется не стимул, а реакция организма, именно она вызывает подкрепляющий стимул, поэтому такое научение обозначается как научение типа R. Оперантное, или инструментальное, поведение (поведение типа R) - это поведение, вызванное подкреплением, следующим за поведением. Скиннер, подчеркивая различия между респондентным и оперантным поведением, указывает, что респондентное поведение вызвано стимулом, предшествующим поведению, а оперантное поведение - стимулом, следующим за поведением. Иными словами, в классическом обусловливании стимул предшествует поведенческой реакции, а в оперантном - следует за ней.

Необходимо обратить внимание на соотношение таких понятий, как позитивное и негативное подкрепление и наказание, различать наказание и негативное подкрепление. Позитивное или негативное подкрепление усиливает поведение, наказание - ослабляет. Позитивное подкрепление основано на предъявлении стимулов (наград), которые усиливают поведенческую реакцию. Негативное подкрепление заключается в усилении поведения за счет удаления негативных стимулов. То есть всякое подкрепление (и позитивное, и негативное) усиливает частоту реакции и поведение, наказание же, напротив, уменьшает частоту реакции, ослабляет поведение. (Например, позитивное подкрепление: животное находит выход из лабиринта и получает пищу; негативное подкрепление: животное находит выход из лабиринта, где действует электрический ток, и ток выключают; наказание: животное в лабиринте упирается в тупик, и ток включают. Таким образом, первые два вида воздействия экспериментатора усиливают реакцию, поскольку являются подкреплением, а третий - уменьшает, являясь наказанием.)

Для различения стимула классического условного рефлекса и стимула оперантного условного рефлекса Скиннер предложил обозначать первый как Sd (дискри-минантный стимул), а второй - как Sr (респондент-ный стимул). Дискриминантный стимул по времени предшествует определенной поведенческой реакции, респондентами стимул, подкрепляющий определенную поведенческую реакцию, следует за ней.

Итак, сравнительные характеристики классического и оперантного обусловливания:
Классическое обусловливание S-R. Научение типа S. Классическая парадигма Павлова. Реакция возникает только в ответ на воздействие какого-либо стимула. Стимул предшествует реакции. Подкрепление связано со стимулом. Респондентное поведение - поведение, вызванное определенным стимулом, ему предшествующим.

Оперантное обусловливание R-S. Научение типа R. Оперантная парадигма Скиннера. Желательная реакция может появиться спонтанно. Стимул следует за поведенческой реакцией. Подкрепление связано с реакцией. Оперантное поведение - поведение, вызванное подкреплением, за ним следующим.

Психотерапия. Учебное пособие Коллектив авторов

Инструментальное, или оперантное, обусловливание

Не все виды научения можно объяснить классическим обусловливанием. При классическом обусловливании условный и безусловный стимулы предшествуют условной реакции. Но условные связи могут также возникать между реакциями и стимулами, которые следуют за ними, другими словами, между поведением и его последствиями. Например, собака научается «служить», чтобы получить угощение; ребенок научается говорить «пожалуйста», чтобы получить конфетку. Эти реакции являются инструментами для получения какой-то награды. Инструментальное обусловливание – это процедура научения, при которой реакции приводят к награждению или желаемому эффекту.

Принципы инструментального научения открыл американский психолог Э. Трондайк примерно в то время, когда И. П. Павлов проводил эксперименты в России. Животное, обычно голодная кошка, помещалась в специальную клетку, названную «загадкой», и должна была научиться какой-то реакции – например, наступить на маленький рычаг, для того чтобы открыть дверь и выйти наружу. Когда кошке это удавалось, она награждалась пищей и вновь возвращалась в ящик. После нескольких проб кошка спокойно подходила к рычагу, нажимала на него лапой, выходила через открытую дверь и ела.

Формирование реакции происходило путем проб и ошибок, как результат выбора нужного эталона поведения и последующего его закрепления. Научение, согласно Трондайку, управляется законом эффекта. Согласно этому закону, поведение контролируется его результатами и последствиями. Поведение, которое приводит к достижению положительного результата, удовлетворению, закрепляется, и наоборот: не приводящее к положительному результату стирается или ослабляется.

Спустя несколько десятилетий после опубликований работ Трондайка, другой американский психолог, Б. Скиннер, развил его идеи. Б. Скиннер подчеркивал, что при инструментальном обусловливании животное оперирует со средой, производит какое-нибудь движение, воздействует на среду. Поэтому процесс научения этим реакциям он назвал оперантным обусловливанием.

Для изучения оперантного обусловливания Б. Скиннер изобрел экспериментальную камеру, получившую название «скиннеровского ящика». Камера полностью контролируется. Она звуко– и светонепроницаема, в ней поддерживается постоянная температура. Она содержит приспособление, которым животное может оперировать, чтобы получить вознаграждение. Например, крыса, нажимая на рычаг, получает пищу из тонкой трубочки. Скиннеровский ящик позволил изучать отношения между реакцией и ее последствиями и анализировать, как эти последствия влияют на поведение.

Оперантное обусловливание подчеркивает, что поведение есть функция его последствий. Поведение усиливается позитивным или негативным подкреплением; оно ослабляется наказанием.

Позитивное подкрепление – это предъявление стимулов, которые усиливают реакцию. Иными словами, это – награждение. Примером может служить учитель, который хвалит ребенка за прилежную учебу.

Негативное подкрепление – это процесс усиления поведения путем изъятия, удаления негативных стимулов, таких, как боль, скука, избыток тепла или холода и т. п. Примером может служить прием таблетки анальгина при головной боли. Другой пример: пациент, испытывающий страх в метро, может избежать этого переживания, оставшись дома.

Наказание . И позитивное, и негативное подкрепление усиливает частоту реакции. Наказание уменьшает частоту реакции. Часто путают наказание и негативное подкрепление, они совершенно различны. Подкрепление усиливает поведение, а наказание ослабляет его. Если ток выключается, когда крыса нажимает на рычаг, – это негативное подкрепление; оно увеличивает вероятность того, что крыса нажмет на педаль, когда ток снова включат. Но если ток включается, когда крыса нажимает на рычаг, то это наказание; менее вероятно, что крыса снова нажмет на рычаг.

Дискриминационное научение имеет место тогда, когда реакция награждается (или наказывается) в одной ситуации, но не награждается (не наказывается) в другой. В таком случае говорят, что реакция (поведение) находится под «контролем стимула». Этот процесс особенно важен в объяснении гибкости поведения в различных социальных ситуациях. Дискриминация (различение) стимулов позволяет научиться тому, что является подходящим (подкрепляемым) и неподходящим (неподкрепляемым) в данной ситуации. Например, ворчливая жена вряд ли будет бранить мужа в присутствии гостей.

Генерализация состоит в том, что поведение обнаруживается в иных ситуациях, а не только в тех, в которых оно было приобретено. Например, терапевт может помочь пациенту стать более уверенным и экспрессивным во время терапии. Но цель терапии в том, чтобы пациент стал более уверенным в реальных жизненных ситуациях, другими словами, очень важно, чтобы произошла генерализация.

При сравнении классических и оперантных условных рефлексов видно, что, во-первых, классическое обусловливание требует повторного парного предъявления нейтрального стимула (звонок) и стимула, вызывающего врожденную, безусловную реакцию (пища). Обеспечение такого предъявления достигается участием экспериментатора. В экспериментах же с оперантным обусловливанием животное само осуществляет перебор стереотипов поведения, и выбор стереотипа, приводящего к достижению результата, протекает активнее. Во-вторых, оперантные рефлексы контролируются их результатом; в экспериментах же с классическим обусловливанием появление условной реакции контролируется предъявлением предшествующего стимула. В реальной жизни большая часть обучения осуществляется по законам формирования оперантных условных рефлексов.

8. ОБУСЛОВЛИВАНИЕ Одним из наиболее фундаментальных психологических процессов является обусловливание. Хотя мы обычно считаем, что обусловливание свойственно только низшим организмам, оно очень распространено в нашей повседневной жизни, даже если оно и не

КЛАССИЧЕСКОЕ ОБУСЛОВЛИВАНИЕ Психологи различают две формы обусловливания в зависимости от того, какой из процессов обусловливания при этом задействован.Классическое, или павловское, обусловливание было впервые продемонстрировано Иваном Павловым в 1927 году. Когда

ЧЕЛОВЕЧЕСКОЕ ОБУСЛОВЛИВАНИЕ Но какое же отношение обусловливание имеет к человеческим существам? К вашей жизни?Я однажды попытался объяснить большую важность обусловливания в человеческом развитии моим слушателям в одной из программ «Тренинга повышения осознавания».