из воды. Мы даем свисток (команду) и ждем. Затем ждем еще немного, а зачастую бывает, что ждем еще и еще. Очевидно, сначала касатка не имеет представления о том, что от нее требуется, когда звучит свисток. Поэтому нам приходится ждать, чтобы она зачем-нибудь высунула нос из воды. Точно в этот миг мы снова свистим в свисток и даем ей рыбу. Когда она проплывает внизу, мы снова свистим и ждем. Процедура повторяется до тех пор, пока касатка не выйдет на уровень «ага!»: «Ага! Когда я слышу звук свистка, я получаю рыбу». Этот уровень понимания — уровень «ага!» — не может считаться закрепленным, до тех пор вы не добьетесь, чтобы происходило десять из десяти возможных немедленных реакций на свисток. Пока это не достигнуто, не следует переходить к следующему этапу дрессировки.
На первом ее этапе кажется, что прогресс не очень заметен, однако для успеха обучения крайне важно, чтобы каждый этап заканчивался достижением уровня полного понимания. Если вы этого добьетесь, то обнаружите, что, по мере перехода к каждому следующему этапу превращение первоначальной реакции в распознаваемую цепочку движений идет очень быстро. Теперь мы подходим к этапу дрессировки, который называется «формирование». Нам нужно заменить уже сложившуюся цепочку: «свисток — появление носа — обязательная рыбка», новой цепочкой: «свисток — касатка выпрыгивает из воды — рыбка дается иногда». Достигается это следующим образом. Формирование поведения означает, что мы делаем один маленький шаг в нужном направлении и продвигаемся к конечной цели, подкрепляя каждый сделанный шаг. Так мы обеспечиваем безусловное выполнение этой части цепочки, прежде чем двигаться дальше.
Здесь наблюдается интересное явление: выполнение определенных действий, надежно затренированное с помощью вознаграждения, можно сделать еще более четким, если вознаграждение задерживать. Предположим, затренирована такая реакция касатки: на десять свистков она десять раз немедленно высовывает нос из воды. На одиннадцатый раз говорим: «Недостаточно хорошо, рыбы ты не получишь». Можно предположить, что теперь касатка подумает: «Но я всегда получаю рыбку. Наверное, кто-то ее стащил раньше меня. В следующий раз надо живее пошевеливаться». И на двенадцатый раз вы получите более быструю и энергичную реакцию касатки: она высунет из воды всю голову целиком. За это безусловно полагается рыбка, но теперь и в дальнейшем — только за это.
Дальше будем формировать цепочку: «свисток — появление из воды всей головы целиком — при немедленной реакции рыбка в награду в десяти случаях из десяти». Лишь затем можно будет перейти к следующему этапу. Кажется, что обучаемый с каждым этапом все скорее понимает, что от него требуется и возникает эффект снежного кома.
Я намеренно воспользовался примером касатки чтобы подчеркнуть главное: весь процесс обучения может осуществляться без какого-либо физического воздействия. Сначала мы ждем верного шага в нужном направлении и вознаграждаем его, затем закрепляем и придаем законченную форму.
Хозяин: «Какая разница между всем этим и подкупом?» Я: «Подкуп — это использование награды в качестве соблазна, для того чтобы стимулировать движение. Подкрепление — это вознаграждение, получаемое за добровольное движение». Хозяин: «Всегда ли давать награду?» Я: «Прием действует лучше, если вы даете награду не всегда. Когда модель поведения сформирована, только самая быстрая, ярко выраженная и сильная реакция вознаграждается. Иногда ученику придется выполнить отработанную цепочку шесть или семь раз, прежде чем последует вознаграждение». Хозяин: «Обязательно ли давать в награду что-то съедобное?» Я: «Наградой может быть что-то другое, ради чего, с точки зрения ученика, стоит выполнять определенные действия. Было бы бессмысленно пытаться сформировать мое поведение с помощью тарелки капусты, если я терпеть не могу капусту!
Как применять положительное подкрепление
В главе «Как учатся собаки» я рассказал о том, как научил свою первую собаку искать и приносить вещь (соответствует команде «Аппорт!»). Теперь я расскажу вам, как я научил выполнять это задание свою нынешнюю собаку. На обучение моей первой собаки ушло несколько недель, и она так и не научилась выполнять команду по-настоящему хорошо. Это была немецкая овчарка — порода славится хорошей обучаемостью. Моя теперешняя собака выполняет то же задание с огоньком в глазах и невероятной для собаки ее размеров быстротой. Это — японская акита, порода, известная своим упрямством.
Я провел много времени на дрессировочной площадке, в течение ряда недель обучая мою немецкую овчарку. В течение нескольких дней, затрачивая по несколько минут в день, я обучил акита, ни разу даже не встав с кресла. Используя этот метод, я недавно помог проводнику полицейской собаки достичь того же результата при дрессировке немецкой овчарки. Фактически нам потребовалось меньше обычного времени, чтобы довести совершенно необученную собаку до стандарта министерства внутренних дел, причем достигнутые результаты были гораздо выше тех, которых добиваются, применяя обычные методы дрессировки.
Кличка моей собаки — Йоко. Поняли? Джон Йоко. Ей было пятнадцать месяцев, когда я решил научить ее искать и приносить брошенный предмет. Сейчас у меня не остается времени, чтобы самому участвовать с моими собаками в соревнованиях, где собаки демонстрируют свои умения, но я все еще сужу такие состязания. И вот однажды один хозяин-участник обронил мимоходом замечание, которое побудило меня учить мою собаку искать и приносить брошенный предмет. Парень сказал: «Вы никогда не научите акита выполнять эту команду как следует». Когда мне бросают вызов, я загораюсь.
Я сидел за письменным столом в своей приемной, рядом на столе я поставил коробочку с лакомством. Протягивая собаке гантель, я говорил: «Возьми!» Йоко нюхала перекладину, а я говорил: «Хорошая девочка!» — и давал ей угощение. Первое занятие продолжалось около пяти минут, и она получила вознаграждение сразу после быстрой реакции примерно в 60% случаев. В остальных случаях за правильные реакции иногда тоже давалось вознаграждение, но только после того, как собака нюхала стол, карабкалась на меня, лаяла или делала еще что-нибудь, стараясь получить вознаграждение. На следующем занятии в тот же день был достигнут уровень понимания (уровень «ага!»). Йоко тыкалась носом в гантель всякий раз, когда я давал команду. На формирование действия и переход к следующей стадии потребовалось несколько больше времени. В течение четырех занятий по пять минут каждое она пробовала делать самые разные вещи чтобы получить награду. Отношение было: 15%; 25%; 70%; 100%. Теперь я уже требовал, чтобы она не тыкалась в гантель носом, а лизала ее. Не дав ей угощения, когда она в очередной раз лизнула гантель, я попал в точку, что вызвало эффект снежного кома гораздо раньше, чем я сам того ожидал. Она решительно выхватила гантель у меня из рук смотрела на меня, как будто говоря: «Смотри, глупыш, я ее взяла… Давай еду!»
Никто не может заранее определить модель формирования поведения при выполнении задания. Мы можем запланировать известную структурированную последовательность, но при обучении нам придется руководствоваться темпом, который установит само животное. После того как вы вознаградили собаку за определенное движение, оно должно стать единственным движением, за которое дается награда, пока оно не будет затренировано. Йоко сделала больший шаг вперед, чем я ожидал, и, поскольку я ее с энтузиазмом наградил, мне пришлось ждать, чтобы она его повторила. Это отняло меньше времени, чем я ожидал, но надо учесть, что Йоко очень прожорливая собака.
После такого огромного рывка вперед вся цепочка действий формировалась очень легко. Прошло совсем немного времени, и я уже бросал гантель на кушетку в дальнем конце приемной, а Йоко приносила ее по команде и садилась передо мной, держа ее в зубах, гордая. В первый же раз, когда на свежем воздухе я опробовал дать одно из тех упражнений, что предлагаются на состязаниях, она получила бы у меня за их выполнение все десять баллов из десяти. Но кажется, я несколько пристрастен.
Возьмем теперь два простых действия: выполнение команд «Сидеть!» и «Лежать!». Попытаемся, используя наш метод и не применяя силу, научить собаку четко реагировать на данные команды. Чтобы ускорить процесс, необходимо прибегнуть к подкупу. Иными словами, мы показываем награду, чтобы стимулировать движение. Как только достигается этот уровень понимания, мы обращаемся к команде и подаем ее только голосом, затем ждем, чтобы было сделано верное движение. Тогда мы придаем этому движению законченный вид. Для отработки команды «Сидеть!» покажите собаке лакомство, даже дотроньтесь им до кончика ее носа. Скажите: «Сидеть!» — и медленно переместите лакомство вверх и назад, чуть дальше линии глаз собаки. Сложение у собак такое, что если голова поднимается вверх и назад,
