Идеальная ставка - Адам Кучарски

Кроме того, Polaris 2.0 усерднее учился. Бот просчитывал модель поведения соперника, идентифицировал тип применяемой им стратегии и вел игру так, чтобы воспользоваться его слабыми сторонами. Перехитрить Polaris 2.0, выработав совместную тактику, как это сделали Лаак и Эслами, было невозможно – с каждым противником усовершенствованный бот играл по-новому, проявляя чудеса адаптации. Глава разработчиков программы Майкл Боулинг отмечал, что большинство игроков-людей с огромным трудом выдерживали натиск Polaris и признавали, что еще никогда не видели такой стремительной корректировки стратегии.

Как и раньше, люди играли с Polaris парами в лимитный техасский холдем. За четыре дня было сыграно четыре партии. Первые две обернулись для Polaris неудачей – одна ничья и один проигрыш. Но удержать пальму первенства людям не удалось: бот выиграл две финальные партии и весь турнир.

Коль скоро Polaris научился отходить от оптимальной стратегии ради эксплуатации ошибок оппонента, команда из Альберты поставила перед собой новую задачу – создать абсолютно неуязвимого бота. Существующие программы просчитывали равновесие Нэша лишь в некотором приближении, а значит, оставалась теоретическая возможность появления стратегии, способной их победить. Боулинг и его коллеги искали набор приемов, позволяющих ни при каких обстоятельствах не потерять за покерным столом деньги.

Ученые из университета Альберты, применив описанную нами в предыдущей главе технику минимизации сожалений, доработали своих ботов и провели между ними серию игр интенсивностью около 200 раундов в секунду. В результате боты научились избегать эксплуатации со стороны любого, даже идеального соперника. В 2015 году на страницах журнала Science команда представила своего непобедимого компьютерного игрока по имени Cepheus. В память о прошлых шашечных исследованиях статью озаглавили «Тайна лимитного хедс-ап-покера раскрыта».

Отчасти открытия ученых подтвердили очевидные факты, например тот, что в хедс-ап-покере преимущество на стороне дилера. Исследователи также обнаружили, что Cepheus редко следует принципу «тише едешь – дальше будешь» и предпочитает не коллировать, а либо поднимать ставку, либо сбрасывать карты. По словам Йохансона, когда бот выбирает оптимальную стратегию, он начинает применять неожиданные тактики: «Мы периодически видим, как программа принимает решение, которого не принял бы человек». Так, финальная версия Cepheus, имея на руках четверки и шестерки разных мастей – карты, которые многие игроки предпочли бы сбросить, – раскрывает их. В 2013 году разработчики сделали еще одно наблюдение: бот время от времени делает минимально доступную ставку, хотя может поставить больше. С позиции игрового опыта бота такая тактика выглядит оптимальной, но игроки из плоти и крови воспринимают подобные ситуации по-иному. То, что компьютеру видится разумным ходом, большинству людей кажется глупостью. «Такие ставки просто бесят», – признавался Берч. Кроме того, улучшенная версия Cepheus неохотно размещает крупные ставки в начале игры. Даже когда у бота на руках лучшие карты, например пара тузов, он делает максимальную ставку лишь в одном случае из 100.

Cepheus доказал, что оптимальную стратегию можно подобрать даже в сложных ситуациях. Ученые уверены, что подобный алгоритм найдет себе применение в самых разных областях жизни – от организации работы морских патрулей до медицинского обслуживания. Но у исследования были и другие цели. Разработчики закончили свою статью в Science цитатой Алана Тьюринга: «Было бы нечестно с нашей стороны скрывать тот факт, что главным мотивом, побудившим нас приступить к этой работе, было просто желание получить удовольствие».

Несмотря на очевидный успех, не все признали, что Cepheus знаменует собой триумф искусственного интеллекта над биологическим. Майкл Йохансон утверждает, что большинство игроков-людей считают лимитный покер «облегченной версией» игры, поскольку в нем существует потолок для ставок. Иначе говоря, возможности игроков здесь ограничены.

Куда более серьезным слывет «безлимитный» покер. В нем можно сколько угодно повышать ставки и в любой момент пойти ва-банк. Это дает участникам свободу выбора, а игре придает больше нюансов. Считается, что в безлимитном покере искусства больше, чем науки. Именно поэтому Йохансону так хотелось посмотреть, как компьютер одержит в нем победу: «Мы разрушили бы миф о том, что покер – это одна сплошная психология и компьютерам ее не одолеть».

Сандхольм утверждает, что в скором времени машины будут успешно играть и в безлимитный покер на двоих. «Мы очень серьезно работаем над этим, – заявляет он. – У нас уже есть программы, которые превосходят лучших покерных профи». Действительно, бот Tartarian из Университета Карнеги – Меллона в 2014 году показал отличную игру на чемпионате среди компьютеров. Tartarian одержал победу в обоих типах соревнований – на выбывание и на наибольшую сумму выигрыша. Он продемонстрировал умение и выживать, и отбирать фишки у более слабых соперников.

Боты играют все лучше и побеждают человека все чаще. Не исключено, что в будущем люди станут учиться покеру у машин. Шахматные гроссмейстеры уже используют для тренировки компьютерные программы. Если надо разобраться, как действовать в хитрой ситуации, машина подскажет наилучший вариант. Шахматные программы разрабатывают стратегию игры на много ходов вперед – больше, чем способен спрогнозировать человек.

Компьютерные программы уверенно побеждают в шахматах, шашках, а теперь и в покере, и возникает соблазн признать, что люди больше не могут с ними конкурировать. Компьютеры способны проанализировать больший объем информации, помнят большее число стратегий и рассматривают больше возможностей. Они также могут дольше учиться и дольше играть, самостоятельно усваивать «человеческие» приемы вроде блефа и даже «сверхчеловеческие» стратегии, которых люди еще не открыли. Есть ли хоть что-то, с чем компьютеры еще не справляются на пять с плюсом?

Однажды Алан Тьюринг заметил, что если бы человек притворился машиной, то, «вне всякого сомнения, он выглядел бы совершенно неубедительно». Попросите человека произвести вычисления, и он справится намного медленнее компьютера (не говоря уже о возможных ошибках). Но есть ситуации, в которых компьютер ориентируется с трудом. На «Jeopardy!» самыми трудными для Уотсона оказались самые короткие вопросы. Если ведущий просто зачитывал категорию и имя, например «Первые леди» и «Рональд Рейган», компьютер долго копался в своей базе данных, чтобы найти правильный ответ («Кто такая Нэнси Рейган?»). Если на длинных и сложных вопросах Уотсон побеждал своих соперников, то там, где в его распоряжении было всего несколько слов, люди его опережали. Судя по всему, в телевикторинах краткость – враг машины.

Похожая ситуация возникает в покере. Чтобы изучить оппонента и его стиль игры, боту требуется время. Игроки-люди анализируют поведение своих соперников гораздо быстрее. «Люди лучше делают заключения о своем оппоненте на основе малого количества информации», – объясняет Шеффер.

В 2012 году исследователи Лондонского университета предположили, что есть люди, обладающие особенными талантами к оценке других людей. Чтобы протестировать способность человека обманывать и выявлять обман, ученые разработали игру под названием Deceptive Interaction Task («Обмен ложной информацией»). Участников разбивали на группы, в каждой из которых одному игроку выдавалась карточка с неким утверждением (например: «Мне нравится смотреть реалити-шоу») и инструкции, солгать ему или сказать правду. И в том и в другом случае игрок должен был привести аргументы для обоснования утверждения, а остальные должны были догадаться, врет он или нет.