Алгоритмы для жизни. Простые способы принимать верные решения - Том Гриффитс

Концепция переподгонки позволяет нам видеть плюсы в таком багаже эволюции. Хотя переплетенные нервные ткани и видоизмененные челюстные кости могут показаться не самыми оптимальными решениями, мы необязательно хотим, чтобы эволюция полностью оптимизировала любой организм к каждому передвижению в рамках его экологической ниши (по крайней мере, нам следует понимать, что подобное явление сделало бы нас крайне восприимчивыми к последующим экологическим изменениям).

Необходимость использовать имеющиеся материалы, с другой стороны, накладывает своего рода полезное ограничение. Введение новых значительных изменений в строении организмов существенно осложняется. Соответственно, остается меньше возможностей для переподгонки. Прошлые ограничения делают нас как вид менее приспособленными к настоящему, с которым мы знакомы, но при этом поддерживают нашу жизнестойкость для будущего, которого мы еще не знаем.

Такое понимание может помочь нам в противостоянии краткосрочным поветриям человеческого общества. Когда речь заходит о культуре, традиции играют роль эволюционных ограничителей. Немного консерватизма и определенный уклон в пользу истории могут уберечь нас от цикла бумов и спадов общественных тенденций. Это не значит, что мы должны игнорировать наиболее свежую информацию. Вы можете держать нос по ветру, но необязательно подчинять этому весь свой жизненный уклад.

В области машинного обучения преимущества медленных перемещений наиболее очевидно проявляются в технике регуляризации, которая получила название ранняя остановка. Когда мы обсуждали данные исследования удовлетворенности браком в Германии, мы сразу же перешли к изучению наиболее подходящих одно-, двух– и девятифакторной моделей. Во многих ситуациях тем не менее настройка параметров для нахождения модели, наиболее подходящей для имеющейся информации, сама по себе становится процессом. Что же произойдет, если мы остановим этот процесс раньше и просто не дадим модели времени, чтобы стать слишком сложной? Опять же, то, что на первый взгляд может показаться неточным и невыверенным, наоборот, становится самостоятельной важной стратегией.

Многие прогнозирующие алгоритмы, к примеру, начинаются с поиска наиболее важного фактора, а не с перехода на многофакторную модель. Лишь после нахождения этого первого фактора они приступают к поискам второго важного фактора, чтобы добавить его в модель, затем ищут следующий и т. д. Их модели можно легко оставить простыми, прекратив этот процесс прежде, чем в игру вступит переподгонка. Похожий подход к прогнозированию рассматривает одну точку данных за раз, при этом модель настроена таким образом, что отчет по каждой новой точке выдается до добавления новых точек данных. В этом случае сложность модели также возрастает постепенно, поэтому избежать переподгонки поможет только своевременная остановка этого процесса.

Такая установка – когда больший временной отрезок прибавляет сложности – характеризует множество стремлений человека. Отводя больше времени на размышление, вы вовсе не гарантируете себе принятие наиболее правильного решения. Однако вы гарантированно будете рассматривать большее количество факторов, больше предположений, больше аргументов «за» и «против» и рискуете столкнуться с переподгонкой.

У Тома был именно такой опыт. Во время своего первого семестра в качестве преподавателя университета он тратил много времени на совершенствование своих лекций – более 10 часов подготовки к каждому часу занятий. Во втором семестре, преподавая у другой группы, он уже не мог отводить столько времени на подготовку и волновался, что дело кончится полным провалом. Однако случилась странная вещь: студентам понравились эти занятия. В сущности, они понравились им гораздо больше, чем лекции первого семестра. Как выяснилось, дело было в том, что Том использовал свой собственный взгляд и суждения в качестве показателей суждений своих студентов. Эта система показателей работала достаточно хорошо в качестве приблизительной оценки, но она не была достойна переподгонки, что объясняло, почему дополнительные часы, потраченные на кропотливое совершенствование материалов, оказались контрпродуктивными.

Эффективность регуляризации во всех видах машинного обучения предполагает, что мы можем принимать более удачные решения, намеренно меньше размышляя и действуя. Факторы, которые в первую очередь приходят нам на ум, вероятнее всего, окажутся наиболее важными, а продолжение размышлений над задачей сверх определенного лимита станет не только тратой времени и сил, но и приведет нас к худшим решениям. Принцип ранней остановки предоставляет обоснование в пользу разумного аргумента против логических размышлений, размышляющего человека против мысли. Однако, чтобы обратить эту мысль в практическую рекомендацию, нам необходимо ответить на еще один вопрос: когда нам необходимо прекратить думать?

Как и во всех прочих вопросах, связанных с переподгонкой, ответ на вопрос, когда остановиться, зависит от разницы между тем, что вы можете измерить, и тем, что действительно имеет значение. Если у вас есть все факты, они не содержат ошибок или неточностей и вы можете непосредственно оценить все, что важно для вас, тогда не останавливайтесь раньше времени. Думайте долго и упорно: сложность и усилия в этом случае обоснованны.

Но такие случаи – большая редкость. В условиях высокого уровня неточности и ограниченного количества данных чем раньше вы остановитесь, тем лучше. Если у вас нет четкого понимания, как и кем ваша работа будет оценена, не стоит тратить дополнительное время на ее совершенствование и приводить ее в соответствие с вашим (или чужим) идиосинкразическим пониманием идеальности. Чем больше неточностей и чем больше разница между тем, что вы можете измерить, и тем, что имеет значение, тем больше вы должны остерегаться переподгонки – то есть тем большее предпочтение вы должны отдавать простоте и, соответственно, тем раньше вы должны остановиться.

Когда вы блуждаете в потемках, самым лучшим планом всегда будет наипростейший. Если ваши ожидания неопределенны, а в информации содержится слишком много «помех», лучшим решением будет рисовать широкой кистью и мыслить крупными мазками. Иногда в буквальном смысле.

Как объясняют предприниматели Джейсон Фрайд и Дэвид Хайнемайер Хенссон[26], чем глобальней мозговой штурм, тем более толстой ручкой необходимо писать:

Как пишет профессор Университета Макгилла Генри Минцберг, «что стало бы, если бы мы начали с исходного условия, что мы не можем измерить то, что важно, и шли бы от этого? Тогда вместо измерения нам пришлось бы использовать кое-что пострашнее – суждение».