Декабрь 2019
Самый вредный навык, привитый вам учебными заведениями — умение получать хорошие оценки.
Когда я учился в институте, один толковый аспирант с философского факультета сказал, что никогда не придавал значения оценкам, ориентируясь только на полученные знания. Это врезалось мне в память, потому что раньше я такого ни от кого не слышал.
Для меня, как и для большинства студентов, оценки имели первостепенное значение. Я усердно учился и по-настоящему интересовался большинством выбранных предметов, но максимум усилий прилагал только при подготовке к экзаменам и тестам.
В теории «тест» означает только то, что заложено в самом слове: проверка того, как усвоен материал. В теории к тесту нужно готовиться не больше, чем к анализу крови. В теории, опять же, вы получаете знания по предмету на лекциях, при чтении дополнительных материалов и выполнении заданий, а экзамен потом показывает, насколько хорошо вы эти знания усвоили.
На практике же — и это понимают почти все — положение дел отличается от того, как должно быть в теории, примерно, как этимология некоторых слов от их современных значений. На практике выходит, что фраза «заниматься перед экзаменом» — это как «масло масляное», потому что мы толком и занимались только перед экзаменами. И разница между сознательными студентами и бездельниками заключалась только в том, что первые готовились к экзаменам, а вторые — нет. В середине семестра ночами за учёбой не сидели ни те, ни другие.
Хотя я и был из сознательных, почти все мои усилия в процессе обучения были направлены на получение хороших оценок.
Для многих будет странным это «хотя». Нет ли тут тавтологии? Разве сознательный студент и отличник — не одно и то же? Вот как глубоко в нашей культуре укоренилась тождественность обучения и оценок.
Так ли уж плохо объединять эти понятия? Ещё как плохо. Только спустя десятилетия после окончания института, начав работать с Y Combinator, я понял, насколько.
В студенческое время я знал, конечно, что подготовка к экзамену — это далеко не учёба. Как минимум, потому что информация, которую вы зубрите в ночь перед экзаменом, быстро выветривается. Но главная проблема даже не в этом. Большинство тестовых заданий даже близко не позволяют оценить то, что они должны оценивать.
Если бы задания на самом деле измеряли, насколько успешно вы усвоили материал, всё было бы не так печально. Процесс обучения шёл бы в одном русле с получением хороших оценок. Но дело в том, что почти любое тестовое задание можно легко просчитать, взломать. Большинство отличников это понимают так хорошо, что даже сомневаться перестали. Вы и сами это поймёте, когда осознаете, насколько наивно поступать иначе.
Вот, например, вы закончили курс по истории Средневековья и предстоит пройти итоговый тест. Предполагается, что этот тест должен оценить знание истории Средневековья, правильно? Поэтому если до экзамена осталась пара дней, оптимальным способом подготовки будет чтение лучших книг по истории Средневековья, которые есть в вашем распоряжении. Это позволит запастись знаниями и успешно сдать экзамен.
А вот и нет, скажут опытные студенты. В тесте не будет вопросов по большей части тем, которые можно почерпнуть из хороших книг по истории Средневековья. Нужны не хорошие книги, а конспекты лекций и списки дополнительной литературы, выданные на занятиях. И даже большую часть этой информации вы можете пропустить мимо ушей, потому что цель — то, что можно включить в экзаменационные вопросы. Вы должны отщипывать чёткие и конкретные фрагменты информации. Если в книге из списка встречается интересное отступление на смежную тему, можете его спокойно проигнорировать, потому что такие вещи вряд ли можно превратить в вопрос теста. Но если преподаватель говорит о трёх основных причинах раскола церкви в 1378 году, или трёх основных последствиях эпидемии чумы, лучше вам их запомнить. А были ли они действительно причинами или следствиями, это уже дело десятое. Применительно к этому предмету — были.
По институтам нередко ходят копии экзаменационных заданий прошлых лет, и это ещё больше сужает круг информации, владение которой от вас требуется. Кроме того, можно предугадать экзаменационные задания, обратив внимание на вопросы, которые задаёт конкретный преподаватель. Преподаватели постоянно используют одни и те же вопросы. Если вести предмет десяток лет, сложно не повторяться, хотя бы непроизвольно.
Преподаватели по некоторым предметам имеют свои политические взгляды, которые вам придётся поддерживать. Это зависит от предмета: вряд ли такое потребуется при изучении математики или точных наук, но на другом конце спектра есть предметы, по которым иначе вы просто не получите хорошую оценку.
Получение высокой оценки по какому-либо предмету настолько не связано непосредственно с изучением предмета, что студентам приходится выбирать одно или другое, и нельзя винить их за то, что они предпочитают оценки. Именно по оценкам о них судят все, от организаторов образовательных программ, работодателей, учредителей грантов до собственных родителей.
Мне нравилось учиться, и я с удовольствием готовил некоторые задания и проекты в институте. Но возникало ли у меня когда-нибудь после сдачи работы желание сесть и написать ещё одну работу просто для развлечения? Нет конечно. Надо было другие предметы сдавать. Если передо мной стоял выбор: обучение или оценки — я выбирал второе. Я же не за «неудами» в институт пришёл.
Любой, кому нужны хорошие оценки, должен играть по этим правилам, иначе его опередят те, кто играет. А в элитных учебных заведениях этим правилам следуют практически все, потому что те, кому оценки безразличны, сюда вообще не попадают. В результате студенты соревнуются в том, чтобы максимально увеличить пропасть между изучением предметов и получением высоких оценок.
Почему так неэффективны тесты? Точнее, почему их так просто перехитрить? На этот вопрос ответит любой опытный программист. Насколько легко взломать программное обеспечение, чей создатель не позаботился о том, чтобы это было сложно? Да в таких продуктах дыр как в решете.
Любые тесты, которые проходят по требованию вышестоящих инстанций, по умолчанию легко взломать. Причина неизбежной неэффективности таких тестов — то есть почему они настолько непригодны для оценки того, что должны — попросту в том, что составляющие их люди не особенно заботятся о защите от взлома.
Но учителей в этом винить нельзя. Их работа — обучать, а не придумывать тесты, которые невозможно перехитрить. Настоящую проблему представляют собой оценки, или, точнее, их переоцененность. У студентов не возникало бы искушения просчитывать тесты, если бы оценки были просто инструментом преподавателя для донесения до них, что они делают правильно, а что нет — примерно, как тренер даёт советы своим подопечным спортсменам. К сожалению, по достижении определённого возраста, оценки перестают быть просто советами. С какого-то момента процесс обучения сопрягается с процессом составления мнения о нас.
Университетские тесты я привёл в качестве примера, но они, по сути, в наименьшей степени уязвимы. Все тесты, с которыми на протяжении всей жизни сталкивается большинство студентов, как минимум такие же неэффективные, в том числе (что удивительнее всего) вступительные испытания в ВУЗы. Если бы поступление в университет зависело только от умственных качеств абитуриента, которые могли бы быть измерены приёмной комиссией так же, как учёные определяют вес предмета, мы могли бы сказать подросткам «учитесь хорошо» и этим ограничиться. О том, насколько неэффективны вступительные испытания, можно судить по тому, насколько мало общего они имеют с учёбой в старших классах школы. На практике получается, что чем более неожиданные вещи приходится делать амбициозным выпускникам для поступления, тем легче перехитрить систему вступительных испытаний в вузы. Предметы, которые никому не интересны и состоят в основном из зубрёжки, непонятные «факультативные занятия», в которых вы должны участвовать, чтобы показать, насколько вы разносторонняя личность, стандартизированные тесты, искусственные как шахматы, сочинения, которые вы должны писать — предполагается, каким-то образом вы должны попасть в конкретную цель, но вот какую, остаётся только гадать.
Помимо того, что такие испытания не полезны для самих студентов, они ещё и неэффективны из-за возможности легко их просчитать. Настолько легко, что на этом теперь делают бизнес. Это не только прямая цель компаний по помощи в подготовке к тестам и консультантов по поступлению, но и существенная часть работы частных школ.
Почему так легко перехитрить именно вступительные испытания? Думаю, из-за того, что именно они измеряют. Несмотря на распространённость мнения о том, что для поступления в хороший университет нужно быть очень умным, приёмным комиссиям этого недостаточно, чего они и не скрывают. Что же им нужно? Нужны люди, которые не только умные, но и выдающиеся в более общем смысле. А как измерить эту «выдающесть»? Приёмная комиссия должна её почувствовать. Другими словами, поступят те, кто им понравится.
Поэтому поступление в ВУЗ превращается в попытку угодить вкусу определённой группы людей. Естественно, такой тест будет уязвим для взлома. А поскольку здесь не только уязвимость теста, но и (как считается) высокие ставки, такой тест будут взламывать при первой возможности. Поэтому это так сильно и так надолго перекашивает всю вашу жизнь.
Неудивительно, что ученики выпускных классов часто чувствуют себя отчуждёнными. Весь порядок их жизни создан искусственно.
Но потеря времени — ещё не худшее, чего можно ждать от системы образования. Хуже всего то, что она учит вас достигать успеха за счёт хитрости. Эту проблему настолько сложно уловить, что я её не осознавал, пока не увидел, как с ней сталкиваются другие.
Начав консультировать основателей стартапов в Y Combinator, особенно молодых, я был озадачен тем, как они всё чрезмерно усложняли. Они спрашивали — как привлечь финансирование? Какие уловки помогут заставить венчурных инвесторов вложить деньги в проект? Я объяснял, что лучший способ побудить венчурных инвесторов вложиться в вас, это быть хорошим вложением. Даже если ловкостью рук привлечь инвестиции в плохой стартап, вы надуете ещё и сами себя. Вы вкладываете своё время в ту же компанию, куда просите вложить средства. Если это провальное вложение, зачем вы сами им занимаетесь?
После паузы на переваривание этого откровения у меня спрашивали: а что делает стартап хорошим вложением?
И я объяснял, что перспективность стартапа, и не только в глазах инвестора, выражается в его росте. В идеале — в росте дохода, но если нет, то хотя бы в росте частоты использования. Так что нужно привлечь как можно больше пользователей.
А как это сделать? На этот счёт у них был миллион идей. Нужно организовать масштабный запуск продукта, чтобы добиться «освещения». Нужно, чтобы лидеры мнений о них говорили. Они даже знали, что запускать продукт нужно во вторник, потому что по вторникам можно привлечь максимум внимания.
А я объяснял, что нет, пользователи завоёвываются не так. Завоевать пользователей можно отличным продуктом. Люди будут не только сами его использовать, но и рекомендовать своим друзьям, и ваш рост пойдёт по экспоненте, как только вы запуститесь.
Я говорил этим стартаперам абсолютно, казалось бы, очевидную вещь: что в основе успешной компании должен лежать хороший продукт. И всё равно они реагировали так же, как, вероятно, многие физики, впервые услышавшие о теории относительности: смесь изумления от очевидной гениальности подхода и подозрения, что такая странная концепция никак не может работать на практике. Ладно, послушно говорили они. А можете свести нас с таким-то лидером мнений? Только не забудьте, что у нас запуск во вторник.
Иногда проходят годы, прежде чем стартаперы начинают понимать прописные истины. Не из-за лени или глупости. Кажется, они просто не замечают того, что у них перед глазами.
Я спрашивал себя — зачем они так всё усложняют? А потом понял, что это не риторический вопрос.
Почему основатели стартапов сами путают себя и мечутся не в ту сторону, если ответ прямо перед ними? Да потому что их этому учили. Всё их образование было построено на понимании, что выигрывает тот, кто перехитрит тест. Они учились этому, даже сами не понимая. Молодые стартаперы, вчерашние выпускники, вообще всю жизнь видели только искусственно созданные тесты. Они считали, что просто это мир так устроен: первым делом, видя перед собой любую задачу, они пытались найти лазейку и обхитрить тест. Поэтому разговор всегда начинался с вопроса, как привлечь средства — для этих стартаперов это был ещё один тест. Судите сами: его давали по завершении программы в Y Combinator, в нём были цифры, и похоже, что чем выше, тем лучше. Видимо, это тест.
Безусловно, существуют целые сферы, где достичь успеха можно через взлом тестов. Речь идёт не только об учебных заведениях. Некоторые люди, в силу своей идеологии или незнания, заявляют, что это применимо и к стартапам. Но это не так. На самом деле, это одна из самых поразительных особенностей стартапов — то, насколько можно преуспеть, просто работая на совесть. Есть исключения, как и везде, но в основном вы достигаете успеха, привлекая пользователей, а пользователей интересует, отвечает ли продукт их потребностям.
Почему я так долго не мог понять, что заставляет основателей так усложнять свои стартапы? Потому что я не мог сформулировать чёткую мысль о том, что учебные заведения заставляли взламывать бестолковые тесты для достижения успеха. Заставляли не только их, но и меня тоже! Меня тоже учили быть хитрее неэффективных задачек, но мне потребовалось несколько десятилетий, чтобы это осознать.
Я поступал так, как будто осознавал, но чёткого понимания не было. Например, я избегал работать в больших компаниях. Но если бы меня спросили, почему, я бы ответил, что это из-за их бюрократической системы или потому, что они насквозь фальшивые. В общем, фу. Я не понимал, сколько моей неприязни вызвано тем, что успех при работе в таких компаниях обеспечивается взломом неэффективных заданий.
И напротив, отсутствие возможности перехитрить тест во многом было тем, что привлекало в стартапах. Но опять же, тогда я ещё не мог эту мысль сформулировать.
По сути, я добивался успеха путём последовательного приближения к чему-то, где могло работать чёткое решение. Я постепенно избавлялся от привычки взламывать бестолковые тесты, даже не осознавая этого. Может ли кто-то, окончивший учебное заведение, прогнать этого демона, просто зная его имя и сказав «изыди»? Думаю, попытаться стоит.
Наверное, можно улучшить эту ситуацию, просто обсуждая её в открытую, потому что этот демон крепнет, когда мы принимаем его за норму. А стоит обратить на него внимание, он становится хорошо замаскированным слоном, которого никто не приметил. Явление это настолько же старое, насколько вездесущее. И происходит только от нашей невнимательности. Никто не хотел, чтобы система стала такой, но такое происходит, если совместить обучение с оценками, соревновательностью и наивной верой в невозможность обхитрить систему.
Было просто ошеломительным понять, что у двух самых удивительных для меня вещей — фальшивости выпускных классов школы и непонимания стартаперами очевидного — одна и та же причина. Нечасто так много времени требуется, чтобы водрузить на место такой большой кусок головоломки.
Обычно это запускает эффект домино в самых разных областях, и этот случай — не исключение. Например, выходит, что система образования далека от совершенства, да ещё и можно понять, как её улучшить. При этом мы получаем возможный ответ на вопрос любой крупной компании: как они могут перенять полезные качества стартапа? Не буду сейчас пытаться остановиться на всех последствиях, но попытаюсь рассмотреть значение своего открытия для отдельных людей.
Прежде всего, большинству амбициозных выпускников вузов может быть полезно забыть некоторые привычки. Но, помимо этого, меняется само представление о мире. Вместо того, чтобы рассматривать различные виды занятий и оценивать их как более или менее привлекательные «в целом», вы теперь можете задать весьма конкретный вопрос, который даёт занимательную классификацию: в какой мере успех в данной области зависит от умения обхитрить неэффективные тесты?
Было бы полезно найти способ быстро определять неэффективность тестов. Можно ли выявить какую-то закономерность? Думаю, да.
Есть два вида тестов: поступающие от вышестоящих инстанций и все остальные. Взломать можно только те, что навязаны сверху, потому что в противном случае никто не пытается изобразить, что с помощью теста можно проверить что-то, чего он на самом деле не проверяет. Футбольный матч проверяет, какая команда выиграет, а не какая объективно «сильнее». Обратите внимание на оценки комментаторов: «сильная команда победила», «слабая команда смогла победить». А вот тесты, поступающие от вышестоящих инстанций — как правило, индикаторы чего-то другого. Тест по предмету должен измерять не качество выполнения конкретного задания, а объём усвоенного на занятиях. Нужно, чтобы тесты, поступающие сверху, стали такими же неуязвимыми для взлома, как и остальные. Обычно это не так. Так что в первом приближении неэффективные тесты означают примерно то же самое, что тесты, навязанные вышестоящими инстанциями.
Кому-то может и нравится добиваться успеха путём взлома бессмысленных заданий. Наверняка есть такие люди. Но готов поспорить, что большинство тех, кто делает такую работу, от неё не в восторге. Они просто принимают как данность, что так устроен мир для тех, кто не хочет всё бросить и стать хиппи-ремесленником.
Подозреваю, что многие по умолчанию принимают, что решение неэффективных заданий — это жертва, которую приходится делать, если хочешь хорошо зарабатывать. Но это, могу вас заверить, совсем не так. Так было раньше. В середине прошлого века, когда экономику формировали олигополии, двигаться по карьерной лестнице можно было только при условии соблюдения их правил. Сейчас всё изменилось. Появилась масса способов разбогатеть, работая на совесть, и частично поэтому люди стали больше стремиться к тому, чтобы разбогатеть. Во времена моего детства можно было стать инженером и делать крутые штуки, или зарабатывать много денег, став «управленцем». Сегодня можно делать крутые штуки и на этом разбогатеть.
Умение взломать неэффективный тест становится всё менее важным по мере ослабевания взаимосвязи между работой и вышестоящими инстанциями. Это одна из важнейших тенденций нашего времени, и её воздействие ощущается практически в каждой сфере деятельности. Стартапы представляются самыми наглядными примерами, но примерно то же самое можно наблюдать и в писательской сфере. Писателям больше не приходится выходить на читателей через издателей и редакторов, теперь они могут это делать напрямую.
Чем больше я об этом думаю, тем радужнее мне видятся перспективы. Видимо, это одна из тех ситуаций, когда мы понимаем, насколько нас что-то тормозило, только избавившись от этого. И я уже вижу, как вся эта махина фальши распадётся. Представьте, что будет, когда всё больше людей начнут задаваться вопросом, хотят ли они и дальше дурачить бессмысленные тесты, и будут приходить к выводу, что не хотят. В тех сферах, где нужно взламывать глупые задачки, не останется способных кадров, а самые амбициозные люди уйдут туда, где можно добиться успеха работой на совесть. И по мере того, как взлом тестов будет утрачивать значение, система образования тоже изменится и перестанет нас этому учить. Представьте, каким тогда станет мир.
Эту вредную привычку должны забыть не только отдельные люди, но и общество. Вы удивитесь, сколько после этого освободится энергии.
Примечания
[1] Если использование тестов только для измерения усвоения знаний вам кажется утопией, посмотрите на Lambda School. Там нет оценок. Вы или выпуститесь, или нет. Единственная цель тестов — определить на каждой стадии учебного процесса, можете ли вы перейти на следующую. Так что, по сути, вся школа построена на системе «зачёт/незачёт».
[2] Если бы итоговый экзамен проводился в форме длинной беседы с преподавателем, можно было бы в качестве подготовки читать хорошие книги по истории Средневековья. Тесты в учебных заведениях так поддаются взлому во многом потому что большому количеству учащихся дают один и тот же тест.
[3] Наивно полагать, что добросовестная учёба — эффективный метод получения хороших оценок.
[4] Понятие взлом имеет несколько значений. В узком смысле оно означает подрыв работы чего-либо. Этот смысл вкладывается во фразу «взломать неэффективный тест». Но есть и другое, более общее значение: найти неожиданное решение проблемы, часто за счёт того, что к её решению подходят с необычной стороны. В этом смысле взлом — замечательная вещь. И действительно, некоторые приёмы взлома неэффективных тестов поражают своей изобретательностью; проблема даже не в самом взломе, а в том, что из-за уязвимости тесты не проверяют то, что должны.
[5] Люди, которые выбирают стартапы в Y Combinator для вложения средств, похожи на приёмную комиссию, только критерии не произвольны, а основаны на чётком цикле обратной связи. Вкладываясь в неудачный стартап или отказываясь от удачного, обычно вы узнаёте об этом в течение года или максимум двух, а часто — уже в течение месяца.
[6] Уверен, что членам приёмных комиссий уже надоело читать заявления о поступлении, ничего общего не имеющие с личностью их авторов, пытающихся казаться «достойными зачисления». Они не понимают, что в каком-то смысле смотрят в зеркало. Отсутствие правдивости в заявлениях — это отражение отсутствия чётких критериев зачисления. Точно так же диктатор может жаловаться на то, что никто вокруг не говорит с ним искренне.
[7] Под «работой на совесть» я подразумеваю не честность и чистоту намерений. Речь идёт о качественном, добросовестном выполнении работы.
[8] Существуют пограничные случаи, когда сложно определить, к какой категории отнести тест. Например, привлечение инвестиций больше похоже на поступление в ВУЗ или продажу товара?
[9] Нужно учитывать, что эффективный тест — это такой, который невозможно обхитрить. Эффективный он в том смысле, что работает по назначению. Различие между отраслями бизнеса с эффективными и неэффективными тестами не в том, что первые хорошие, а вторые плохие, а в том, что первые, в отличие от вторых, не показушничают. Но это между собой не связано. Как сказала Тара Плаумэн (Tara Ploughman), дорога от добра к злу лежит через притворство.
[10] Для любого, кто работал со стартапами, очевидна наивность мнения, что недавнее увеличение экономического неравенства связано с изменениями налоговой политики. Сегодня богатеют не те люди, что прежде, но масштаб не тот, чтобы можно было это списать только на налоговую экономию.
[11] Примечание для поклонников азиатского стиля воспитания («родители-тигры»): может, вы и думаете, что учите детей добиваться успеха, но если вы учите их это делать путём просчёта неэффективных тестов, то вы просто заставляете их цепляться за устаревшие стратегии.