Это вторая часть. Начните с первой, если пропустили.
Глава 8. Переход от объекта к способу измерения
‹...› Возможно, вы даже слышали такую избыточную фразу, как «эмпирическое наблюдение».
Даниэль Фаренгейт с помощью ртутного термометра дал количественную оценку тому, что раньше называлось «качеством» температуры. Но эти устройства позволили не только назвать точные числа, но и узнать нечто новое о мире, в котором жили эти учёные. Каждое из устройств предоставило своим создателям возможность наблюдать за той стороной мира, которая ранее была скрыта от всеобщего обозрения.
Фактически, большинство измерений в эмпирических науках осуществляются именно таким образом — опосредованно. Например, масса электрона и масса Земли были определены вовсе не по прямым наблюдениям. Были проведены другие исследования, которые и позволили рассчитать эти величины.
Определение численности людей, занятых каким-либо видом деятельности, представляется простым и очевидным этапом этого измерения. Но те, кто уверен в неизмеримости какого-то фактора, обычно возражают и против этого.
Например, чтобы определить расход топлива у грузовика при движении по дороге, покрытой гравием, было достаточно просто проехать на нём с включенным расходомером, а оценить число вирусов в программном обеспечении можно было, выборочно проверив коды.
Используя разложение, мы, подобно инженеру, перед которым поставили непростую задачу построить подвесной мост совершенно новым способом, методично решаем все проблемы измерения, разлагая их на элементы.
Все исследователи считают само собой разумеющимся, что проблемой уже кто-то занимался.
Когда кто-то утверждает, что удовлетворённость потребителей значительно повысится в случае сокращения времени ожидания ответа у телефона, он делает это, основываясь на каких-то аргументах: возможно, поступали жалобы от клиентов; возможно, с ростом компании наметилась тенденция к сокращению числа довольных покупателей.
Например, Amazon.com предоставляет бесплатную подарочную упаковку, чтобы следить за тем, сколько книг приобретается в подарок.
Достоверность отражает воспроизводимость и повторяемость результатов измерений, в то время как точность показывает, насколько результат измерения близок к «истинному» значению ‹...› Показания домашних весов, специально настроенных, чтобы занижать или завышать вес, могут быть достоверными, но неточными.
Зная, что весы всегда показывают на 3 кг больше, мы можем скорректировать их показания. Если весы настроены точно, но дают разноречивые показания, то мы можем устранить случайную ошибку, проведя несколько измерений и рассчитать средний результат ‹...› Например, я не знаю, как упадет одна подброшенная монета, но могу сказать, что при подбрасывании 1000 монет решка выпадет 500±26 раз (способ определения этой ошибки мы ещё обсудим позже).
Я обнаружил, что в бизнесе люди нередко предпочитают достоверность с неизвестной систематической ошибкой недостоверному значению со случайной ошибкой.
Поэтому даже если анализ всех пяти тысяч ведомостей учёта рабочего времени (по 50 недельных ведомостей на каждого из 100 торговых представителей) и скажет нам, что они тратят на непосредственное общение с клиентами 34% своего времени, мы не будем знать, правда ли это. И всё же эта «точная» цифра, похоже, кажется многим менеджерам вполне убедительной.
По-видимому, он исходил из того, что при достаточно большой выборке погрешность компенсируется. Но в случае большинства систематических ошибок это не срабатывает — они не исключаются методом усреднения.
Почему люди предпочитают ложное впечатление точности ошибке случайной выборки, поддающейся количественной оценке?
Из ненадёжности результата одной выборки люди делают вывод, что в случае нескольких случайных выборок их ошибки не устраняются путём компенсации, а суммируются.
Но есть три основных типа, которые можно ожидать при проведении измерений: отклонение ожидания, отклонение выбора и отклонение наблюдателя.
Глава 9. Выборочная реальность: как наблюдение за частью рассказывает нам о целом
Если вы хотите знать наверняка, каков процент брака в партии кирпичей, вам придётся проверить каждый. А поскольку при испытаниях кирпичи подвергнутся нагрузке вплоть до разрушения, после неё не останется ни одного целого.
Следующая фраза может огорчить тех, кто хочет, чтобы в мире было больше определённости: всё, что мы знаем «по опыту», — не более чем выборка. Ведь на своём опыте мы испытываем не всё, а только кое-что, а затем делаем обобщение. Всё, что нам доступно, — лишь мимолётные образы по большей части невидимого нами мира, по которым мы и судим о том, что не можем наблюдать. Но люди уверены в выводах, которые делают на основе изучения ограниченных выборок, потому что опыт подсказывает: выборки работают! (Конечно, этот вывод сделан на основе таких же ограниченных наблюдений.)
Кто-то утверждает, что получить статистически значимые результаты позволяет только выборка определённого размера.
Короче говоря, термином «статистическая значимость» часто злоупотребляют те, кто не вполне понимает, что он означает. Неужели эти люди действительно думают, что снижение неопределённости происходит только при выборке, достигшей этого порогового значения? Или же они считают, что экономическая стоимость информации, полученной при изучении малой выборки, всегда меньше затрат на проведение измерений?
Но в этой книге мы говорим о том, что считается не поддающимся измерению. В таких случаях неопределённость обычно особенно высока и полезную информацию могут дать уже первые наблюдения.
Укажите 90-процентный доверительный интервал для среднего веса одного леденца в граммах ‹...› Допустим, я скажу, что вес первого отобранного мной леденца — 1,4 грамма. Отвечает ли это вашему 90-процентному доверительному интервалу? ‹...› Теперь я сообщаю результаты взвешивания остальных четырёх из пяти наугад отобранных леденцов: 1,4; 1,5; 1,6 и 1,1 грамма. Как теперь изменится 90-процентный CI ‹...› Всякий раз при поступлении новой информации ваш доверительный интервал должен сужаться. Если сначала (до взвешивания) он был очень широк, то уже после первого взвешивания должно произойти его существенное сокращение ‹...› На самом деле один леденец из этого пакетика весил в среднем около 1,45 грамма ‹...› Интересно, что эксперты довольно быстро сузили свои интервалы на основании дополнительной информации всего о нескольких конфетах.
Используемое в широком смысле слово «эксперимент» означает любое явление, созданное специально для цели наблюдения.
Взяв не саму переменную, а какую-нибудь её функцию (например, её квадрат, инверсию, произведение двух переменных и т. д.), можно рассчитать корреляцию ещё точнее.
Глава 10. Кое-что о Байесе
Вся традиционная статистика исходит из того, что наблюдатель ранее не располагал никакой информацией об объекте наблюдения ‹...› В реальном мире данное допущение почти никогда не выполняется.
Одна из трудностей, с которыми столкнулись эксперты в задаче по определению среднего веса леденца (см. главу 9), заключалась в невозможности сравнить его с весом другого объекта для наглядности ‹...› А что, если я подсказал бы им: визитная карточка весит примерно 1 г, 10-центовая монета — 2,3 г, а большая скрепка для бумаги — ровно 1 г? Помогло бы это сузить диапазоны предлагаемых ими значений?
При оценке возможного спроса на ваш продукт в новом городе вам пригодятся данные о спросе на него в других городах и даже сравнительные данные об экономическом уровне разных городов.
Но когда приходится оценивать такие явления, как возможный ущерб бренду, неопределённость обычно столь высока, что определение одного только масштаба чисел уже позволяет её снизить, а значит, и провести измерение.
Многие задают вопрос: «Какой вывод я могу сделать из этого наблюдения?» Но Байес показал нам, что нередко полезнее задать вопрос: «Что я должен наблюдать, если будет соблюдаться условие X?» Ответ на последний вопрос позволяет разобраться с первым.
Глава 11. Предпочтения и подходы: «мягкие» аспекты измерения
Избежать систематической ошибки в ответах позволяет соблюдение следующих пяти простых правил.
1. Вопрос должен быть максимально точным и коротким. Многословные вопросы нередко приводят людей в замешательство.
Когда человек говорит, что охотнее пожертвует 20 дол. сиротам, чем потратит их на кино, но на самом деле в прошлом году многократно ходил в кинотеатры и ни разу ничего не пожертвовал сиротам, это означает, что его выявленные предпочтения не совпадают с объявленными. Понять, каковы истинные предпочтения человека, позволяют две вещи, ценимые людьми больше всего: время и деньги. Проанализировав, как люди тратят своё время и деньги, вы сразу увидите их истинные предпочтения.
Если кто-то определяет произведение Пикассо как «бесценное», но никто не заплатит за него больше 10 млн дол., то ясно, что стоимость данного предмета искусства не может быть больше этой суммы.
Помимо математической безграмотности, по крайней мере отдельных респондентов, тем из нас, кому приходится оценивать такие вещи, часто приходится сталкиваться с неуместными проявлениями чувства праведного негодования. Многие исследования показывают, что около 25% участников опросов, проводившихся с целью определения стоимости сохранения окружающей среды, отказались отвечать на том основании, что природа имеет безусловное право на защиту, какой бы ни была её стоимость. В результате люди, чьи ответы, наверное, повысили бы среднюю WTP за сохранение окружающей среды, воздержались от участия в опросе и итоговая оценка оказалась меньше, чем могла бы быть. Но мне кажется, что это чувство праведного гнева не более чем личина. Ведь такие люди могут прямо сейчас отказаться от всякой роскоши и сделать пожертвования на защиту окружающей среды. Или же они могут немедленно бросить свою работу и стать волонтерами Green Peace. Однако они этого не делают. Их поведение нередко идёт вразрез с теми высокими моральными ценностями, которых они якобы придерживаются. Кое-кто также сопротивляется попыткам оценить в деньгах человеческую жизнь, но, опять-таки, вовсе не отказывается от удовольствий, чтобы сделать пожертвования на развитие общественного здравоохранения.
Поиск в Интернете по фразе «свести всё к голой цифре» даёт тысячи совпадений, большинство которых — цитаты из возражений против проведения подобных измерений. Создавать математические модели — такая же уникальная способность человека, как писать стихи или рисовать картины, однако вы вряд ли услышите, чтобы кто-нибудь жаловался на «сведение к стихотворению» или «сведение к картине».
Анализ собственного поведения позволяет нам понять, что фразы типа «жизнь бесценна» произносят только лицемеры.
Глава 12. Решающий инструмент измерения: людские суждения
Например, если при первом контакте у вас сразу же сложилось положительное мнение о человеке, то вы, скорее всего, истолкуете в позитивном свете и любые новые сведения, которые получите о нём позже (эффект ореола святости). А в случае отрицательного впечатления истолкуете эти сведения негативно (эффект дурной славы).
После первого, заведомо неверного, ответа наступала очередь реального испытуемого. Если он слышал перед этим один ложный ответ, то только в 97% случаев делал правильный выбор. Когда перед испытуемым ложный ответ давали двое или трое, действительные участники делали правильный выбор в 87 и 67% случаев соответственно.
Быстро выяснить, насколько модель линзы снижает неопределенность, можно, оценив непоследовательность экспертных суждений. Для этого нужно предложить экспертам дублирующие друг друга сценарии, что должно остаться для них в тайне. Иными словами, седьмой и двадцать девятый сценарии в списке могут быть одинаковыми. Изучив два десятка сценариев, люди забудут, что уже знакомы с этой ситуацией, и вполне могут дать отличающийся ответ. Вдумчивые эксперты обычно последовательны в своих суждениях о сценариях. Тем не менее именно непоследовательностью объясняется 10—20% ошибок большинства экспертных оценок, их полностью устраняет метод линзы.
Разнообразные ошибки наблюдения — вовсе не препятствие, если только неопределённость после измерения ниже, чем до него.
Однако я заметил, что многие аналитики, консультанты и бизнесмены, похоже, ставят знак равенства между проведением измерений и обоснованием проекта. Они не приводили примеров интересного использования результатов наблюдений для снижения неопределённости в связи с каким-то неизвестным показателем. Вместо этого они объясняли мне, как готовили обоснование своего любимого проекта.
Вынуждаемые обстоятельствами выбрать точные значения, несмотря на всю имеющуюся неопределённость и условность ситуации, они задаются вопросом: «Каким должно оказаться это значение, чтобы оно стало приемлемым для других и в то же время подтверждало правоту моей прежней точки зрения?»
В данной ситуации две звезды не означают, что продукт или услуга в два раза лучше, чем то же, но с одной звездой, а посещение четырёх однозвёздочных кинофильмов совсем не равнозначно просмотру одного четырехзвёздочного.
Любопытно, что прикладная информационная экономика предполагает преобразование полезных и имеющих экономический смысл величин (например, ROI) в баллы. Этот процесс происходит следующим образом: отрицательной или нулевой ROI присваивается балл 0, ROI, составляющей от 0,1 до 299% — балл 1, ROI от 300 до 499% — 2 и т. д. Иными словами, скромная 5-процентная ROI обозначается таким же баллом, как 200-процентная. В более количественных методах определения приоритетности инвестиционных проектов подобная разница в доходности означала бы, что один проект намного предпочтительнее другого. А здесь два проекта, существенно и очевидно различающихся по доходности инвестиций, попадают в одну категорию. «Чистый эффект» от такой процедуры — «уничтожение» информации.
Глава 13. Новые инструменты измерения для менеджмента
А если «копать дальше», то можно определить точное место, срок и действие, например то, что машина уже два часа стоит на углу 43-й улицы и Центрального парка.
Когда прочитал, подумал, что чё-то не то: парк же только с 59-й улицы начинается. А потом дошло, что, возможно, речь не о Манхэттене просто.
Глава 14. Универсальный метод измерения: прикладная информационная экономика
Представители таких компаний, как IBM, Mobile, AT&T и Citibank, рассказали о своих процессах принятия серьёзных инвестиционных решений. Оказалось, что все они делают это одинаково и очень просто: если инвестиции признаются стратегическими, их финансируют. Рассчитывать доходность таких инвестиций никто и не пытается, что стало большим сюрпризом для некоторых присутствовавших на этой встрече представителей чикагского бизнеса.
В ходе операций в Ираке дневное потребление топлива только наземными подразделениями USMC составляло сотни тысяч галлонов (а авиация потребляла его втрое больше) ‹...› С такой высокой неопределенностью и неприемлемым риском, что имеющихся запасов топлива окажется недостаточно, естественной реакцией было планировать поставки в объёмах, в три-четыре раза превышающих ожидаемую потребность ‹...› Дополнительное количество топлива, необходимое для стратегического баланса, стало для логистики колоссальным бременем. Строилось множество складов горючего ‹...› Оказалось, что их будущая потребность в горючем зависит вовсе не от вероятности соприкосновения с противником, а просто от того, дислоцировалось ли данное подразделение в этом районе ранее. Ведь если водители танков плохо ориентируются на местности, то они держат двигатели танков постоянно включёнными. Они должны держать гидравлику под давлением, чтобы иметь возможность повернуть орудийную башню и избежать риска, пусть и незначительного, того, что в опасной ситуации двигатель не заведётся. Другая боевая техника, как и танки, требует небольшого резерва горючего на случай потери ориентации на местности или перемещения по знакомым, но более протяженным маршрутам.
Может показаться, что эта книга перенасыщена информацией.
Деминг учил, что если у вас нет плана измерений, значит, нет и программы качества. Для него качество было постоянным соответствием ожиданиям. А несоответствие выявленным ожиданиям — это дефект.
Обычно определение стоимости кажется трудным делом из-за отсутствия чёткого понимания того, для чего это делается ‹...› Обычно вопрос о стоимости возникает только тогда, когда появляются альтернативы.
В каждом случае затраты на измерение составляли менее 20 тыс. дол., что соответствовало 0,5—0,1% рассчитанной ожидаемой стоимости полной информации. В каждом случае первоначальная неопределённость была снижена на 40% или более. Дополнительный анализ стоимости информации показал, что дальнейшие измерения не будут иметь смысла.
Если нечто является и важной, и неизвестной величиной, то существует вероятность ошибки в её оценке и понесения затрат в случае такой ошибки ‹...› Текущую неопределённость вы можете выразить количественно с помощью калиброванных оценок.
