Большинство публикаций про статистику начинаются с известного выражения: «Существует три вида лжи: ложь, наглая ложь и статистика». Отличная традиция, давайте ее поддержим. Основания для скептического отношения есть, и для начала рассмотрим их.
Числовые данные выглядят веско, академично, убедительно — это же цифры! То есть элита среди фактов. А уж если было проведено исследование… Как можно спорить с выводами, которые сделаны на основании статистических данных?
Ну например вот так.
Манипуляции со статистикой
Прежде всего, надо проверять все эти «исследования». Что делать сложно, дорого, трудоемко, а зачастую и вовсе нереально. Вы же не будете покупать аналогичное уникальное оборудование, летать в прошлое, набирать полные больницы пациентов с определенными диагнозами, самостоятельно пересчитывать трафик на локациях и т.д.
Обычно мы принимаем все на веру. Никто кроме авторов исследований не знает, как на самом деле собирали исходные данные, какие из них попали в выборку, а что подчистили для красивой диаграммы.
Кроме того, ошибки бывают и случайно. Помните эпоху шпината? Когда не там поставили запятую в исследовании о содержании железа в зелени, все решили, что это чудо-трава, и стали пичкать ею детей. Прошло много лет, прежде чем удосужились проверить и снизить показатель в 10 раз. Но образ суперполезной зелени за шпинатом закрепился, похоже, навсегда – его до сих пор рекомендуют диетологи и врачи.
Ладно, пусть все цифры собраны добросовестно, никаких подчисток и опечаток нет. Теперь-то можно верить статистике? Как бы не так! Важно в каком виде ее покажут. Возможны такие манипуляции:
- Выборочный охват. Достаточно взять показатели за удачный период, и продукт демонстрирует рост продаж, а компания прибыльность. Хотя в целом ситуация может быть другой.
- Среднее вместо медианы. Если сложить оклады вахтеров и топ-менеджмента, получится бесполезная и ложная «общая картина».
- Игра со шкалами. Наводим мощную лупу на ось Y, и незначительная рябь по вертикали начинает казаться обвалом или взлетом. Часто применяется в курсах валют, ценных бумаг и акций.
- Относительные значения. Без инфографики тоже можно: вдвое выросло, втрое снизилось. Звучит громко, а реальные изменения могут быть незаметными. Например, было 2 – стало 4 (при общих объемах в сотни или тысячи).
- Нерелевантные метрики. Охваты вместо лидов, лиды вместо конверсий, конверсии вместо продаж — по одной и той же аналитике интернет-магазина можно построить множество разных отчетов. Одни из них рапортуют о победе над рынком, другие фиксируют провал рентабельности и убытки.
- Экстраполяция. Это мое любимое, тут лучше показать на картинке:
Ничего страшного, что ноль выше пересечения осей, так даже лучше. Классика жонглирования цифрами как раз в том и заключается, чтобы выстроить их под определенные выводы.
Наконец, и тоже в любимчиках – перлы с сайта Spurious Correlations. Там берут статистические данные с открытых источников и сопоставляют их для выявления корреляций. Выглядят они, например, так:
На графике выше наглядно показана убедительная связь между популярностью имени Киллиан и возвратами автомобилей из-за проблем с подушками безопасности.
Там полно чудесных корреляций. Среди них:
- Текущее расстояние от Сатурна до Солнца — количество поисков в Google по запросу «Как сделать ребенка».
- Популярность имени Маргарита — кражи машин в Индиане.
- Запрос в Google «Тейлор Свифт» — использование топлива на Вирджинских островах.
- Объемы ГМО при выращивании кукурузы в Канзасе — количество почтальонов в том же Канзасе.
- Популярность мема про парня, который оглянулся на чужую девушку — объем энергии, генерируемой гидроэлектростанциями Туркменистана.
- Потребление маргарина — количество разводов.
- Количество судей в Индиане — просмотры сериала «Теория большого взрыва».
Все эти корреляции настоящие. Они видны по реальным статистическим данным, на основании масштабных официальных исследований. Каждая находка снабжена графиками за много лет наблюдений.
Однако в том и проблема, что даже настоящие и полные цифры сами по себе никакой особой ценности не представляют. Все решает интерпретация.
Когда мы пользуемся чужой статистикой, она редко предоставляется бескорыстно и объективно. Обычно кто-то хорошо вложился в эти цифры, пытается чего-то лоббировать или продать с их помощью. Примерно как врачи в белых халатах на экранах телевизоров, пока их не запретили, наконец, в законе о рекламе.
А закона о статистике пока нет. Поэтому каждый использует ее как хочет. Одни данные утаивает, другие фальсифицирует, третьи показывает тенденциозно. И обязательно сопровождает выводами.
Готовые выводы, да еще на основании цифр — это удобно, конечно. Но спасибо, лучше не надо. Мы как-нибудь сами.
Как пользоваться статистикой
Действительно, лучшие цифры как подарок: должны быть собраны собственными руками.
С легким допущением к ним можно отнести и цифры, собираемые при помощи вендоров. Например, web-статистика по нашим собственным сайтам, строго говоря, не всегда такая уж «личная». Сохраняется риск ошибок на стороне счетчиков.
Не потому что Яндекс или Google коварно обманут с числом посещений, действиями пользователей на сайте. Бывают задвоения при неправильной настройке, можно случайно потерять полезный трафик из-за собственных фильтров, легко промахнуться с таргетингом, потерять часть данных из-за блокировок cookie.
К сожалению, даже полностью «свои» данные при ближайшем рассмотрении не совсем таковы, их сложно контролировать досконально.
Тем не менее все собственные наблюдения – однозначно, лучшие. Золотой фонд статистики можно дополнять сведениями от партнеров, отраслевым нормированием и далее по нисходящей, со все большими рисками и сомнениями.
Но даже такие цифры полезны. Их можно использовать по-разному:
- простым поиском составить первичный список конкурентов,
- оценить их расположение по онлайн-картам,
- прикинуть численность населения по данным 2ГИС,
- полистать публикации о сезонных колебаниях спроса,
- добавить еще пару метрик по вкусу — и бизнес-план почти готов.
Конечно, хочется брать цифры в основу любых рассуждений, планов и решений. По большому счету вопрос стоит не так: стоит ли использовать чужую статистику. Речь исключительно о степени доверия к ней.
И вот здесь начинается самое интересное. Оценка достоверности числовых данных — задача гораздо более сложная, чем их получение.
Как оценить достоверность данных
Есть формальные и относительно простые приемы. Сначала стоит провести отсев явных фейков, всевозможной числовой ерунды. Проще всего это делать по авторитетности источников. Условно, данные с РБК – хорошо, пост от юзера Вася200208 в соцсети – плохо.
Далее, смотрим актуальность. Исторические данные даже для выявления трендов сейчас подходят разве что с натяжкой. Какая разница, что там за динамика была до ковида и последующих событий. Фраза «Там уже их нет» из «Служебного романа» описывает не только ситуацию с гусями в СССР, но и много нынешних остатков по куда более широкому ассортименту.
Поэтому статистика нужна по возможности свежая. Дата публикации не всегда говорит о том, когда собирались данные. Тут уже надо покопаться.
Не помешает проверить хотя бы в нескольких разных источниках, лучше больше. Вдруг где-то ошиблись, показали только часть, мало ли еще бывает «нестыковок».
Солидные исследования всегда показывают методологию. Там должны быть все подходы, способы сбора информации, допущения, формулы. Как говорится, не приглашайте меня на вечеринку, если она не похожа по прозрачности на «Рейтинги Рунета». Но и они сталкивались с накрутками и подтасовками. Некоторые участники специально завышали количество сертификатов, вымогали отзывы с клиентов — все ради более высоких строчек.
Проверять «этичность» данных – от лукавого. А вот подумать об аффилированности участников процесса, пожалуй, стоит. Здесь придется выключить калькулятор, активировать гуманитарное полушарие мозга и задаться вопросом «Кому это выгодно?».
Сам факт публикации определенной статистики иногда может навести на мысли о том, кто за этим стоит и что вообще происходит. Особенно если речь не о регулярных публичных сведениях, а произошел внезапный «слив».
Кстати о них. Одно дело игнорировать чужую мораль, и немного другое — поступиться собственной. Большое число данных доступно, как бы это помягче, в серой зоне. Через хакерские базы данных, справочные боты в Telegram и прочие мутные схемы. Как ни печально, там довольно много настоящей информации. Актуальной, хорошо структурированной, достоверной. С учетом активности жуликов еще и полной. Флеш-рояль по ключевым характеристикам! Пользоваться ли этим великолепием и как именно – каждый решает сам.
Мой общий вывод по статистике: она похожа на Интернет. Очень много всего, по большей части условно бесплатно или дешево. При этом качество данных оставляет желать лучшего, проверять их бывает очень сложно и трудоемко. В конечном счете, только вы сами решаете, чему верить или нет, какие цифры отобрать для анализа и своих выводов.
P. S.
У этой темы есть еще один ракурс, возможно, самый важный. Будущее не предопределено. Там, где одни получили выдающиеся результаты, вас может ждать провал. На том же самом рынке, с похожим продуктом для тех же сегментов целевой аудитории. По цифрам все сходится, а по факту – нет.
Обратное тоже верно: если статистика выглядит удручающе, вы все еще можете преуспеть. Все шансы были против, а ребенок вырос чемпионом. Кукушка поленилась с диагнозом, а он прожил до ста лет.
Мы можем пользоваться историей в числовом выражении, но свою собственную историю пишем сами.
Будьте приятным исключением из любой статистики. Михаил Жванецкий однажды сказал: «Я так рад, что своею жизнью подтверждаю чью-то теорию». Представьте, насколько приятнее послужить ее опровержением.
Читайте также:
Это не очень просто понять. Пока упомянутый глобаный кризис управления видите только Вы.
Если говорить о вреде автоматизации (или любом другом), то почему бы не начать с анализа причин произошедшего и, если нужно, системы принятия корпоративных решений. Мало ли, от чего еще был, есть или будет вред.
Но как всё это связано с анализом сравнительной эффективности каналов продаж на основе исторических и актуальных данных - понять еще сложнее.
Я привел свою точку зрения и привел ранее примеры, что примерно такой же точки зрения придерживались Акио Морита и Голдратт.
Вы указали, что придерживаетесь критического подхода и все берете под сомнение.
Сам по себе критический подход может быть как вреден, так и полезен.
Вреден - если отрицается все и ничего не предлагается взамен.
Полезен, если как при создании скульптуры отсекается все лишнее, чтобы оставить задуманное.
Если Вы сможете кроме критики высказать что то конкретное конструктивное и позитивное в обсуждаемых вопросах, хоть со мной, хоть со Станиславом, то мне стало бы очень интересно узнать Ваше мнение!:)
Извольте.
Из 100% позитивного: глобального кризиса управления нет. Хотя бы по этому поводу можно не беспокоиться.
Я Вас уже несколько раз просил привести прямую цитату из текста Мориты, к сожалению, покинувшего нас 25 лет назад, чтобы понять, что же он имел в виду - но так и не дождался. Теперь Вы единственный, кто это утверждает. Но вдруг Морита сказал что-то другое или по другому поводу.
О полезном: об этом более точно может говорить не автор чего угодно, а тот, кто этим пользуется. Для Вас полезно одно, для меня, возможно, другое, для кого-то еще - третье.
Выше в этой ветке я уже высказался вроде бы достаточно - много раз подряд - и во вполне оптимистичном духе. Не волнуйтесь и по этому поводу, статистика работает и совсем неплохо. Просто нужно знать хотя бы её основы, применять по назначению врача и не называть статистикой всё подряд.
Куда девалось Ваше критическое мышление, когда нужно смотреть на ситуацию в целом, а не выискивать новые доказательства того о чем говорят специалисты?
Если я высказываю свои мысли, то это вовсе не значит, что я буду искать для Вас цитаты из первоисточников.
Если Вы умеете мыслить, то поймете, если не поймете, то тоже ничего страшного - просто еще не встречали или не увидели в происходящем опыте то о чем я размышляю.
Чтобы не так цепляло приведу примеры того, что происходит "не в нашем районе". Из глобального!:)
США, зная что у Великобритании есть наработки использования менее обогащенного ядерного топлива, чем производится у нас в России - приняли решение к 2030 году отказаться от закупок этого топлива у нас.
Прошло немного времени и как у нас в случае с самолетами поняли, что этот план им не выполнить.
Приняли новый план - к 2030 году сделать 1 атомную мини-электростанцию, а к 2035 еще несколько.
При этом поручили это дело компании, которая имеет нулевой опыт такой работы.
Ладно бы, в новом деле, планировали сделать одну электростанцию, проверить как работать с ней специалистам в эксплуатации.
А потом принимать решение о строительстве других атомны мини-электростанций. Атомная энергия - не игрушка!
В Open AI аналогичная ситуация. До 2029 года планируют получать(пока увеличивая) все новые убытки, которые потом волшебным образом исчезают!?
Аналитики обнаружили это волшебство! Сейчас на тестирование тратят около 3 млрд. долларов, затем планово они стремятся к нулю!
Так что одним из доказательств глобального кризиса управления являются планы по созданию новых продуктов людьми не имеющими такого опыта и не собирающимися(нет планов) тестировать надлежащим образом создаваемые продукты.
Другим признаком является дефицит кадров.
Например у нас в России, статистика Голиковой говорит о том, что у нас на рынке труда многомилионная армия технических специалистов.
А статистика Набиуллиной говорит о том, что прежде чем деньги просить - кадры найдите!
Они что договориться между собой не могут?
При этом я имею в виду договориться не как отчитываться одинаково, а как действовать сообща, чтобы решать поставленные Президентом и Главой Правительства задачи.
Если это Ваши мысли - никаких проблем. Вы и есть первоисточник.
Но, говоря о глобальном кризисе менеджмента, в подтверждение своих слов Вы постоянно ссылаетесь на Мориту. Так чьи это мысли?
Интересно, говорит ли об этом кто-то еще. Пока не попадалось.
Не вижу в этом никаких признаков глобального кризиса. Мало ли на свете планов и проблем у создателей каких-то продуктов. На рынок выходит далеко не всё.
К примеру, финансовое планирование в компании OpenAI касается только этой компании.
Для разговора о глобальном кризисе (каком угодно) нужно выявить объединяющие признаки, которые имеют отношение к глобальным процессам и подавляющему числу участников рынка.
Еще менее понятно. Это, в лучшем случае, локальная проблема, если вообще проблема. И точно не глобальный кризис менеджмента.
Где-то дефицит кадров в какой-то отрасли, где-то людей увольняют в больших количествах. Когда-то было иначе?
Евгений, чтобы распутать протиаоречия, возникшие по поводу моих и не моих мыслей, поясню.
Мысли у меня всегда мои! Возникают они по поводу происходящих вокруг событий и иногда навеваются или подтверждаются высказываниями других людей.
Если бы у Вас было желание разобраться с тем что говорил Акио Морита в частности или как развивалась SONY и микроэлектроника в Японии в целом, то могли бы прочитать его книгу, название которой я приводил "SONY. Сделано в Японии".
Евгений, Вы опять продолжаете обсуждать значение моих слов, при этом не приводя конкретных примеров из реальности опровергающих меня.
Я например считаю, что в реальности могут быть разные случаи и ситуации, в которых работает одно, а в других случаях работает другое.
Итак, Вы можете показать конструктивное применение критического подхода?
В данном случае вопрос именно о высказываниях других людей.
Читал когда-то. Но этой книге почти 40 лет. Посмотрю еще раз, начиная с главы On Management. С тех пор кое-что в мире изменилось. Да и SONY сейчас зарабатывает деньги совсем иначе.
Я говорю только о смысле сказанного Вами. Что это за глобальный кризис менеджмента, который никто не видит? Это не про значения каких-то слов - это о самом факте.
Вы привели несколько совершенно частных и никак не связанных примеров того, что Вы считаете неправильным. Пока это всё.
Возможно, Вы знаете правильный ответ?
Или могли бы что-то добавить по поводу глобального кризиса менеджмента?
Вы - само очарование. И самый главный эксперт во всех областях менеджмента с правом решающего голоса. Возможно, поэтому половина, если не больше Ваших комментариев - о себе любимом, своих успехах и экспертизе.
И, на всякий случай, с Вами лучше сразу же соглашаться, что бы Вы не утверждали на любую тему (детали пока опустим), иначе у Вас немедленно портится настроение со всеми вытекающими. Комментирую я что-то не для Вас - это бесполезно, а для обсуждения с теми, кому есть, что сказать по делу и поделиться своим опытом. Хорошо, что такие участники на этом ресурсе есть.
Спасибо, что пока держите себя в руках и не переходите на мат, как уже было в прошлом. Ваши обычные грубости вполне привычны, ожидаемы и никого не удивляют.
Зависит от ракурса. Здесь есть некоторое количество странных людей, которые искренне ищут в бесплатном публичном доступе актуальные, полные, коммерчески полезные эксклюзивные сведения, причем в одно касание еще вдобавок, без осмысления и собственного вклада по подсказкам. Таких порадовать нечем. Ребята, это стоит денег. В масштабе ваших притязаний -- денег немаленьких
Если рассматривать площадку как обмен мнениями, фокусировки на темах, свежие мысли (так называемая аналитика) -- другое дело. Это как раз тот жанр, в котором я здесь публикую то одно, то другое
А ваш взгляд не понимаю. Полезной информацией вы не делитесь, оригинальных точек зрения не предлагаете, в систематизации тоже не замечены. Просто накидываетесь и ищете к чему докопаться, как правило с переходом на личности, и часто забывая об исходной теме. Тоже жанр, безусловно. Для меня даже интересный, но скорее как для этнографа. Поэтому всегда вам и похожим по поведению экспертам стараюсь отвечать, чтобы получить новую порцию откровений, в моей жизни иначе недоступных
Я привык к слогану: Ругаешь -- предлагай альтернативу. Лучше две, на выбор. Не нравится чей-то анализ -- сделай свой, лучше. Сидеть в позе Станиславского с гримасой на лице немного другое. Еще это скучно всем остальным, предполагаю
Тогда как я стараюсь писать интересно, что ключевая ценность текстов. Сухие факты доступны всем. Вон, Google еще даже толком не забанили, Яндекс до сих пор работает по инерции. Очень много в открытом доступе. Но народ сидит на таких площадках, потому что сухие факты плохо перевариваются. О многом нужна подача, чтобы додумать самому. Это функция дивергента, в абсолюте. На такой статус не претендую, но вектор туда