Большинство публикаций про статистику начинаются с известного выражения: «Существует три вида лжи: ложь, наглая ложь и статистика». Отличная традиция, давайте ее поддержим. Основания для скептического отношения есть, и для начала рассмотрим их.
Числовые данные выглядят веско, академично, убедительно — это же цифры! То есть элита среди фактов. А уж если было проведено исследование… Как можно спорить с выводами, которые сделаны на основании статистических данных?
Ну например вот так.
Манипуляции со статистикой
Прежде всего, надо проверять все эти «исследования». Что делать сложно, дорого, трудоемко, а зачастую и вовсе нереально. Вы же не будете покупать аналогичное уникальное оборудование, летать в прошлое, набирать полные больницы пациентов с определенными диагнозами, самостоятельно пересчитывать трафик на локациях и т.д.
Обычно мы принимаем все на веру. Никто кроме авторов исследований не знает, как на самом деле собирали исходные данные, какие из них попали в выборку, а что подчистили для красивой диаграммы.
Кроме того, ошибки бывают и случайно. Помните эпоху шпината? Когда не там поставили запятую в исследовании о содержании железа в зелени, все решили, что это чудо-трава, и стали пичкать ею детей. Прошло много лет, прежде чем удосужились проверить и снизить показатель в 10 раз. Но образ суперполезной зелени за шпинатом закрепился, похоже, навсегда – его до сих пор рекомендуют диетологи и врачи.
Ладно, пусть все цифры собраны добросовестно, никаких подчисток и опечаток нет. Теперь-то можно верить статистике? Как бы не так! Важно в каком виде ее покажут. Возможны такие манипуляции:
- Выборочный охват. Достаточно взять показатели за удачный период, и продукт демонстрирует рост продаж, а компания прибыльность. Хотя в целом ситуация может быть другой.
- Среднее вместо медианы. Если сложить оклады вахтеров и топ-менеджмента, получится бесполезная и ложная «общая картина».
- Игра со шкалами. Наводим мощную лупу на ось Y, и незначительная рябь по вертикали начинает казаться обвалом или взлетом. Часто применяется в курсах валют, ценных бумаг и акций.
- Относительные значения. Без инфографики тоже можно: вдвое выросло, втрое снизилось. Звучит громко, а реальные изменения могут быть незаметными. Например, было 2 – стало 4 (при общих объемах в сотни или тысячи).
- Нерелевантные метрики. Охваты вместо лидов, лиды вместо конверсий, конверсии вместо продаж — по одной и той же аналитике интернет-магазина можно построить множество разных отчетов. Одни из них рапортуют о победе над рынком, другие фиксируют провал рентабельности и убытки.
- Экстраполяция. Это мое любимое, тут лучше показать на картинке:
Ничего страшного, что ноль выше пересечения осей, так даже лучше. Классика жонглирования цифрами как раз в том и заключается, чтобы выстроить их под определенные выводы.
Наконец, и тоже в любимчиках – перлы с сайта Spurious Correlations. Там берут статистические данные с открытых источников и сопоставляют их для выявления корреляций. Выглядят они, например, так:
На графике выше наглядно показана убедительная связь между популярностью имени Киллиан и возвратами автомобилей из-за проблем с подушками безопасности.
Там полно чудесных корреляций. Среди них:
- Текущее расстояние от Сатурна до Солнца — количество поисков в Google по запросу «Как сделать ребенка».
- Популярность имени Маргарита — кражи машин в Индиане.
- Запрос в Google «Тейлор Свифт» — использование топлива на Вирджинских островах.
- Объемы ГМО при выращивании кукурузы в Канзасе — количество почтальонов в том же Канзасе.
- Популярность мема про парня, который оглянулся на чужую девушку — объем энергии, генерируемой гидроэлектростанциями Туркменистана.
- Потребление маргарина — количество разводов.
- Количество судей в Индиане — просмотры сериала «Теория большого взрыва».
Все эти корреляции настоящие. Они видны по реальным статистическим данным, на основании масштабных официальных исследований. Каждая находка снабжена графиками за много лет наблюдений.
Однако в том и проблема, что даже настоящие и полные цифры сами по себе никакой особой ценности не представляют. Все решает интерпретация.
Когда мы пользуемся чужой статистикой, она редко предоставляется бескорыстно и объективно. Обычно кто-то хорошо вложился в эти цифры, пытается чего-то лоббировать или продать с их помощью. Примерно как врачи в белых халатах на экранах телевизоров, пока их не запретили, наконец, в законе о рекламе.
А закона о статистике пока нет. Поэтому каждый использует ее как хочет. Одни данные утаивает, другие фальсифицирует, третьи показывает тенденциозно. И обязательно сопровождает выводами.
Готовые выводы, да еще на основании цифр — это удобно, конечно. Но спасибо, лучше не надо. Мы как-нибудь сами.
Как пользоваться статистикой
Действительно, лучшие цифры как подарок: должны быть собраны собственными руками.
С легким допущением к ним можно отнести и цифры, собираемые при помощи вендоров. Например, web-статистика по нашим собственным сайтам, строго говоря, не всегда такая уж «личная». Сохраняется риск ошибок на стороне счетчиков.
Не потому что Яндекс или Google коварно обманут с числом посещений, действиями пользователей на сайте. Бывают задвоения при неправильной настройке, можно случайно потерять полезный трафик из-за собственных фильтров, легко промахнуться с таргетингом, потерять часть данных из-за блокировок cookie.
К сожалению, даже полностью «свои» данные при ближайшем рассмотрении не совсем таковы, их сложно контролировать досконально.
Тем не менее все собственные наблюдения – однозначно, лучшие. Золотой фонд статистики можно дополнять сведениями от партнеров, отраслевым нормированием и далее по нисходящей, со все большими рисками и сомнениями.
Но даже такие цифры полезны. Их можно использовать по-разному:
- простым поиском составить первичный список конкурентов,
- оценить их расположение по онлайн-картам,
- прикинуть численность населения по данным 2ГИС,
- полистать публикации о сезонных колебаниях спроса,
- добавить еще пару метрик по вкусу — и бизнес-план почти готов.
Конечно, хочется брать цифры в основу любых рассуждений, планов и решений. По большому счету вопрос стоит не так: стоит ли использовать чужую статистику. Речь исключительно о степени доверия к ней.
И вот здесь начинается самое интересное. Оценка достоверности числовых данных — задача гораздо более сложная, чем их получение.
Как оценить достоверность данных
Есть формальные и относительно простые приемы. Сначала стоит провести отсев явных фейков, всевозможной числовой ерунды. Проще всего это делать по авторитетности источников. Условно, данные с РБК – хорошо, пост от юзера Вася200208 в соцсети – плохо.
Далее, смотрим актуальность. Исторические данные даже для выявления трендов сейчас подходят разве что с натяжкой. Какая разница, что там за динамика была до ковида и последующих событий. Фраза «Там уже их нет» из «Служебного романа» описывает не только ситуацию с гусями в СССР, но и много нынешних остатков по куда более широкому ассортименту.
Поэтому статистика нужна по возможности свежая. Дата публикации не всегда говорит о том, когда собирались данные. Тут уже надо покопаться.
Не помешает проверить хотя бы в нескольких разных источниках, лучше больше. Вдруг где-то ошиблись, показали только часть, мало ли еще бывает «нестыковок».
Солидные исследования всегда показывают методологию. Там должны быть все подходы, способы сбора информации, допущения, формулы. Как говорится, не приглашайте меня на вечеринку, если она не похожа по прозрачности на «Рейтинги Рунета». Но и они сталкивались с накрутками и подтасовками. Некоторые участники специально завышали количество сертификатов, вымогали отзывы с клиентов — все ради более высоких строчек.
Проверять «этичность» данных – от лукавого. А вот подумать об аффилированности участников процесса, пожалуй, стоит. Здесь придется выключить калькулятор, активировать гуманитарное полушарие мозга и задаться вопросом «Кому это выгодно?».
Сам факт публикации определенной статистики иногда может навести на мысли о том, кто за этим стоит и что вообще происходит. Особенно если речь не о регулярных публичных сведениях, а произошел внезапный «слив».
Кстати о них. Одно дело игнорировать чужую мораль, и немного другое — поступиться собственной. Большое число данных доступно, как бы это помягче, в серой зоне. Через хакерские базы данных, справочные боты в Telegram и прочие мутные схемы. Как ни печально, там довольно много настоящей информации. Актуальной, хорошо структурированной, достоверной. С учетом активности жуликов еще и полной. Флеш-рояль по ключевым характеристикам! Пользоваться ли этим великолепием и как именно – каждый решает сам.
Мой общий вывод по статистике: она похожа на Интернет. Очень много всего, по большей части условно бесплатно или дешево. При этом качество данных оставляет желать лучшего, проверять их бывает очень сложно и трудоемко. В конечном счете, только вы сами решаете, чему верить или нет, какие цифры отобрать для анализа и своих выводов.
P. S.
У этой темы есть еще один ракурс, возможно, самый важный. Будущее не предопределено. Там, где одни получили выдающиеся результаты, вас может ждать провал. На том же самом рынке, с похожим продуктом для тех же сегментов целевой аудитории. По цифрам все сходится, а по факту – нет.
Обратное тоже верно: если статистика выглядит удручающе, вы все еще можете преуспеть. Все шансы были против, а ребенок вырос чемпионом. Кукушка поленилась с диагнозом, а он прожил до ста лет.
Мы можем пользоваться историей в числовом выражении, но свою собственную историю пишем сами.
Будьте приятным исключением из любой статистики. Михаил Жванецкий однажды сказал: «Я так рад, что своею жизнью подтверждаю чью-то теорию». Представьте, насколько приятнее послужить ее опровержением.
Читайте также:
Научные - практически нет, другой жанр. Полезные, уверен, были, судя по комментариям. Каждый сам понимает, что ему полезно, и задаёт свои вопросы.
Но я говорю о знании автором темы до публикации, а не о Вашем взгляде на полезность обсуждений. Было бы, что обсуждать.
Теперь понял, спасибо.
Жаль, что Вам самому не слишком интересны темы, о которых Вы пишите.
Удивительно.
Как можно показать тему с действительно нового ракурса, если Вы толком не понимаете, о чём пишите? Это же не впервые.
И свежие мысли появляются, когда заканчиваются старые, или они больше не работают. Для Вас как автора все они выглядят, как Вы выражаетесь, одинаково.
Попробуйте написать хотя бы о чём-то содержательно - для начала. Не знаю, в чём Вы эксперт. Оригинальность ради оригинальности не так востребована, как Вы, возможно, считаете. Кроме кривых зеркал есть и обычные, и в практических целях пользуются именно ими.
А в этом тексте разговоры о корреляции и вреде от чужих (?) исследований выглядят нелепо. Вы, кстати, так и не ответили, что же Вы хотели сказать, постоянно употребляя слово "Чужие".
Я только удивлялся, почему Вы считаете нормой именно примеры фальсификаций данных и судебную хронику. И это всё. Как будто Вы в аптеку не ходили или не выходите на улицу.
Вы не могли бы одной фразой еще раз сформулировать основную мысль статьи - всем нам на радость?
1
"Обычно мы принимаем все на веру. Никто кроме авторов исследований не знает, как на самом деле собирали исходные данные, какие из них попали в выборку, а что подчистили для красивой диаграммы.
Кроме того, ошибки бывают и случайно"
2
"Когда мы пользуемся чужой статистикой, она редко предоставляется бескорыстно и объективно. Обычно кто-то хорошо вложился в эти цифры, пытается чего-то лоббировать или продать с их помощью"
3
"лучшие цифры как подарок: должны быть собраны собственными руками.
С легким допущением к ним можно отнести и цифры, собираемые при помощи вендоров. Например, web-статистика по нашим собственным сайтам, строго говоря, не всегда такая уж «личная». Сохраняется риск ошибок на стороне счетчиков"
4
"Золотой фонд статистики можно дополнять сведениями от партнеров, отраслевым нормированием и далее по нисходящей, со все большими рисками и сомнениями"
5
"Конечно, хочется брать цифры в основу любых рассуждений, планов и решений. По большому счету вопрос стоит не так: стоит ли использовать чужую статистику. Речь исключительно о степени доверия к ней"
= = =
Возможно, вы действительно гуру по матстатистике. Раз так плохо с пониманием текстовой информации, вероятно очень хорошо с цифрами. Жаль что вы тратите всю энергию и предположительную компетентность на попытки троллинга. Кстати по той же причине плохо получается -- ведь срачи в комментах это тексты )
Столько времени потратили. Ладно моего, собственного (а еще тех людей, кто вынужден читать все это в комментариях). Может соберетесь с духом, все же поделитесь чем-нибудь полезным?
Понимание термина статистика у разных людей разное. Для кого то любые цифры - это статистика, у кого то цифры относящиеся к определенной теме являются статистикой, у кого то цифры относящиеся к достижению или поддержанию определенных результатов.
Для бизнеса есть такой термин "статистическое управление качествами". На мой взгляд это более подходящий взгляд.
С математической точки зрения, статистика в этом случае изучает функциональные зависимости одних факторов от изменения других факторов.
По большому счету это можно назвать функциональной грамотностью!
Сейчас во всем мире изучают каким путем можно учить детей в школах функциональной грамотности.
На мой взгляд обучение функциональной грамотности это самое важное чему можно научить детей как в школе, так и более взрослых людей в ВУЗах, в том числе и на программах МВА.
Понимая какие факторы и каким образом влияют на нужные нам результаты мы можем принимать более взвешенные решения и совершать более подходящие действия.
На этом собственно и основан настоящий менеджмент качества!
Качество это прекрасно
Но у меня как обычно отрицательный опыт. Пытался как-то внедрить сквозную статистику для доказательства экономической пользы от внедрений софта одного российского вендора. И они ... испугались )) Что выйдут сами на себя, если все начать считать как полагается. Потому что полная стоимость владения их неплохим кстати софтом опасно близка к экономической целесообразности. И непонятно еще с какой стороны близка. Так и не сделали
Функциональную грамотность начиная с детства бешено плюсую! Только когда вырастет такое поколение, все действительно начнет меняться
Уважаемый Станислав,
современные системы управления качеством продукции не бывают без статистических анализов. Это я как бывший ответственный по качеству от высшего руководства компании-производителя промпродукции в автопроме заявляю.
Ваш пример о другом, как мне представляется. Оценка экономической эффективности (что такое экономическая польза я не очень понимаю) штука интересная и разнообразная. Масса соблазнов как учесть что-то, так и выкинуть из учета (в зависимости от того, продаем мы или покупаем).
Посмотрите при случае любое качественное статистическое исследование. Там есть подробные ответы на все важные вопросы. Иначе их никто всерьёз не рассматривает. И нет смысла смешивать данные и результаты.
Речь вроде бы не обо мне. Выше была просьба сформулировать основную мысль публикации
С нетерпением жду.
Можете воспользоваться известной формулой старика Мюллера, если нет идей получше.
"Верить в наше время нельзя никому, порой даже самому себе. Мне можно. ".
Не беспокойтесь на мой счёт хотя бы по этому поводу. Я не тролль и энергию на троллинг не трачу.
Надеюсь, что время участников потрачено не зря - они смогли оценить всю мощь Ваших аргументов и глубокое знание предмета.
А мы с Вами точно экономили бы пару страниц этой ветки, если бы Вы хотя бы иногда отвечали на вопросы по сути.
Да, с удовольствием.
Лучший совет, который я могу Вам дать в данных обстоятельствах: на этом форуме есть люди, не чуждые математике. Можно перестать играть в оригинальность подхода и новые идеи - они не оригинальные и не новые.
Попросите (вежливо) участников дискуссии и форума порекомендовать Вам хороший базовый учебник по математической (или экономической) статистике с подробными примерами и дополнительно рассказать о методах статистических испытаний и исследований в интересующей Вас области - при наличии таковой. Узнаете много нового.
Что особенно ценно: как и любым другим советом, этим тоже можно не пользоваться.
Спасибо, действительно хороший совет
Правда, я спрашивал о другом, и не для себя -- но кто читает эти чужие буковки, когда столько своих )
Да, согласен. Свои слова некуда девать, зачем читать чужие. Некогда и незачем.
Выше я уже говорил, что другие могут задать свои вопросы сами - и именно о том, что больше всего их интересует. Было бы желание.
Поэтому пока только один добрый совет - и только Вам.
Многие бы отказались и откажутся, если делать статистику подтверждающую их ранее принятые решения и совершенные действия.
Как Вы сами предположили - внедренный софт неплохой. А это может означать, что его можно улучшать!
В принципе работа, которую Вы предполагали сделать может быть почти та же самая - анализ метрик.
А вот фокус внимания на том, что можно с помощью статистики снизить или убрать неэффективную или малоэффективную деятельность и затраты связанные с ними. А самое главное усилить деятельность, приносящую доходы.
Принимая во внимание общеизвестный закон Парето о том, что 20% деятельности приносит 80% результатов и доходов - можно раз за разом статистически находить такие 20% деятельности и на 80% улучшать результаты.
Кроме того можно иметь в виду, что сложившаяся автоматизация при общемировом кризисе управления не является идеальной, поэтому сами подходы ее создания на основе статистических данных могут привести к созданию другой автоматизации и получению более впечатляющих результатов!:)
Есть интересный феномен.
Если аналитик работает на обоснование мнения руководства (каким бы недальновидным или бездарным оно ни было) -- он делает карьеру.
Если работает на объективность -- карьера ему не светит.
И тут для самоакутализации аналитика надо выбирать одно из трёх:
1. Либо наступить на горло собственной песне и лицемерить ради плюшек (50% поступает именно так). Шеф, которого рано или поздно режут на этой работе, с выходом на новую -- практически 100% гарантирует трудоустройство аналитика там же.
2. Либо быть объективным и войти в конфликт с бездарным руководством. А потом долго прыгать с место на место, тщательно подбирая место для своей профессиональной реализации (45%). В силу того, что среди руководства крайне редко встречаются прагматичные с аналитическим складом ума. Большинство -- эмоционально заряженные игроки (вышедшие из продаж), увы.
3. Либо всё же аналитику побудить руководство прислушиваться к себе (5%). Для этого есть разные рычаги, но это тема отдельного разговора.
Я бы сказал, что именно в силу пункта №1, факт и расходится с планом.
Но в этом танго участвуют двое. И ведущая роль (читайте ответственность) лежит именно на руководителе. Так как хороший аналитик может всегда замылить объективные выводы так, что никто концов не сыщет.
Поэтому дело не в статистике, а в рыбе, которая всегда гниёт с головы.
А вывод очень простой:
1. Тщательно подбирайте руководство
2. Еще более тщательно подбирайте аналитика
3. Тестируйте кейсами и того и другого и вводите чёткие KPI
4. Проводите независимый аудит аналитики и принимаемых руководителем решений, иначе случится зеро и казино (рынок) приберет к рукам все ставки