Достоверное прогнозирвание -- ключевой фактор

Михаил Лурье пишет:
Обучающая выборка должна быть взята из динамично изменяющегося процесса. То есть должны быть переходы из одного состояния в другое с изменением тех параметров, по которым проводится апоксимация (регрессионный анализ). Если процесс статичен, то взятая из него обучающая выборка не позволит построить адекватную модель. То есть при реальных изменениях обученная Система не сможет адекватно отработать этот переход. Мы с этой проблемой сталкивались в нашей Системе улучшенного управления.

Да, это проблема настоящая! Допустим у нас есть процесс и данные за период, пусть за неделю. Построили мы некую модель, хоть моно (если хватает), хоть ансамблевую, хоть сеть многослойную сеть. С очередного понедельника - модель работает - выдает прогнозы. Но, сам рабочий процеес, генерирующий данные выдает новые данные в хранилище и формирует дополнение к имеющимся данным.  Когда повторять цикл и опять обучать модели? Даже в автоматическом режиме нужен присмотр - тут все "течет". Ежедневно? Можно и так. Пока не встречал однозначных и обоснованных ответов. Может быть, частично могут дать ответы на эту тему результаты контроля стабильности бизнес-процессов - 6 сигма. Вот это хорошо бы обсудить. Есть есть мнения, было бы интересно.

Тут есть такие "параллельные" соображения относительно объема исходных данных. Вот гигантские нейросети, которые могут "почти все" - обучаются на колоссальных объемах разнородных данных - от картинок, до образцов кода. Хорошо ли это? Неизвестно, это все равно что человека тренировать и в тяжелой атлетике и в балете - получится "нечто" - ни там ни сям не на уровне. То же самое с данными даже относительно однородными. Какой "скользящий объем" данных стоит брать для переобучения прогнозных моделей? Вполне возможно, что именно специализированные модели и оптимизированные датасеты - это перспектива? Маловато работ на эту тему пока. А ведь это - суть промашленных систем AI.

Общие подходы к планированию графика обновлений моделей, определению оптимальных размеров датасетов известны, однако статей с практикой отраслевой - очень мало.

Эрнст Мальцев пишет:
Тут есть такие "параллельные" соображения относительно объема исходных данных. Вот гигантские нейросети, которые могут "почти все" - обучаются на колоссальных объемах разнородных данных - от картинок, до образцов кода. Хорошо ли это? Неизвестно, это все равно что человека тренировать и в тяжелой атлетике и в балете - получится "нечто" - ни там ни сям не на уровне. То же самое с данными даже относительно однородными. Какой "скользящий объем" данных стоит брать для переобучения прогнозных моделей? Вполне возможно, что именно специализированные модели и оптимизированные датасеты - это перспектива? Маловато работ на эту тему пока. А ведь это - суть промашленных систем AI.

Если ты работаешь в режиме уточнения гипотезы, то можно в любой информации искать ее "следы".

Ну если ты работаешь в режиме формирования гипотезы, то тут нужно фильтровать массив данных, чтобы на базе отфильтрованных данных сформировать гипотезу.

Ирина Плотникова пишет:
И потом не надо путать народную (folk) психологию и научную )

Я ничего не путаю.
Вся психология сейчас сводится к массиву BD, а мультифакторый анализ позволяет выявить многомерные корреляции факторов, экстраполяции рефлексий и построить детальный портрет человека. Собственно этим и занимается Google, Amazon и Apple и иже с ними.
Каждого кто заходит в свой профайл или на страницу их сайта или упасибоже имеют их приложение в своем гаджете читают (парсят) вдоль и поперек. Сводя всю писхологию к массиву данных CJM, на основании которого строятся модели поведения, предпочтений, итд.
Ваш гаджет знает не только как вы выглядите, сколько вам лет, но с кем и что вы обсуждаете в мессенджерах, где бываете, в какое время ложитесь спать, и даже храпите ли во сне. Даже температуру вашего тела он отслеживает, пока лежит в кармане, не говоря уже о множестве других сугубо интимных деталей :)

А связь всех накопленных данных выполняет уже ДатаЦентр, находя все корреляции, о которых вы даже помыслить не сможете :)
В итоге зная о вас больше, чем вы сами.

А вы мне про психологию...

Ирина Плотникова пишет:
Но не математика изучает человека, а человек математику ))

Если долго смотреть в бездну, то бездна начинает смотреть в вас.
Математика в отличие от психологии -- объективная наука. Вне зависимости от того, кто ее узачает дважды два = четыре.

Михаил Трофименко пишет:
Хотел бы обратить внимание, что само по себе предсказание является результатом аналитической работы, основанной на информации.  Качество прогнозов зависит от качества информации внешней и унутрэнней.

Слишком общо сказано.
Но все намного сложнее.
В современном предиктивном анализе активно применяется эвристика и симуляции. Когда недостающая информация моделируется в виде тумана упреждающих гипотез, которые помимо внешней и внутренней информации могут строиться с использованием рандомизации и нечёткой (вероятностной) логики.
А те же нейронные сети -- это чёрные ящики. Качество внутренней информации которых невозможно оценить.

Даже строя прогнозную модель спроса на товарную группу с использованием экстраполяции исторической выборки я использую более 50-параметров, часть из которых, подобрана, кстати, эмпирически. То есть, с использованием интуитивного прозрения.
Часть из них казалось бы никаким путем не связана с наблюдаемым процессом (прямо), но как-то связана косвенно. Природа связей не всегда понятна и я оставляю её за рамками, хотя использую, потому что это работает, и причём хорошо.

Не поверите, но даже для решения этой простой (на первый взгляд задачи) я использую дозированную рандомизацию параметров (используя собственную Know-How методику, я называю её Метод Параметрической Встряски -- это когда я чуть зашумляю особым образом модель и/или выборку), что повышает регрессионную сходимость и дает ощутимую дополнительную достоверность прогнозной модели. Почему? ХЗ, если кратко. А если подробно, то нет времени пояснять. Учить кого-то столь сложным вещам на грани науки и искусства -- неблагодарный и бесполезный труд.
Вам знакомо понятие -- насмотренность данных?

Может быть на старость лет, когда мне будет нечем заняться -- я напишу книгу о связи культурных привычек россиян живущих на юге и севере РФ и их влиянии на принятие решений о покупке относительно пасхальных праздников :)
Хотя нет -- мартышкин труд. Инофрмация не важна. Важно то, как именно (!) вы с ней работаете, при условии, конечно, что ваши прогнозы сбываются. Невозможно передать по вай-фаю ваш способ мышления.
Во-первых потому, что его невозможно описать. А пара десятков приёмов и трюков, которым можно научить -- это капля в океане.
А во-вторых, потому, что поезд идёт без остановок. И то, что вы знете и как мыслите сегодня безвозвратно устареет, если не завтра, то послезавтра.

Настоящую экспертизу можно купить только с экспертом.
То, что некоторые продают как самостоятельный (отдельный от эксперта) продукт будет только падать в цене (и терять актуальность) со временем в силу геометрического роста количества знаний и их сложности на фоне роста количества информации и её доступности (для парсинга).
Гарантирую.

Сергей Средний пишет:

Ирина Плотникова пишет:
И потом не надо путать народную (folk) психологию и научную )

Я ничего не путаю.
Вся психология сейчас сводится к массиву BD, а мультифакторый анализ позволяет выявить многомерные корреляции факторов, экстраполяции рефлексий и построить детальный портрет человека. Собственно этим и занимается Google, Amazon и Apple и иже с ними.
Каждого кто заходит в свой профайл или на страницу их сайта или упасибоже имеют их приложение в своем гаджете читают (парсят) вдоль и поперек. Сводя всю писхологию к массиву данных CJM, на основании которого строятся модели поведения, предпочтений, итд.
Ваш гаджет знает не только как вы выглядите, сколько вам лет, но с кем и что вы обсуждаете в мессенджерах, где бываете, в какое время ложитесь спать, и даже храпите ли во сне. Даже температуру вашего тела он отслеживает, пока лежит в кармане, не говоря уже о множестве других сугубо интимных деталей :)

А связь всех накопленных данных выполняет уже ДатаЦентр, находя все корреляции, о которых вы даже помыслить не сможете :)
В итоге зная о вас больше, чем вы сами.

А вы мне про психологию...

Ирина Плотникова пишет:
Но не математика изучает человека, а человек математику ))

Если долго смотреть в бездну, то бездна начинает смотреть в вас.
Математика в отличие от психологии -- объективная наука. Вне зависимости от того, кто ее узачает дважды два = четыре.

Михаил Трофименко пишет:
Хотел бы обратить внимание, что само по себе предсказание является результатом аналитической работы, основанной на информации.  Качество прогнозов зависит от качества информации внешней и унутрэнней.

Слишком общо сказано.
Но все намного сложнее.
В современном предиктивном анализе активно применяется эвристика и симуляции. Когда недостающая информация моделируется в виде тумана упреждающих гипотез, которые помимо внешней и внутренней информации могут строиться с использованием рандомизации и нечёткой (вероятностной) логики.
А те же нейронные сети -- это чёрные ящики. Качество внутренней информации которых невозможно оценить.

Даже строя прогнозную модель спроса на товарную группу с использованием экстраполяции исторической выборки я использую более 50-параметров, часть из которых, подобрана, кстати, эмпирически. То есть, с использованием интуитивного прозрения.
Часть из них казалось бы никаким путем не связана с наблюдаемым процессом (прямо), но как-то связана косвенно. Природа связей не всегда понятна и я оставляю её за рамками, хотя использую, потому что это работает, и причём хорошо.

Не поверите, но даже для решения этой простой (на первый взгляд задачи) я использую дозированную рандомизацию параметров (используя собственную Know-How методику, я называю её Метод Параметрической Встряски -- это когда я чуть зашумляю особым образом модель и/или выборку), что повышает регрессионную сходимость и дает ощутимую дополнительную достоверность прогнозной модели. Почему? ХЗ, если кратко. А если подробно, то нет времени пояснять. Учить кого-то столь сложным вещам на грани науки и искусства -- неблагодарный и бесполезный труд.
Вам знакомо понятие -- насмотренность данных?

Может быть на старость лет, когда мне будет нечем заняться -- я напишу книгу о связи культурных привычек россиян живущих на юге и севере РФ и их влиянии на принятие решений о покупке относительно пасхальных праздников :)
Хотя нет -- мартышкин труд. Инофрмация не важна. Важно то, как именно (!) вы с ней работаете, при условии, конечно, что ваши прогнозы сбываются. Невозможно передать по вай-фаю ваш способ мышления.
Во-первых потому, что его невозможно описать. А пара десятков приёмов и трюков, которым можно научить -- это капля в океане.
А во-вторых, потому, что поезд идёт без остановок. И то, что вы знете и как мыслите сегодня безвозвратно устареет, если не завтра, то послезавтра.

Настоящую экспертизу можно купить только с экспертом.
То, что некоторые продают как самостоятельный (отдельный от эксперта) продукт будет только падать в цене (и терять актуальность) со временем в силу геометрического роста количества знаний и их сложности на фоне роста количества информации и её доступности (для парсинга).
Гарантирую.

Сергей, вы шутите или правда не понимаете, что выводы когнитивной психологии, такие как теория разума, иерархический анализ задач и теория обработки информации и проч., а также выводы психолингвистики, предоставляют основополагающие концепции и принципы, которыми руководствуются при разработке алгоритмов искусственного интеллекта и машинного обучения?  И те же "Google, Amazon и Apple и иже с ними".

Ирина Плотникова пишет:
Сергей, вы шутите или правда не понимаете, что выводы когнитивной психологии, такие как теория разума, иерархический анализ задач и теория обработки информации и проч., а также выводы психолингвистики, предоставляют основополагающие концепции и принципы, которыми руководствуются при разработке алгоритмов искусственного интеллекта и машинного обучения?

Ничего они не предоставляют -- толчение воды в ступе. И тем более для разработки алгоритмов AI и ML.
Нейросети строятся совершенно иначе. Очевидно, что вы слабо понимаете предмет AI, увы.

Сергей Средний пишет:

Ирина Плотникова пишет:
Сергей, вы шутите или правда не понимаете, что выводы когнитивной психологии, такие как теория разума, иерархический анализ задач и теория обработки информации и проч., а также выводы психолингвистики, предоставляют основополагающие концепции и принципы, которыми руководствуются при разработке алгоритмов искусственного интеллекта и машинного обучения?

Ничего они не предоставляют -- толчение воды в ступе. И тем более для разработки алгоритмов AI и ML.
Нейросети строятся совершенно иначе. Очевидно, что вы слабо понимаете предмет AI, увы.

Понятно ))

Евгений Равич пишет:

Ирина Плотникова пишет:

Евгений Равич пишет:

Ирина Плотникова пишет:

Евгений Равич пишет:

Ирина Плотникова пишет:

Еще, зачем вы вырыаете фразы из контекста, Евгений, скажите мне, пожалуйста, Евгений ? ))

И в мыслях не было. Просто спросил. Невиновен.

Нет, виновны )) У меня была другая мысль. Посмотритте и почувствуйте разницу, пожалуйста )

Это не полемика. Еще раз - я просто спросил.

 Цитируйте мысль до конца, пожалуйста, очень прошу

Что я упустил?

Разницу чувствуете, Еввгений?

Которая действительно выросла из кибернетики

Которая действительно выросла из кибернетики в какой-то мере 

Ирина Плотникова пишет:
Разницу чувствуете, Еввгений?

Которая действительно выросла из кибернетики

Которая действительно выросла из кибернетики в какой-то мере 

Понял, спасибо.

Сергей Средний пишет:
Слишком общо сказано.Но все намного сложнее.

Впечатляет. Как ни странно, Сергей, но Вы всë усложняете и уходите в нирвану философии и психологии. Наверно так шутите. В чëм я абсолютно уверен, что  Вы уверены в следующем:

Сергей Средний пишет:
Настоящую экспертизу можно купить только с экспертом.

Мы исходим из разных целевых установок. Вы, используя сложное обоснование похожее на тонкий стëб (если собеседник конечно повëрнут на философии), доказываете свою исключительную значимость и подобных Вам экспертов для построения прогнозов. Верю Вам безоговорочно. 

Для меня не имеет значения как Вы оцениваете себя или окружающих Вас с точки зрения качества прогнозирования. Вы, как профессионал высокого уровня, частный, возможно уникальный случай. А моя задача исходящая из целей изысканий найти системное решение повышения результативности управления. Есть такой специалист как Вы, хорошо. Нет, задача приемлемого прогнозирования должна всë равно решаться пусть и не так эффективно. Если всë сводить к поиску специалиста строящего свои прогнозы на интуиции или намоленности, ой, простите, насмотренности данных, то я бы не советовал использовать такой подход системно. Рисков многовато. 

Михаил Трофименко пишет:
доказываете свою исключительную значимость

Упаси Боже, какой стёб?
Вообще ни разу. И здесь не про меня вовсе. А про мое видение развития событий и идеи.
Ну, а о чём еще хорошо поговорить двум не самым глупым (надеюсь в отношении себя, в вас я не сомневаюсь) людям?

Михаил Трофименко пишет:
Рисков многовато. 

Вы ничем не рискуете, если предложите соискателю ряд кейсов.
И посмотрите как он с ними справится.

Такой подход выявляет:
1. Мотивацию работать. Причем на результат. Уверяю вас, что 2/3 потенциальных соискателей с прекрасными резюме просто отвалятся. Отвалятся потому, что за красивой обёрткой -- гниляк, вместо конфеты.
2. Образ мышления, инструментарий и компетенции, коммуникацию.

Например, я обычно предлагаю на встрече 3 задачи:
1. Блиц для решения прямо во время встречи. Она простая и больше на внимательность и критическое мышление.
2. Домашнее задание #1. Задача которая имеет решение и решить ее можно несколькими способами. По тому, как она будет решена я сужу об инструментарии соискателя.
3. Домашнее задание #2. Задача, которая не имеет четкого решения. Здесь я оцениваю подходы, способность генерить идеи и коммуникацию.

Кстати, к вашему сведению в ряде научно-популярных западных журналов время от времени встречаются задачки, которые за видимой простотой и иизяществом скрывают бездну.
Открою вам секрет -- их публикуют по заказу разных влиятельных организаций с целью выявления гиперталантливых людей.

Михаил Трофименко пишет:
Нет, задача приемлемого прогнозирования должна всë равно решаться пусть и не так эффективно.

Она должна решаться с максимальной (!) эффективностью на дистанции.
И решаться постоянно по мере приближения Момента Истины, так как с каждым часом данных становится больше и достоверность прогноза с их ростом тоже может быть увеличена -- это называется Rolling Forecasting, постоянное уточнение прогноза.
Пронозирование -- это не про то, у кого балык больше. Это про деньги.

Спрашивается -- а как же оценивать Прогнозного Аналитика, если он постоянно уточняет прогноз?
Когда-то я разработал систему метрик для этого.
В основе которых лежит угловое отклонение прогноза от факта. Я не считаю ошибку в чистом виде, а считаю отношение ошибки к дистанции с которой был сделан любой из прогнозов. А дальше беру либо их среднее у аналитика в раунде. Либо (вариант помягче) -- лучшее отношение в серии прогнозов аналитика в раунде.
Тот же подход отлично работает в прогнозной группе для сравнительной оценки эффективности аналитиков.
Причем в группе наблюдается интересный феномен -- кто-либо всегда получит наилучший результат в том или ином раунде. Но это может случайным попаданием в яблочко -- все прогнозы шумят. Лучший аналитик как ни странно не тот, кто иногда стреляет лучше всех, а тот кто выдает небольшую но стабильно небольшую ошибку от раунда к раунду и стабильно входит в Топ-3 или Топ-5.
Постоянство -- признак мастерства.
Из двух прогнозных аналитиков, выдающих результаты в угловом отклонении:
1) 1°, 4°, 2°, 5°
2) 2°, 3°, 4°, 3°

Я выберу второго. Так как его метод -- лучше.
Хотя на длинных забегах надо смотреть, конечно еще и динамику. Каждый аналитик постоянно совершенствует свои методики. Есть такие, которые очень быстро учатся и переходят на уровень того, что я называю -- грань между наукой и искусством. За такого не жаль и полцарства -- все окупится с лихвой.
Это именно тот случай, когда экспертиза не отделима от эксперта.
Чтобы творить Микеланджело -- нужно жить как он.
Покупка его стамески, пилы и молотка вам ничего не даст без его рук, глаза и эстетического интеллекта. В предыдущем комменте я написал именно об этом.

Жаль, когда такие идут в консалтинг и прочий коучинг с фасилитацией и вместо непосредственной работы тратят свое время и талант на то, чтобы кому-то внушить иллюзию экспертизы.
Настоящая экспертиза приходит только через постоянно обновляемый опыт. А мир не стоит на месте. Пока такой тратит время на бездарей, поезд идет.
Надеюсь, сейчас я очень ясно изложил мою идею.

PS Кстати наблюдая за динамикой роста качества прогнозов аналитика (а она -- обычно выглядит экспоненциально) можно прикинуть время когда аналитик достигнет уровня эльфа 80-го левела. Очень важно поймать этот момент, чтобы вовремя подкинуть такому новых более сложных задач. Иначе уйдет в консалтинг и там стухнет -- начнет продавать голубые океаны и скатится в эмоциональный интеллект, самое днище ящетаю.

Примером домашней задачи #1 может быть такая:
Постройте линейный прогнозный тренд по выборке и оцените трубку доверительного интервала 95%.
x                    y
-0,030120    0,034286
1,837349    -0,182857
2,921687     0,175238
3,704819     0,007619
6,024096      0,038095
6,897590      0,030476
7,921687      0,194286
8,343373      0,259048
10,783133    0,000000
14,427711    0,068571
17,018072    0,476190

И у того, кто предложит в качестве решения:
y = (-4,296164E-02) + (1,970623E-02)*x
НЕ будет шансов на продолжение диалога :)

Попробуйте предложить своё решение.
Представьте для острастки, что x -- это время, а y -- деньги. А ваша премия зависит от точности вашего прогноза.

Ирина Плотникова пишет:

Сергей Средний пишет:

Ирина Плотникова пишет:
Сергей, вы шутите или правда не понимаете, что выводы когнитивной психологии, такие как теория разума, иерархический анализ задач и теория обработки информации и проч., а также выводы психолингвистики, предоставляют основополагающие концепции и принципы, которыми руководствуются при разработке алгоритмов искусственного интеллекта и машинного обучения?

Ничего они не предоставляют -- толчение воды в ступе. И тем более для разработки алгоритмов AI и ML.
Нейросети строятся совершенно иначе. Очевидно, что вы слабо понимаете предмет AI, увы.

Понятно ))

Добавьте в этот список ненужного клиническую психологию, детскую психологию, социальную психологию. Заодно и психиатрию. Не помню, чтоюы психиатры интересовались мнением Amazon. А факторы для дальнейшего изучения  находят не в капусте - нужны какие-то хотя бы частично работающие теории, которые затем проверяются.

Но пока ничего особенного. Обычная вера в мощь новых инструментов. Дайте мне компьютер побольше, и я вас всех посчитаю.

Видели недавнюю новость о полной карте синапсов мозга дрозофилы? Удивительное достижение, только что составили. Сколько интересного впереди!

Сергей Средний пишет:
Настоящая экспертиза приходит только через постоянно обновляемый опыт.

Это можно обсуждать - или немедленно согласиться. Хирург должен оперировать. Продавец - продавать. Певец - петь.

Сергей Средний пишет:
Чтобы творить Микеланджело -- нужно жить как он.Покупка его стамески, пилы и молотка вам ничего не даст без его рук, глаза и эстетического интеллекта.

В искусстве это работает не так. Микельанджело сам учился у великих и с детства копировал их работы. Ему даже разрешили изучать трупы. 

Были ученики и у Микельанджело.

А стамески и краски - просто инструменты, которые есть у каждого в профессии.

Евгений Равич пишет:
Микельанджело сам учился у великих и с детства копировал их работы.

Веротяно, великие у которых он учился, были практикующими творцами, а не коучами с дипломом Эриксоновского, прости господи, Университета. Тогда ему с ними повезло, признаЮ.

Евгений Равич пишет:
Заодно и психиатрию.

Да как угодно. Добавьте сюда священников, исповедующих паству. Блиновскую. Можно и водителей такси заодно, которые являются лучшими коучами.
Кстати, слово коуч происходит от слова кучер (coachman). Ни с кем люди не бывают так откровенны, как случайными и анонимными встречными, с которыми судьба их сводит на короткое время, за которое те успевают выговориться и послушать жизненные наставления ямщика (через которого ежедневно проходят десятки таких же).

Я не против психологии и психологов, нет. Это работает и даже иногда кому-то на время помогает.
Но до тех пор, пока это сэм-восэм или почему бы не -- это не наука.
И только когда всё это переходит в измеримую плоскость (критерии я привел выше), это приобретает признаки науки.

Евгений Равич пишет:
Дайте мне компьютер побольше, и я вас всех посчитаю.

И дело тут не в компьютере помощней.

Михаил Трофименко пишет:
А моя задача исходящая из целей изысканий найти системное решение повышения результативности управления. Есть такой специалист как Вы, хорошо. Нет, задача приемлемого прогнозирования должна всë равно решаться пусть и не так эффективно.

Если мы заменим "прогнозирование" на "планирование" и "оценка" - что  изменится с точки зрения решения Ваших задач? 

Автор темы утверждает, что 

Способность достоверно прогнозировать -- ключевой фактор эффективного управления.

Один из, но, очевидно, далеко не единственный. И определить достоверность какого-то прогноза (или одного из) заранее невозможно, а решение нужно принимать. Обычная проблема Decision Making. Прогнозы делают одни, а решения принимают другие. Результаты могут увидеть третьи.

Для очень многих задач, начиная с новых и разовых, исторических данных просто не существует. В таких случаях аппарат Predictive Analytics не работает.

Было бы интересно увидеть реальный пример, если у участников обсуждения такой уже есть, когда для планирования в среднесрочной перспективе (скажем, 3-5 лет) нужен набор прогнозов в нескольких областях. У финансистов, работающих с длинными деньгами (10 лет и более), такие примеры тем более должны быть.