Достоверное прогнозирвание -- ключевой фактор

Евгений Равич пишет:

Ирина Плотникова пишет:

Еще, зачем вы вырыаете фразы из контекста, Евгений, скажите мне, пожалуйста, Евгений ? ))

И в мыслях не было. Просто спросил. Невиновен.

Нет, виновны )) У меня была другая мысль. Посмотритте и почувствуйте разницу, пожалуйста )

И еще, любое применение ПА определяется 2 факторами:

1. Предмет прогнозирования: какое поведение, действие или событие должно быть спрогнозировано в отношении конкретного человека, акции или другого субъекта.

2. Цель прогнозирования: какие решения будут приняты или какие действия предприняты организацией в ответ на каждый прогноз или под его влиянием.

Что опять же есть психология в общем плане )

Еще раз дам ссылку на то, что сегодня в отрасли считается Predictive Analytics. Там же есть ссылки на другие материалы и исследования. Всё достаточно свежее.

Видела. А вы прочитали, что я написала? )

Ирина Плотникова пишет:

Евгений Равич пишет:

Ирина Плотникова пишет:

Еще, зачем вы вырыаете фразы из контекста, Евгений, скажите мне, пожалуйста, Евгений ? ))

И в мыслях не было. Просто спросил. Невиновен.

Нет, виновны )) У меня была другая мысль. Посмотритте и почувствуйте разницу, пожалуйста )

Это не полемика. Еще раз - я просто спросил. Первая книга в жанре учебника по когнитивной психологии вышла в 1967г.

И еще, любое применение ПА определяется 2 факторами:

1. Предмет прогнозирования: какое поведение, действие или событие должно быть спрогнозировано в отношении конкретного человека, акции или другого субъекта.

2. Цель прогнозирования: какие решения будут приняты или какие действия предприняты организацией в ответ на каждый прогноз или под его влиянием.

Что опять же есть психология в общем плане )

Еще раз дам ссылку на то, что сегодня в отрасли считается Predictive Analytics. Там же есть ссылки на другие материалы и исследования. Всё достаточно свежее.

Видела. А вы прочитали, что я написала? )

Конечно. Авторство Вы не указали.

Кто-то пользовался продуктами SAS Inst. в целях этой дискуссии? Все шаги описаны достаточно подробно. Примеров из разных областей достаточно - для начала.

Эрнст Мальцев пишет:
А мне неинтересно, я скорее согласен с оценкой С.Среднего.

Эрнст Мальцев пишет:
Знаете Михаил, Вы по поводу психологии и своих помыслов на эту тему общайтесь лучше с закоренелыми психологами, "их тут есть".

Так кто же Вас просил отвечать раз не интересно? Но я обойдусь и без Ваших советов, если позволите, с кем общаться. Надеюсь я ответил не более чем зеркально. Мне бы не хотелось переводить дискуссию в перепалку. 

Эрнст Мальцев пишет:
А Вы значит понимаете что есть ИИ и кибернетика?

Думаю, что мои познания в этой области довольно скромны. Хотя я и занимаюсь системными решениями основанными на трудах Богданова, Анохина, Винера, если говорить за кибернетику. 

Эрнст Мальцев пишет:
Просвещаете публику?

Нет, делюсь соображениями. Даже на лекциях не позволяю себе вещать. Наоборот, стараюсь чтобы слушатели участвовали, сомневались, искали. 

Эрнст Мальцев пишет:
Кстати, тут некоторые восхищались тем, как ИИ генерирует картинки для рекламы - т.е. если Вам верить, то процесс производства рекламы это техническая система? 

Нет, это подтверждает только мой тезис о том, что ИИ мощный инструмент работы с данными. А системы в которых он работает суть взаимодействие людей. 

Эрнст Мальцев пишет:
Предлагаю на этом и завершить частную дискуссию.

И Вам не хворать. 

Эрнст Мальцев пишет:
А иначе опять все сведется к бесконечным дискуссиям "ни о чем" в стиле поисков "научного менеджмента" с бесконечным выяснением кто и что и как понимает/не понимает и т.д.

Ну, для Вас может быть ни о чëм. Но если дискуссия продолжается, значит интерес есть. 

Евгений Равич пишет:

Ирина Плотникова пишет:

Евгений Равич пишет:

Ирина Плотникова пишет:

Еще, зачем вы вырыаете фразы из контекста, Евгений, скажите мне, пожалуйста, Евгений ? ))

И в мыслях не было. Просто спросил. Невиновен.

Нет, виновны )) У меня была другая мысль. Посмотритте и почувствуйте разницу, пожалуйста )

Это не полемика. Еще раз - я просто спросил.

 Цитируйте мысль до конца, пожалуйста, очень прошу

Первая книга в жанре учебника по когнитивной психологии вышла в 1967г.

А это причем?

И еще, любое применение ПА определяется 2 факторами:

1. Предмет прогнозирования: какое поведение, действие или событие должно быть спрогнозировано в отношении конкретного человека, акции или другого субъекта.

2. Цель прогнозирования: какие решения будут приняты или какие действия предприняты организацией в ответ на каждый прогноз или под его влиянием.

Что опять же есть психология в общем плане )

Еще раз дам ссылку на то, что сегодня в отрасли считается Predictive Analytics. Там же есть ссылки на другие материалы и исследования. Всё достаточно свежее.

Видела. А вы прочитали, что я написала? )

Конечно. Авторство Вы не указали.

Вот авторство

Алексей Уланов пишет:
То есть прогнозерам имеет смысл обсуждать только признаки людей способных ухвататить тему и не отпускать ее. Все остальное не имеет смысла.

А прогнозëры, они сами по себе или имеет всë же смысл встраивать их в систему принятия решений на предприятиях? 

Михаил Лурье пишет:
Чем же так кибернетика не угодила в свое время власть имущим?

Тут стоит, Михаил, вспомнить и философию, религию, социологию. Всë, что раскрывает реальные интересы высших сословий или противоречит им, так или иначе блокировалось. Например, практически все уверены что кибернетика относится исключительно к искусственному интеллекту, к техническим системам, а социология заключается в социальной статистике. 

Евгений Равич пишет:
Интересно. Как выглядит арбитраж? Есть примеры?

Не вдаваясь глубоко в детали, арбитраж выглядит как: простое большинство при классификации исходов или (более продвинутый вариант) - взвешенное большинство, когда учитывается успешность каждой частной модели на предыдущих шагах, что и определяет вес ее результата при арбитраже..

Евгений Равич пишет:
В общем случае это невозможно установить на данный момент - вряд ли есть полный доступ ко всем чужим моделям и результатам их работы. Если, конечно, это не открытая информация.

В таких ситуациях есть все доступные исходные данные и, например,  в дереве регрессий определяется семество регрессионных уравнений, а сам арбитраж вырождается для конкретного набора исходных данных в выбор конкретного уравнения регрессии - того, которое лучше всего показало себя именно на этих диапазонах данных. Т.е. вместо одного уравнения регрессии - семейство или иначе (для думерного случая) вместо регрессионной прямой - система отрезков, образующих ломаную.

Евгений Равич пишет:
Кто-то пользовался продуктами SAS Inst. в целях этой дискуссии? Все шаги описаны достаточно подробно. Примеров из разных областей достаточно - для начала.

Нет. SAS  приостановила все операции в России. 

Но это стандартные шаги в этом деле. Есть и открытые среды типа R, python с его не менее богатой экосистемой библиотек по работе с данными и моделям. По отдельным шагам процесса публикуются книжки. Чисто для справки - по практике, шаг 2 (To prepare the data for a predictive modeling...) может потребовать до 60-80% времени в общем цикле работ до включения моделей Predictive analytics в операционный цикл. Модели нуждаются в текущем сопровождении и обновлении. 

Эрнст Мальцев пишет:

Евгений Равич пишет:
В общем случае это невозможно установить на данный момент - вряд ли есть полный доступ ко всем чужим моделям и результатам их работы. Если, конечно, это не открытая информация.

В таких ситуациях есть все доступные исходные данные и, например,  в дереве регрессий определяется семество регрессионных уравнений, а сам арбитраж вырождается для конкретного набора исходных данных в выбор конкретного уравнения регрессии - того, которое лучше всего показало себя именно на этих диапазонах данных. Т.е. вместо одного уравнения регрессии - семейство или иначе (для думерного случая) вместо регрессионной прямой - система отрезков, образующих ломаную.

То есть подбор уравнения регрессии для тех же данных, если я Вас правильно понял? А если близкие значения показывает, например, пара уравнений? Или для разных диапазонов исторических данных получаются разные ответы?

Эрнст Мальцев пишет:

Евгений Равич пишет:
Кто-то пользовался продуктами SAS Inst. в целях этой дискуссии? Все шаги описаны достаточно подробно. Примеров из разных областей достаточно - для начала.

Нет. SAS  приостановила все операции в России. 

Но это стандартные шаги в этом деле. Есть и открытые среды типа R, python с его не менее богатой экосистемой библиотек по работе с данными и моделям. По отдельным шагам процесса публикуются книжки. Чисто для справки - по практике, шаг 2 (To prepare the data for a predictive modeling...) может потребовать до 60-80% времени в общем цикле работ до включения моделей Predictive analytics в операционный цикл. Модели нуждаются в текущем сопровождении и обновлении. 

Возможно, у кого-то есть опыт использования инструментов SAS на эту тему в прошлом.

С R понятно. С последним утверждением полностью согласен. 

Ирина Плотникова пишет:

Евгений Равич пишет:

Ирина Плотникова пишет:

Евгений Равич пишет:

Ирина Плотникова пишет:

Еще, зачем вы вырыаете фразы из контекста, Евгений, скажите мне, пожалуйста, Евгений ? ))

И в мыслях не было. Просто спросил. Невиновен.

Нет, виновны )) У меня была другая мысль. Посмотритте и почувствуйте разницу, пожалуйста )

Это не полемика. Еще раз - я просто спросил.

 Цитируйте мысль до конца, пожалуйста, очень прошу

Что я упустил?

Евгений Равич пишет:
То есть подбор уравнения регрессии для тех же данных, если я Вас правильно понял? А если близкие значения показывает, например, пара уравнений? Или для разных диапазонов исторических данных получаются разные ответы?

Вот, что пишет на эту тему Бретт Ланц ("Машинное обучение на R", на мой взгляд очень простая практическая книга, доступная значительной части студентов МВА и просто менеджеров):

 Дерево решений строит модель, очень похожую на потоковую диаграмму, где узлы решений, концевые узлы и ветви определяют последовательность решений, которые принимаются для классификации примеров. Такие деревья можно также использовать для числового прогнозирования, внеся лишь небольшие изменения в алгоритм построения деревьев.

 Деревья для числового прогнозирования делятся на две категории. Первая — регрессионные деревья — была введена в 1980-х годах как часть фундаментального алгоритма построения дерева классификации и регрессии(Classification and Regression Tree, CART). Несмотря на название, в регрессионных деревьях, как уже говорилось ..., не используются методы линейной регрессии; вместо этого они делают прогнозы на основе среднего значения для имеющихся примеров, которые в итоге позволяют достичь концевого узла.

 Вторая категория деревьев для числового прогнозирования — деревья моделей.  Деревья моделей строятся примерно так же, как и регрессионные деревья, однако для каждого концевого узла строится модель множественной линейной регрессии на основе примеров, дошедших до этого узла. В зависимости от количества концевых узлов, дерево моделей может строить десятки или даже сотни таких моделей. Из-за этого деревья моделей труднее исследовать, чем аналогичные регрессионные деревья, но их преимущество заключается в том, что деревья моделей могут привести к построению более точной модели.

Т.е. в регрессионных деревьях  и деревьях моделей все исходные данне делятся на две части - обучающую выборку и контрольную. В бутстрепе и кросс-валидации дело обстоит иным образом (источник тот же): 

Если при кроссвалидации данные разделяются на блоки, в которых каждый пример может встречаться только один раз, то при методе начальной загрузки (он же - бутсреп) в процессе выборки с заменой примеры могут выбираться многократно. Это означает, что из исходного набора данных, состоящего из n примеров, при выполнении бутстрепа будет сформирован один или несколько новых тренировочных наборов данных, каждый из которых также содержит n примеров, некоторые из них повторяются. Затем для каждого из этих тренировочных наборов строится соответствующий тестовый набор данных, в который входят те примеры, которые не вошли в этот тренировочный набор данных.

Извините за дотошность, но короче и не скажешь. Однако,это только вершина айсберга! Бэггинг и бустинг - это уже про построение ансамблей моделей.

Эрнст Мальцев пишет:
Т.е. в регрессионных деревьях  и деревьях моделей все исходные данне делятся на две части - обучающую выборку и контрольную. В бутстрепе и кросс-валидации дело обстоит иным образом (источник тот же): 

Обучающая выборка должна быть взята из динамично изменяющегося процесса. То есть должны быть переходы из одного состояния в другое с изменением тех параметров, по которым проводится апоксимация (регрессионный анализ).

Если процесс статичен, то взятая из него обучающая выборка не позволит построить адекватную модель. То есть при реальных изменениях обученная Система не сможет адекватно отработать этот переход.

Мы с этой проблемой сталкивались в нашей Системе улучшенного управления.