Кейс: как бизнесу пережить пиковую нагрузку и наплыв 20 тыс. новых клиентов

26 августа 2024 года был рутинный рабочий день. На повестке была тема о сервисе Notion – уйдет или нет. Единодушно сошлись на том, что шансы минимальные – было бы желание, давно бы так сделали. С этими мыслями мы пожили не так долго – 27 августа сервис сообщил пользователям, что через 14 дней их личные кабинеты будут заблокированы.

Чем знаменит Notion

Notion – гибкий и функциональный сервис, который дает инструментарий для создания удобного рабочего пространства. Это актуально как для начинающего блогера с мизерной аудиторией, так и для многотысячной компании. По всему миру энтузиасты объединялись в сообщества, где делились заметками и открытиями о платформе, проводили крупные вебинары, кто-то и вовсе выстраивал новые бизнесы вокруг создания рабочих пространств.

Российская аудитория была многолюдной, и теперь всем обездоленным пользователям предстояло в короткие сроки найти надежную альтернативу для хранения своих знаний. Чтобы снова не оказаться в подобной ситуации через пару-тройку месяцев, люди приняли решение выбирать среди отечественных альтернатив, которые входят в официальный реестр российского ПО. И вот уже 27 августа у нас зарегистрировалось под сотню новых клиентов. Аккаунты были очень разными – от персональных записей и стартап-команд до промышленных гигантов.

Были ли мы готовы?

К нам и до этого коллапса поступали заявки о переносе баз знаний и рабочих пространств с Notion. Так что к этому моменту команда уже успела разработать программу-мигратор. На ее основе наши специалисты организовали миграцию нескольким солидным компаниям. Имеющийся опыт стал отличной базой для модернизации мигратора в первые дни «великого исхода». Он был действительно библейского масштаба. 

27 августа наши системы зафиксировали большой наплыв новых страниц. Команда не сразу осознала, что это. Первая мысль – спам-атака. Порог привычной дневной нормы регистраций был пройден до перерыва на обед. К вечеру перед нашими виртуальными дверьми собралась очередь из десятков организаций. Клиенты видели информацию на сайте о том, что мы предоставляем возможность перенести знания, и хотели тут же начать пользоваться этой услугой.

Однако на тот момент наши возможности и ресурсы были ограничены: одновременно команда могла проводить миграцию лишь нескольких аккаунтов. Что-то вроде двух крупных на 100 Гб информации и 30 поменьше – по 5 Гб.

Когда мигрировать пытается сотня аккаунтов единовременно, ресурс мигратора заканчивается на начальном этапе. В это же время владельцы остальных аккаунтов не понимают, в чем причина задержки и задают многочисленные вопросы техподдержке.

Так, уже в первые несколько часов стало очевидно, что нас ждет яркий и незабываемый опыт.

4 главных вызова в максимально жаркий период

12 сентября 2024 вступал в силу очередной пакет американских санкций, который на этот раз ограничивал оказание IT-услуг российским потребителям. О намерении западные партнеры объявили заранее, поэтому чем ближе был этот момент, тем сильнее росло напряжение.

Вызов №1 – длинная очередь на переезд

Первоначальным решением стало ограничение переноса 20 страницами для каждого клиента. Это было сделано для того, чтобы все новички имели возможность познакомиться с сервисом поближе, понажимать кнопки, выполнить интересующие операции, создать новые страницы и прочее.

Вскоре мы осознали, что решение было неверным – пользователи желали лицезреть если не всю свою базу знаний, то хотя бы полные пространства и связи между статьями. Чтобы не потерять клиентов, мы отменили 20-страничные ограничения в те же сутки.

Параллельно команда приступила к поиску оптимального разрешения ситуации. Наши специалисты сформировали ряд кластеров на новых независимых друг от друга серверах. Там одновременно могли происходить сотни миграций. 

Этим решением структурировали ситуацию, и очередь из 3 тыс. аккаунтов перестала казаться столь большой и неразрешимой. Даже с учетом того, что новые заявки продолжали появляться с каждым следующим часом.

Вызов №2 – внушительный поток новых аккаунтов

Наша платформа – наиболее близкая отечественная замена Notion, но особенности все же есть, поэтому мы привыкли к определенным вопросам от новых пользователей. Теперь же к этому пулу прибавилась куча дополнительных, вызванных сложившейся ситуацией.

Людей интересовал широких список вещей: одни уточняли, какая функция за что отвечает, другие скромно интересовались, когда намечается ближайшая дата для миграции их аккаунта, у третьих возникали сбои в штатной работе приложения. Техподдержка не могла игнорировать ни один из вопросов, и сотрудники подразделения работали посменно нон-стопом несколько дней подряд.

Для регулировки процессов мы:

  • На время укрупнили отдел поддержки, за счет разработчиков и продажников. Пара-тройка сотрудников дежурили и следили за развитием ситуации 24/7.
  • Организовали ежедневные онлайн-демонстрации продукта, а также вебинары, где детально рассказывали, как функционирует мигратор. Здесь же давали ответы на возникающие вопросы, которые поступали ежечасно.
  • Отдел маркетинга на регулярной основе постил полезные статьи в корпоративных медиа и соцсетях.
  • К началу осени мы планировали запуск обновления, в котором запланировали фичи наподобие того, что предлагал Notion. Этот апдейт оказался как нельзя кстати. Мы расписали роадмап, где наглядно продемонстрировали, какие функции появятся в ближайшие дни (элементы интерфейса, формулы, ролл-апы и т.п.).

Так у нас получилось значительно снизить растерянность людей, которые не планировали никаких переездов, но были вынуждены найти новую площадку. Мы давали ответы на все возникающие вопросы в самых разных форматах – в массовых каналах и личке на всех доступных площадках. 

Вызов №3 – кто-то не успел

Хоть слухи и витали, но сообщение о скором уходе Notion стало для всех причастных неожиданностью. Не было никакой ясности, каким образом все будет разворачиваться дальше. Сохранится ли возможность вести работу через VPN-сервисы или, быть может, все чудесным образом само собой образуется?

Многие тогда стали просто ждать часа X, другие пробовали альтернативные сервисы, которые им в итоге не подошли, третьи в этот момент пребывали в отпусках и даже не догадывались о глобальных переменах. Мы задумали предоставить возможность мигрировать и тем, кто не смог или не решился этого сделать, и после 9 сентября.

В связи с этим как только высвободились ресурсы, команда стала писать программу-мигратор для транспортации знаний из архивов Notion. Закончить удалось через полмесяца после ухода сервиса, и все, кто еще некоторое время пытался работать через VPN, оценили удобство этого подхода, сделав выбор в нашу пользу. 

Вызов №4 – для руководителей

Все происходило на высоких скоростях, и менеджменту было необходимо пересобрать процессы в кратчайшие сроки. Вначале ты как руководитель бессознательно поддаешься панике и бегаешь из подразделения в подразделения с огнетушителем. Чрезвычайно сложно позволить себе закрыться в тишине кабинета, опустить жалюзи, чтобы в спокойном темпе обдумать возможные выходы из сложившейся ситуации. Но, как показала практика, именно так и было необходимо сделать.

Когда мы осознали это, тут же поделили активы на стратегов и тактиков. Стратеги думали над глобальными решениями, вбрасывая на рассмотрение гипотезы, а операционкой занимался линейный персонал. Такой подход помог обойтись без необдуманных ошибочных решений. 

Выводы после пиковой нагрузки

Мы столкнулись с тремя типами проблем:

  1. Скорость. Иногда пользователи ждали своей миграции в течение нескольких дней. Команда делала все возможное для ускорения процессов, но законы физики не перехитрить – люди были вынуждены смиренно ждать своего часа. 
  2. Человеческий фактор. Бывало так, что процесс миграции подошел к концу, а в личном кабинете пользователя ничего не отобразилось. В чем загвоздка? Чаще всего – в неверно настроенной интеграции перед началом переноса: не нажатая кнопка, запрет на перенос, сделанный когда-то при регистрации в сервисе и прочее. В своих сообщениях и инструкциях мы призывали людей скрупулезно следовать рекомендациям, запостили их везде, где это было возможно. Но человеческий фактор – штука серьезная. Ошибки продолжали происходить.
  3. Внутренние регламенты Notion. Как ни крути, а интеграцию просто невозможно распространить на все статьи одномоментно, необходимо ждать до 1,5 часов. Это, мягко говоря, не нравилось пользователям, которым не терпелось приступить к работе немедленно. Они думали, проблема в нас. Приходилось давать дополнительные разъяснения. 

Где все складывалось гладко:

  • 90% из общего числа миграций прошли без сучка и задоринки. Сохранились все связи между статьями, базы и даже смайлики. 
  • Важно отдать должное команде. Теперь, когда градус безумия спал, мы видим, сколь гигантский это оказался объем работы, и без хорошо слаженных действий с ним попросту было бы не совладать. У нас получилось оперативно организовать крутую техподдержку и маркетинг, при этом сохранив дружную атмосферу.
  • Система на практике показала прочность и выдержала резкий наплыв клиентов. Мы продолжаем функционировать также надежно. Правда, теперь вместо нескольких сотен аккаунтов счет идет на десятки тысяч. 

Необходимо делить вопросы на стратегические и рутинные

В первые дни я вместе с другими менеджерами и разработчиками занимался операционкой – что настроить, как актуализировать очередь, где повесить инструкции. Было потеряно много десятков часов, которые, как я теперь понимаю, нужно было посвятить разработке стратегии. Как ни крути, а это промедление отняло порядочно умственного ресурса, который можно было вложить гораздо эффективнее.

Будущее – за отечественными продуктами

Наш кейс продемонстрировал это. Инструментарий отечественной платформы во многом повторяет возможности Notion, поэтому и освоить его не составляет труда. Мы уже дополнили платформу умными таблицами, интеграциями, API, ассистентом с искусственным интеллектом, готовыми шаблонами, а к концу осени будем делать обширное обновление интерфейса. Мы рады большому притоку новых пользователей, хоть и пришлось хорошенько вложиться, чтобы показать знаменитое русское гостеприимство. 

Вложения в команду – самые важные

Не перестаю гордиться нашими спецами за скорость, собранность и единство. А ведь это итог кропотливой настройки внутренней коммуникации: от тщательного подбора сотрудников до их развития и постоянного обучения. Этим и необходимо заниматься, когда в стенах организации все спокойно, дабы в случае аврала гарантировать позитивный фидбек.

Именно критические моменты демонстрируют, кто вкладывается в корпоративную культуру, а кто пытается на этом экономить.

Читайте также:

Расскажите коллегам:
Комментарии
Независимый директор, Москва

Читаю статью и не радуюсь, а с сожалением вздыхаю.

И в очередной раз удивляюсь силе инерционности мышления в некоторых  российских компаниях и их ходьбе вразвалочку в сторону массивов валяющихся высокодоходных ресурсов. 

12 сентября 2024 вступал в силу очередной пакет американских санкций, который на этот раз ограничивал оказание IT-услуг российским потребителям. О намерении западные партнеры объявили заранее, поэтому чем ближе был этот момент, тем сильнее росло напряжение.

Получается, что в марте - апреле 2022 года вы ещё не поняли, что будут санкции и открываются окна возможностей занятия рынков.

И через два с половиной года, вы всё ещё находились не в стадии освения готового рынка, а были в стадии "росло напряжение".

В контексте изложенного меня особо умилило это выражение:

Не перестаю гордиться нашими спецами за скорость, собранность и единство.

Конечно, спасибо автору за интересное изложение.

Только есть такое выражение в российском фольклоре: " тебя только за смертью посылать".

Оно здесь явно к месту.

 

 

 

 

Консультант, Новосибирск

Очень интересный опыт, спасибо за рассказ.

Инженер, Томск
Александр Сейнов пишет:
И в очередной раз удивляюсь силе инерционности мышления в некоторых  российских компаниях

Александр, российские компании здесь не уникальны. Компания Кодак проспала переход фотографии на цифру, при том что именно они создали первый цифровой фотоаппарат. 

Технический специалист, Армавир

Не мне судить насколько удачным для всех состоялся переход в этом конкретном случае, но за 3+ года Rutube так и не стал полной заменой (аналогом) Youtube (( Сколько бы туда не вливали денег. Просто "релевантный поиск" и то толком не работает. 

Финансовый директор, Пенза

не смотря не все советы - вы не справились, по факту!

какой то китайский билдин вышел из небытия и показал поразительную работоспособность по адаптации к этим изменениям 

вот их бы советы почитать, как они умудряются так шустро, на лету все делать

Менеджер, Москва
Евгений Пугачев пишет:
Александр Сейнов пишет:
И в очередной раз удивляюсь силе инерционности мышления в некоторых  российских компаниях

Александр, российские компании здесь не уникальны. Компания Кодак проспала переход фотографии на цифру, при том что именно они создали первый цифровой фотоаппарат. 

Еще Нокиа не поверила в силу айфона. 

Менеджер, Саратов

Можно долго рассуждать, насколько эффективно сработала компания, но автор своей статьей добился главного - сообщил нам о своем продукте и его востребованности. Другой задачи, полагаю, и не ставилось.

Генеральный директор, Москва
Евгений Пугачев пишет:
Александр Сейнов пишет:
И в очередной раз удивляюсь силе инерционности мышления в некоторых  российских компаниях

Александр, российские компании здесь не уникальны. Компания Кодак проспала переход фотографии на цифру, при том что именно они создали первый цифровой фотоаппарат. 

Недавно обсуждалось. Они (Kodak) не проспали - отнюдь. Наоборот,  изобрели и запатентовали важнейшие элементы цифровой камеры еще в середине 70-х.

Но хотели слишком долго сидеть на двух стульях, продавая одновременно цифровые и высокодоходные аналоговые продукты, расходные материалы и решения. Тяжелейший выбор.

Таких примеров много. Большинство других уходили с рынка или меняли стратегию.

Александр Сейнов пишет:
И в очередной раз удивляюсь силе инерционности мышления в некоторых  российских компаниях и их ходьбе вразвалочку в сторону массивов валяющихся высокодоходных ресурсов. 

Вы представляете себе количество человеко-лет, которые нужно потратить для замещения всех слоёв ПО, созданного для корпоративного и личного применения? И - заодно - протоколы, используемые в сетях связи? И все форматы, если они запатентованы, и эти патенты действуют?

Боюсь, что единица измерения - даже не миллионы.

А ситуация сейчас именно такая.

Инженер, Томск
Евгений Равич пишет:
Евгений Пугачев пишет:
Александр Сейнов пишет:
И в очередной раз удивляюсь силе инерционности мышления в некоторых  российских компаниях

Александр, российские компании здесь не уникальны. Компания Кодак проспала переход фотографии на цифру, при том что именно они создали первый цифровой фотоаппарат. 

Недавно обсуждалось. Они (Kodak) не проспали - отнюдь. Наоборот,  изобрели и запатентовали важнейшие элементы цифровой камеры еще в середине 70-х.

Но хотели слишком долго сидеть на двух стульях, продавая одновременно цифровые и высокодоходные аналоговые продукты, расходные материалы и решения. Тяжелейший выбор.

Таких примеров много. Большинство других уходили с рынка или меняли стратегию.

Именно что проспали.

Рынок пленочной фотографии рухнул мгновенно, буквально за год и только потому, что при общей готовности рынка появилась матрица в 5 мегапикселей. Снимки с этой матрицы печатались с "пленочным" качеством на листе формата А4 - основной формат профессиональной фотографии.

Кодак к тому времени имел столетний опыт работы с пленками, начиная еще с "кодак-25", которую надо было отснять и отправить в центральную лабораторию на проявку.

Потом у них появился автомат фотопечати, мы все помним эти ларьки и центры печати. Позже они сделали неказистые киоски автоматической печати, но формат не зашел.

А матрицы в 5 МП Кодак не патентовал. В итоге компания обанкротилась.

Сегодня они, кажется, подались в фарминдустрию.

Генеральный директор, Москва
Евгений Пугачев пишет:
Евгений Равич пишет:
Евгений Пугачев пишет:
Александр Сейнов пишет:
И в очередной раз удивляюсь силе инерционности мышления в некоторых  российских компаниях

Александр, российские компании здесь не уникальны. Компания Кодак проспала переход фотографии на цифру, при том что именно они создали первый цифровой фотоаппарат. 

Недавно обсуждалось. Они (Kodak) не проспали - отнюдь. Наоборот,  изобрели и запатентовали важнейшие элементы цифровой камеры еще в середине 70-х.

Но хотели слишком долго сидеть на двух стульях, продавая одновременно цифровые и высокодоходные аналоговые продукты, расходные материалы и решения. Тяжелейший выбор.

Таких примеров много. Большинство других уходили с рынка или меняли стратегию.

Именно что проспали.

Рынок пленочной фотографии рухнул мгновенно, буквально за год и только потому, что при общей готовности рынка появилась матрица в 5 мегапикселей. Снимки с этой матрицы печатались с "пленочным" качеством на листе формата А4 - основной формат профессиональной фотографии.

Кодак к тому времени имел столетний опыт работы с пленками, начиная еще с "кодак-25", которую надо было отснять и отправить в центральную лабораторию на проявку.

Потом у них появился автомат фотопечати, мы все помним эти ларьки и центры печати. Позже они сделали неказистые киоски автоматической печати, но формат не зашел.

А матрицы в 5 МП Кодак не патентовал. В итоге компания обанкротилась.

Дело не в сенсорах или технологиях, Kodak в них очень неплохо разбирался и делал в достаточных количестивах. Их использовали и другие производители камер. Это была стратегическая ошибка и пример продуктового каннибализма.

У меня была и есть камера с сенсором Kodak 8МП. Вот  пример с Leica M8 и другими моделями высокого класса и всеми остальными. Многим нравились особенности цветопередачи.

Оставлять комментарии могут только зарегистрированные пользователи
Статью прочитали
Обсуждение статей
Все комментарии
Дискуссии
Все дискуссии
HR-новости
В 70% компаний в 2024 году выросли заработные платы

Однако 55% работников недовольны своими доходами.

В США стали давать отпуск по уходу за домашними животными

Такой отпуск можно использовать для приучения животного к туалету, адаптации в новом доме или визита к ветеринару.

В России растет число увольнений по собственному желанию

Доля россиян, уволившихся по собственному желанию, достигла максимальной отметки за последние десять лет.

Forbes назвал лучших работодателей России

В список вошли 167 компаний, которые разделили на четыре группы: «платина», «золото», «серебро» и «бронза».