Непопулярный кейс или моя реальность в проектной деятельности.

Небольшая предыстория, с арбитражем столкнулся в 2012-2013 году и с приблизительно стабильными результатами это продолжалось до 2016 года. У меня практически с самого начала было понимание, что нужно все заработанные средства тратить на изучения новых ниш, новых источников. в 2016 я перепробовал себя практически во всех направлениях которые были на поверхности и были связаны с трафиком, не работал только с инап сетками. Я понял что реинвестирования в само тестирования связок дают результат, но он сильно краткосрочный и приходилось (выбирать одно направление в ущерб другому). В этот момент я понял, что я и 1-2 человека которые выполняли рутину, физически не потянем те объёмы которые меня интересовали. В 2016 укрепили свою команду людьми которые уже не занимались рутиной или статическими задачами, они уже были как сейчас модно говорить “генераторами”, которым можно отдать весомую часть работы. После этого я смог заняться моим любимым делом, аналитикой и исследованиями.

Начиная с 2016 года по 2018, было написано куча софта для упрощения задач, а также для решения проблем которые мешали работать быстро масштабировать и тд.
В это время произошло моё первое знакомство с программистами и их подбор для решения разных задач. Все было круто и мы выжимали из программистов различного уровня нормальную отдачу (как мне казалось тогда).
Но к концу 2017 я понял, что текущие наши программисты окупают свое время, но они способны на реализацию только одиночных задач и когда мы начинаем делать что-то более крупное, это практически со старта был фейл.
Я понял, что нам нужен тим лид либо прогер очень высокого уровня для построения инфраструктуры и всей логики. До этого у нас были попытки, найти такого человека, но они не увенчались успехом. В этот раз месяц поисков и один чел из команды, раньше он работал в никсах, нашел нужного как мне на тот момент казалось человека.
Это был испанец, он работал в очень крупных проектах, связанных с большими нагрузками и сложными структурами, так же огромным огромным плюсом было наличие навыков девопса у него. Но было 2 минуса, 50эвро в час и общение только на английском и испанском языках. Я взвесил все и решил оценить его навыки в бою и отдать ему несколько локальных задач под нужды команды, с которыми другие люди не могли справится. Примерно за 2 месяца он решил все наши задачи, один человек из команды ставил ему тз на инглише и все было ок.

Начало 2018, мы узнаем о пушах (когда это еще не было мейнстримом) и принимаем решение делать свою сетку.
Сразу понимали что нагрузки будут большие и решили работать с амазоном.
За месяц накатали бета версию рекл сетки и параллельно выкупали 300-500к подписок дейли. Так же сами это все дело конвертили.

Первый удар. Пока мы все это делали, на рынок выкатывается мегапуш.
Основным их источником подписок на тот момент был адвордс(скорее всего), исходя из этого показатель конверсии в разы выше, в сравнении с адалт трафиком. В чем же была проблема? Они берут и выставляют, ценник 30 баксов за 1к тайских подписок, 20 за вьетнам и вроде 120 за ру (могу ошибатся, но было в этих пределах).
Я смотрю на эти цифры и понимаю, что в такие цифры трафик у нас не окупается, значит нужно более плотно работать с трафиком. Мы решаем запилить уникальный показ рекламы каждому подписчику. Ставим тз, что 1 подписчику нужно делать показ 1 рекламного креатива в сутки. На что испанец говорит изи, сделаем.
На следующий день он выкатывает версию достаточно быстро, я смотрю в статистику.
На тот момент у нас было 1кк подписчиков тай, я смотрю на рекламное объявления и вижу на нем 1.2кк показов и понимаю, что-то не так.
Что нужно было сделать?
Берем уникальный идентификатор подписки который отдаёт гугл, записываем его в базу и считаем что мы ему показали.
Что сделал испанец?
Взял уникальный идентификатор подписчика, так же взял ип адрес и юзер агент и на основании этих данных генерировал свой уникальный айдишник, но как я знаю у пользователя очень часто меняется ип адрес и потому этот вариант не работал как нужно.
Потом я нашел баг и это было исправлено. Но это был первый звоночек, испанец все делал со своей колокольни, исходя из того что у него большой опыт, а мы ничего не понимаем в разработке как оказалось.
Это изменение дало реальный рост, очень большой 50% вроде и мы были очень близки к цифрам которые платил мегапуш, но я понимал они были первыми и выходить с таким же решением не даст нам ничего.

Второй удар.
Из-за этого изменения с уникальностью пользователя мы создали невыносимо большую нагрузку на сервер, распишу примерно что было.
Как пример: у нас есть 1 000 000 подписчиков, мы отсылали 3 пуша в сутки, это 3 млн записей в сутки того что мы показали (ид рекламных объявлений) и так каждый день.
Данные хранились в амазоновском редисе который к хуям падал постоянно. За отдачу данных отвечал амазоновский еластиксерч. В конце месяца мы увидели очень большой чек в амазоне. И клаудфонд амазона тоже жрал просто очень большую часть(2-3 терабайта в сутки было, при этом 1 пуш это район 80-150 кб(2 картинки+текст)). Доходили до 15к$ в месяц спенда на сервера.
Мы не ставили свой еластик серч и редис на сервера амазона, а просто брали у него в аренду готовое решение, как говорил испанец, это самое крутое решение.
[ATTACH=CONFIG]17817[/ATTACH]



Третий удар.
Я все время топил за юзер сейфти и не спамить пользователям пушами каждый час.
Мои тесты показывали, что пользователи лучше конвертят и лучше реагируют на рекламу на дистанции в месяц. А ctr, cr, и лучший выкуп для рекла.
Но параллельно уже к августу месяцу все пп которые были на рынке херачили 10-20, а некоторые и больше пушей в сутки. Что как оказалось было совершенно правильным решением.
Небольшое палево кто не в курсе, данные сервайс воркера юзеру записываются в куки и вот тут начинается боль всех сеток и людей которые льют на рефшару. В августе я замечаю что у меня много подписок живых но пуши не приходят, я начинаю исследовать проблему и понимаю, что с очисткой кукисов очищаются и данные сервайс воркера, подписа как бы осталась живая, но она не может обработать ваш запрос на показ пуша, потому что воркера нету, но гугл ответит все ок бро, я отправил пуш, хотя он не дойдет до юзера.

Сентябрь 2018
Дальше я понимаю, что в текущих реалиях запускать “типичную пуш помойку” не имеет смысла, так как мне дороже моя репутация, чем я скажу “бро лейте мне у меня круче”.


Параллельно с этим всем, я июне 2018 мы начали делать сетку для установки кода на сайты. Добирая в помощь еще одного прогера, второго испанца)

Далее мы взялись все это переписывать и приводить в порядок.
Апрель 2019 у нас все в ажуре, пролито куча тестов, оптимизирована ротация, снижены чеки на амазоне до 5к, даже на маке выкупали стенд.
Но на этом проблемы не закончились, как только мы увеличили нагрузки, мы снова получили все те же проблемы.

К маю 2019 мне стало понятно, что текущая связка, не работает по двум причинам.
1 Испанцы пишут код, пишут его хорошо, но с их точки зрения, как они привыкли делать в других проектах, но это не подходит данному проекту и это не масштабируемая история, как только мы масштабируем, у нас сразу вырастают косты на амазоне и все начинает трещать по швам.
Причина, мы изначально начали использовать готовые решения амазона, а не писать свои. (потому что, как и всем, нам все нужно было быстро!!!)
2 Я был не готов и не имел должной базы знаний для проектов такого рода с такими нагрузками и сложными инфраструктурами или не хотел признать того, что нужно во всем разбираться до самых мелочей.

В мае месяце мы начали искать новых разрабов, но задача оказалась не такой простой. Необходимо вывести с проекта такого рода разрабов, которые его писали (там реально очень сложная структура кода и куча взаимодействий).
@AndreyStempovskiy обратились к нему, у него первые две команды обосрались и не смогли начать работать(денег за это с нас не взяли) и это вполне себе нормальная история с такими проектами, но третья команда реально пришла и полностью изучила код. За что ему спасибо.
К сентябрю месяцу мы получили:
1 Переписывание всех проблемных моментов, всех багов, всего что причиняло боль.
2 Переезд с амазона и средний чек в 1500 баксов на Диджеталоушен в месяц при нагрузке в 10 раз больше.

Что мы имеем на текущий момент?
1 Систему под сбор подписок которая отправляет 80кк пушей в сутки
2 Систему обработку рекламы (рекл сетку) которая обрабатывает эти 80кк запросов и отдаёт релевантную рекламу.
3 Уникальную ротацию, мы не отдаем рекламу фидам по топ cpc.
Моя цель изначально была создать среду где реклы будут получать живой трафик по хорошим ценам, а вебмастера получать хорошую рефшару, для этого мы сделали свою ротацию.
Мы разбили внутренний аукцион между рекламодателями внутри нашей рекламной сети по cpm, далее мы сравниваем этот показатель с cpm фидов (да, мы считаем конкретно cpm фидов, которые нам присылают только cpc, все просто мы анализируем последние N показов конкретного фида, получаем ctr далее перемножаем его на cpc который приходит в ответе от фида при последующем запросе на рекламу) все в реальном времени.
Добавили таргет в систему по дню подписки(сколько дней подписчик в базе) (потому как сама идея показывать уникальную рекламу каждому подписчику на каждом показе, не даст возможности создать норм аукцион, остановились на этом варианте с таргетом по дню подписки, он не хуже).
4 В системе которая отправляет рекламу есть отслеживания реальных показов пользователю, т.е мы отправляем 1кк запросов но только 400к будут реальные доставки до пользователя, когда у него на телефоне\компьютере отобразятся пуши.
Сделали воркер на php который имеет возможность обновится без замены воркера на сайте откуда была подписка. Очень важная штука, потому что если платформа которая подписывает пользователей обновит свой воркер, юзеры будут долбится по старому который загружен на сайте подписки и за частую не будут получать рекламу, до замены сайтом кода на новый, вся проблема в js.
5 Также добавили стек пушей (это когда юзеру приходит первый пуш, он не кликнул на него, придёт второй и заменит первый) таким образом решается проблема, когда юзер был офлайн, а потом заходит и прилетает миллион подписок = очень большой %отписок.
6 В рекламной сетке сделали так же обработку реальных показов и возможность переключатся на ротацию по отправкам или показам, всегда приятно иметь возможность оценить реальные данные.


Тотал спенд на все это дело оценить очень сложно, но 250 000$ минимальные наши траты(из которых сервера в среднем 10к баксов мансли, и разработка 8-10к эвро в месяц). Сколько из них было было потрачено зря? хз)


Итог, мы имеем готовый продукт, но на текущий момент юзаем его чисто под свои цели, сейчас есть 80кк показов в сутки на своём трафе.
[ATTACH=CONFIG]17818[/ATTACH]

Так же можем легко и дешево масштабировать до 1 000 000 000 рассылок в сутки.
Но начинать работу и выходить в паблик, на данный момент не вижу смысла, до момента выхода новой версии хрома.

Очень сложно писать краткий итог по этому всему что я описал, это просто мой опыт который я купил за деньги и время. Добавлю, если и есть смысл винить кого-то в чем-то, то только себя.


P.S все тех моменты пытался описать максимально просто, как я вижу их, так же я не умею красиво оформлять такие длинные посты, да и не вижу в этом смысла.