Высокие нагрузки 2025: топ трендов, которые меняют правила игры | Алексей Рыбак | #34

В этом выпуске мы поговорили с Алексеем Рыбаком о том, как в Рунете зарождались и развивались высокие нагрузки: от первых новостных сайтов до больших социальных проектов. Разобрали, почему именно связка Nginx и Memcached стала стандартным инструментом, помогая справляться с миллионами запросов от пользователей. Поговорили о кластеризации классических баз данных и узнали, правда ли теперь MySQL и PostgreSQL могут «потянуть» миллионы RPS. Затронули тему Kubernetes и обсудили, действительно ли оркестрация решает все проблемы или лишь создаёт новые, особенно когда дело доходит до хранения состояния. И, наконец, разобрали баланс между монолитной и микросервисной архитектурой, вспомнив реальные фейлы — от случайного «Hello world» в продакшене до многочасовых релизов, которые парализовали работу сервиса. Вы узнаете, как избежать подобных ошибок, когда стоит уходить с облаков на своё железо и почему автоматизация не всегда спасает. Не пропустите — выпуск полон практических советов и инсайтов для разработчиков и тимлидов. 00:00 Введение и анонс 01:52 Индустрия накачивает обороты: цифровая трансформация и найм 04:43 HighLoad как мечта: как всё начиналось и к чему пришли 05:41 Эра новостных сайтов: первые шаги в мир больших нагрузок 08:29 Миллионы пользователей: как сервисы породили новый уровень трафика 10:23 Когда серверы трещат по швам: борьба с трафиком 13:15 Экосистемы разваливаются: почему важно знать стеки? 15:05 Как передавали код и почему это было непросто 17:57 HighLoad существует или нет? Сложный вопрос 25:27 Как растёт PostgreSQL и почему микросервисы всё усложнили 30:07 Реально ли мы решили проблему обработки больших данных? 38:35 Есть ли жизнь без облаков и стоит ли возвращаться к своему железу? 42:22 Kubernetes и базы: когда оркестрация превращается в боль 44:13 Отказаться от облаков? Экономика против удобства 48:13 Гибридная инфраструктура: выбор для тех, кто хочет экономить 50:06 Модель нагрузки: считаем RPS и выбираем инструменты 52:01 Уникальная задача: когда Docker работает не по учебнику 55:50 MongoDB и её ошибки: от громких фейлов до лицензий 01:04:49 Традиционные vs. новые базы: кто выйдет победителем? 01:09:34 LinkedIn вместо Facebook: как меняется социальный ландшафт 01:17:03 Нужен ли всегда кэш-слой? Противостояние базы и Redis 01:19:14 Почему процессы в PostgreSQL не сломались от 5000 соединений? 01:22:42 Шардинг по необходимости: когда одна машина больше не вытягивает 01:29:33 Секреты кэширования: почему распределение ключей важнее, чем кажется? 01:31:25 Прогрев или флашинг: две школы работы с кэшем 01:33:00 Redis: база или кэш? Форки и будущее проекта 01:40:02 Kafka, RabbitMQ и другие: зачем нужны шины? 01:44:10 Переход Baidu на Kafka: как боролись с несущейся нагрузкой 01:47:03 Лог-стриминг внутри базы: универсальное решение или риск? 01:48:56 Очереди устарели? Как стриминг вытесняет старые подходы 01:51:44 RabbitMQ и его копии: нужна ли нам вообще классическая очередь? 01:54:35 Микросервисы: повторяем структуру компании или множим сущности? 01:57:27 Телеметрия: спасение или путь к новому лоуду? 01:58:23 Распределённые базы в Kubernetes: дешёвая магия или суровая реальность? 01:59:19 Paxos и Raft: алгоритмы, которые держат ваше приложение на плаву 02:00:16 Кластерные базы: когда данных больше, чем серверов 02:03:05 Пример использования Consul: балансировка и сервис-дискавери на максимум 02:04:58 Фейлы в продакшене: почему даже Hello World может навредить 02:08:42 Каскадные сбои: как одна транзакция способна положить весь кластер 02:10:36 Email-хаос: массовая рассылка и сотни жалоб 02:11:33 Почему письма застряли в очереди и ушли тысячам пользователей? 02:12:31 Заспамить или реанимировать: как бороться с почтовыми перегрузками? 02:13:48 Готовые сервисы vs. своя логика: почему не всё так просто 02:14:45 CRM и маркетинг: где программисту научиться этим управлять?