@dataeng
Data Engineering & Distributed Systems Contact @adilkhash
О канале DataEng
Data Engineering & Distributed Systems Contact @adilkhash
AI-обзор
Обновлено 18.07.2026Канал "DataEng" посвящен темам Data Engineering и распределенных систем. Автор делится ссылками на статьи, книги и подкасты по оптимизации баз данных, архитектуре дата-инженерии и связанным с этим направлениям. Контент будет интересен разработчикам, работающим в сфере Big Data и аналитики.
Описание сформировано MaxBook AI на основе последних публикаций канала.
Основные метрики
Вовлечённость
Здоровье аудитории
Часовая активность
МСККогда канал публикует — распределение постов по часам суток.
Последние публикации канала «DataEng»
- 416 просмотров, 7 реакций, 20 июл. 2026 г.
PostgreSQL 18 изнутри Postgres Pro выпустили новую версию книги про устройство PostgreSQL: PostgreSQL 18 изнутри В настоящем издании учтены замечания читателей и исправлены опечатки, а также отражены такие новинки версии PostgreSQL 18, как поддержка асинхронного ввода-вывода, изменения в настройке автоочистки и появление оптимизации пропуска. Скачать по ссылке .
Открыть пост в MAX - 790 просмотров, 18 реакций, 16 июл. 2026 г.
На канале Елизаветы Осетинской вышло интересное интервью с создателем ClickHouse Алексеем Миловидовым: https://www.youtube.com/watch?v=FSGhaMmqWTA
Открыть пост в MAX - 1.1K просмотров, 3 реакций, 11 июн. 2026 г.
🔥 Три разных человека. Три разных проекта. Один и тот же подход. — Юра взял «скучную» нишу с готовым спросом → сначала печальные $100/мес, через год уже ~$10K/мес — Денис сделал Telegram-игру в одиночку на основе AI → ~ $1500 за 1,5 месяца после запуска — Аня без кода запустила AI-бота для изучения английского → первые ~$200 уже в 1 месяц Разные результаты. Разный масштаб. Но общие правила: 1. не придумывать «гениальную идею», а брать существующий спрос 2. делать простой MVP и быстро запускаться 3. докручивать монетизацию и продукт по факту использования Ребята сделали всё без команды, без…
Открыть пост в MAX - 2.8K просмотров, 30 реакций, 30 апр. 2026 г.
PostgreSQL 16: Оптимизация запросов 🖥 Вчера случайно заметил, что на Postgres Pro появилась новая книга PostgreSQL 16: Оптимизация запросов. Книга основана на курсе лекций про оптимизацию, который, к слову, также доступен бесплатно . Понравилось, что книга небольшая и без лишней воды, сразу приступает к делу без длительных прелюдий и философских размышлений. Рекомендую 🍻
Открыть пост в MAX - 1.1K просмотров, 11 реакций, 29 апр. 2026 г.
Designing Data-Intensive Applications Глава 2. Defining Nonfunctional Requirements Вторая глава книги посвящена нефункциональным требованиям к разрабатываемым нами системам. Под нефункциональными требованиями автор подразумевает: - Производительность (Performance) - Надёжность (Reliability) и отказоустойчивость (Fault Tolerance) - Масштабирование (Scalability) - Поддержка (Maintainability) Система может быть полностью корректна с точки зрения функциональных (т.н. бизнес) требований, но неудобна в использования из-за проблем с надёжностью (потеря данных), производительностью (частые…
Открыть пост в MAX - 1.5K просмотров, 7 реакций, 29 апр. 2026 г.
Отказоустойчивость железа достигается через добавление избыточных компонентов, например, в системе может быть несколько жестких дисков, подключенных в режиме RAID-массива. В случае распределённых систем, запросы могут был равномерно распределены между несколькими независимыми машинами внутри дата-центра. Случается и так, что требуется отказоустойчивость на уровне дата-центра, тогда машины распределяют по нескольким физически независимым точкам (например, разные регионы AWS). Важно придерживаться здравого смысла и понимать какого уровня отказоустойчивости вам будет достаточно.…
Открыть пост в MAX - 2.0K просмотров, 9 реакций, 29 апр. 2026 г.
Эффективно управлять сложностью можно через абстракции. Например, через практики внедрения дизайн-паттернов, DDD, выбор более высокоуровневых технологий. Расширяемость Требования к работе приложений меняются, а значит и оно само должно меняться. Чтобы внесение изменений не превратились в страшный сон необходимо постоянно пересматривать организацию кода, закрывать технический долг, внедрять непрерывное тестирование через практики TDD, XP. Чем проще вносить изменения в систему тем выше её расширяемость и тем ниже связность между её частями.
Открыть пост в MAX - 2.1K просмотров, 17 реакций, 22 апр. 2026 г.
Ребят, всем привет! Я не забыл про книгу, скоро будет конспект по второй главе (был перерыв). А пока я пишу конспект, то предлагаю вам насладиться подкастом с автором книги Designing Data-Intensive Applications Martin Kleppmann у Gergely Orosz — Designing Data-intensive Applications with Martin Kleppmann
Открыть пост в MAX - 3.2K просмотров, 29 реакций, 06 мар. 2026 г.
Mastering PostgreSQL Supabase и Manning Publications выпустили бесплатную книгу про PostgreSQL. 107 страниц концентрированной информации про самые популярные темы этой замечательной базы данных. Например, я не знал про существование отдельного типа данных для хранения денег — MONEY. Как то так получилось, что не попадался он мне на глаза. Книга поделена на 4 части: — Modern SQL — Postgres for Full-Text Search (FTS) — Improper Data Type Usage — Table & Index Mistakes Скачать книгу можно в комментариях к посту.
Открыть пост в MAX - 2.3K просмотров, 22 реакций, 05 мар. 2026 г.
Cloud vs Self-Hosted Вечная дилемма что выбрать: использовать облачные сервисы или всё развернуть на своих серверах. Это снова вопрос компромиссов. У каждого подхода есть свои плюсы и минусы. Можно комбинировать два подхода и не уходить в крайности. Например, использовать виртуальную машину на AWS на которой хостить базу данных вместо использования managed-решения. Например, self-hosted PostgreSQL вместо Amazon RDS. Облачные сервисы избавляют команду от операционного управления, например, не нужно самостоятельно следить за обновлениями, патчами безопасности или высокой доступностью тех или…
Открыть пост в MAX - 1.6K просмотров, 12 реакций, 05 мар. 2026 г.
Данные и законодательство С развитием GDPR, CCPA, ,EU AI Act и прочих законодательных норм и правил по персональным данным появилась необходимость учитывать риск хранения и обработки этих данных. В какой-то момент хранимые на серверах данные превратились не в актив компании, а в обязательства. Штрафы за утечку и раскрытие персональных данных или несоблюдение законодательных норм огромные, и компании должны учитывать риск. Порой безопаснее не хранить данные, которые могут понадобиться когда-нибудь в будущем, а сразу их удалять.
Открыть пост в MAX - 2.1K просмотров, 27 реакций, 03 мар. 2026 г.
Аналитические базы выступают в роли общего хранилища, куда стекаются данные из различных подсистем. Это могут быть OLTP базы, а также внешние сервисы (данные из которых можно тянуть по API, например). Процесс насыщения данными обозначают аббревиатурой ETL - Extract Transform Load. Но существует и другая аббревиатура ELT - Extract Load Transform. В первом случае трансформация данных происходит до загрузки в главное хранилище, а во втором уже на стороне хранилища (хранение в “сыром” виде). Также есть процесс reverse ETL, это обратный процесс, когда данные из аналитической базы попадают в…
Открыть пост в MAX - 2.0K просмотров, 24 реакций, 03 мар. 2026 г.
Designing Data-Intensive Applications Глава 1. Trade-Offs in Data Systems Architecture Введение Первая глава книги получилась объёмной как по количеству страниц так и по количеству информации. По сравнению с первым изданием появилось упоминание Single-Node Data Warehouse решений на примере DuckDB, SQLite, но без деталей. Детали будут раскрываться уже в более поздних главах. Основная мысль первой главы дать читателю понимание, что нет “серебряной пули”, и в каждом решении существуют как свои плюсы так и минусы (trade offs). Посыл авторов благородный, помочь читателю разобраться в море…
Открыть пост в MAX - 2.6K просмотров, 149 реакций, 23 февр. 2026 г.
Второе издание "кабанчика" На днях увидел в сети анонс, что вышло новое издание легендарной книги Designing Data-Intensive Applications . Впервые я познакомился с этой книгой где-то весной или летом 2018 года. Помню как случайно нашел её в архивах какого-то репозитория на Гитхабе. И сказать, что она мне понравилась это ничего не сказать. Я был в восторге от неё, она стала для меня учебником которого мне не хватало. Помню, что до середины я прочитал её на стареньком планшете. Глаза мои уставали, и я решил заказать её в бумажном вариант. “Кабанчик” до сих пор у меня, пережил несколько переездов…
Открыть пост в MAX - 2.6K просмотров, 2 реакций, 17 февр. 2026 г.
🔥 Девушка без навыков разработки запустила AI-бота и вышла на первые продажи за месяц Аня из комьюнити @its_capitan заметила: люди учат английский годами, но говорить не могут. И тогда она сделала Telegram-бота , который общается с тобой голосовыми на английском и исправляет ошибки как живой собеседник. Что в итоге: — ~700 пользователей за первый месяц — первые 16 оплат — первая выручка: ~$200 — подписка: $8/мес — сделано на n8n + OpenAI без разработчиков Не было ни команды, ни инвестиций, ни кода. Главное — не технология. Главное — простая понятная ценность. Таких запусков в канале уже…
Открыть пост в MAX
Качество и доверие
Эвристические сигналы качества по публичным метрикам (охват, реакции, динамика подписчиков). Это не доказанный фрод и не приговор — лишь поводы присмотреться к каналу.
Реклама и монетизация
Средние показатели последних публикаций. Тип определён по тексту поста — оценочно.
Цитирование
Сколько раз канал упомянут и репостнут в постах других каналов.
Публикации
Дополнительно
Из 22 пойманных постов в диапазоне ID сообщений отсутствует 1. Пропуски — это удалённые посты ИЛИ медиа-альбомы и служебные сообщения (один альбом = несколько ID). Точную причину по одним ID определить нельзя.