Эта книга призвана помочь архитекторам, инженерам и руководителям в области данных выйти за рамки поверхностного знакомства с Apache Iceberg и перейти к уверенному внедрению, готовому к промышленной эксплуатации. Об Iceberg говорят много, но практических руководств по проектированию сквозной архитектуры lakehouse вокруг него по-прежнему мало. Эта книга закрывает данный пробел: она разбирает каждый архитектурный слой, описывает варианты проектных решений и даёт как концептуальные схемы, так и практические упражнения.
Вместо того чтобы предписывать универсальный вариант развёртывания, книга делает упор на адаптивность. Вы научитесь оценивать свои потребности, взвешивать компромиссы и выбирать инструменты, соответствующие вашим бизнес- и техническим целям.
Кому стоит прочитать эту книгу
Эта книга написана для архитекторов данных, инженеров платформ и опытных специалистов по данным, отвечающих за модернизацию инфраструктуры данных или проектирование новых аналитических платформ. Вам следует быть знакомыми с общими понятиями data lake, хранилищ данных и инструментов обработки, таких как Apache Spark или Flink. Предварительный опыт работы с Apache Iceberg не требуется, но знакомство с облачными хранилищами, распределёнными системами и SQL поможет извлечь из материала максимум пользы.
Как устроена эта книга: дорожная карта
Книга разделена на три части:
- Часть 1 знакомит с концепцией lakehouse на Apache Iceberg, прослеживает её истоки и показывает, чем она лучше традиционных архитектур. Завершается она практическим разбором, в ходе которого вы разворачиваете работающий lakehouse на Iceberg на своей локальной машине.
- Часть 2 проводит по основным архитектурным слоям lakehouse - хранение, приём данных, каталог, федерация и потребление - и помогает принимать проектные решения исходя из реальных потребностей.
- Часть 3 посвящена эксплуатации. В ней рассматриваются такие темы, как обслуживание, мониторинг и промышленные практики, благодаря которым ваш lakehouse остаётся надёжным и масштабируемым после запуска.
Как пользоваться этой книгой
Вы можете читать книгу последовательно, чтобы пройти весь архитектурный путь целиком, либо сразу перейти к частям, наиболее актуальным для вашего текущего проекта. Каждая глава написана так, чтобы быть самодостаточной, но перекрёстные ссылки связывают материал воедино. Практические разделы содержат рабочие примеры, а архитектурные обсуждения одинаково хорошо подходят для сессий планирования и проектирования.
Оцениваете ли вы Iceberg впервые или масштабируете уже существующее внедрение - эта книга поможет вам двигаться дальше ясно и осмысленно.
О коде
В книге примеры кода набраны моноширинным шрифтом вроде этого, чтобы отделить их от обычного текста. В некоторых случаях мы добавляли переносы строк с маркерами продолжения (➥) и меняли отступы, чтобы уместить код в доступную ширину страницы. Аннотации к коду используются для выделения важных моментов.
Исполняемые фрагменты кода можно получить в онлайн-версии книги на liveBook по адресу
https://livebook.manning.com/book/architecting-an-apache-iceberg-lakehouse. Полный код примеров из книги доступен для загрузки на сайте Manning по адресу https://www.manning.com/books/architecting-an-apache-iceberg-lakehouse, а также на GitHub: https://github.com/AlexMercedCoder/architecting-an-apache-iceberg-lakehouse. В этом репозитории вы найдёте
- файлы Docker Compose для локальных окружений;
- фрагменты кода для Spark, Flink и других инструментов;
- наглядные схемы и иллюстрации;
- обновления и ссылки на дополнительные материалы для чтения.
Требования к программному и аппаратному обеспечению
В практических примерах используются Docker, Apache Spark, Dremio, Apache Superset, MinIO, Nessie и PostgreSQL. Вам понадобится машина, способная запускать Docker Desktop с достаточным объёмом памяти (в идеале 16 ГБ ОЗУ или больше) для работы многоконтейнерных окружений.
Форум обсуждения liveBook
Покупка Architecting an Apache Iceberg Lakehouse включает бесплатный доступ к liveBook - онлайн-платформе для чтения от Manning. Эксклюзивные возможности обсуждения в liveBook позволяют оставлять комментарии как к книге в целом, так и к отдельным разделам или абзацам. Проще простого делать заметки для себя, задавать технические вопросы и отвечать на них, получать помощь от автора и других читателей. Чтобы попасть на форум, перейдите по адресу https://livebook.manning.com/book/architecting-an-apache-iceberg-lakehouse/discussion.
Обязательство Manning перед читателями - предоставить площадку, где может состояться содержательный диалог между отдельными читателями, а также между читателями и автором. Это не обязательство относительно какого-либо определённого объёма участия со стороны автора, чей вклад в форум остаётся добровольным (и неоплачиваемым). Советуем задавать автору каверзные вопросы, чтобы не угас интерес! Форум и архивы прошлых обсуждений будут доступны на сайте издательства, пока книга издаётся.