NoSQL: Hadoop и NoSQL для инженеров и архитекторов Big Data — обучение по программе в России

5-дневный практический курс для инженеров данных, архитекторов Data Lake и Data Warehouse, а также разработчиков Big Data решений.

Что такое NoSQL и где это используется

NoSQL (Not Only SQL) – это подход к реализации масштабируемого хранилища с гибкой моделью данных, когда проблемы масштабируемости (scalability) и доступности (availability), важные для Big Data решений, решаются за счёт атомарности (atomicity) и согласованности данных (consistency). Выделяют 4 типа NoSQL-СУБД:

1. Ключ-значение (Key-value)для хранения изображений, создания специализированных файловых систем и кэширования объектов в масштабируемых Big Data системах, таких как игровые и рекламные приложения, проекты интернета вещей (IoT/IIoT). Примеры: Oracle NoSQL Database, Berkeley DB, MemcacheDB, Redis, Riak, Amazon DynamoDB.
2. Документно-ориентированное хранилище для каталогов, пользовательские профилей и CMS-систем, где каждый уникальный документ меняется со временем.  Применяется в издательском деле и документальном поиске, например, CouchDB, Couchbase, MongoDB, eXist, Berkeley DB XML.
3. Колоночное хранилище (Column Family), где значения хранятся в столбцах (колонках), представленных в отдельных файлах. Это позволяет хранить большое количество атрибутов в сжатом виде, что ускоряет выполнение запросов, поиск и агрегацию данных. Такие СУБД отлично подходят для обработки счётчиков и событий, связанных со временем, например, в системах биржевой аналитики, IoT/IIoT-приложениях, CMS-системах и пр. Примеры Google Big Table, Apache HBase, Cassandra, ScyllaDB, Apache Accumulo и
4. Графовое хранилище – это сетевая база, которая использует узлы и рёбра для отображения и хранения данных. Эта модель оптимальна для задач обхода графа без дополнительных вычислений, как Join-операции в SQL. Эти СУБД поддерживают ACID-требования и применяются для анализа связей: соцсети, выявление мошенничества, маршруты общественного транспорта, дорожные карты, топологии. Примеры: InfoGrid, Neo4j, Amazon Neptune, OrientDB, AllegroGraph, Blazegraph, InfiniteGraph, FlockDB, Titan, ArangoDB.

Кому нужны обучающие курсы по Apache Hadoop и NoSQL

Наши авторские курсы по интеграции NoSQL и Hadoop ориентированы на инженеров данных, архитекторов Data Lake и КХД, а также разработчиков Big Data систем, которые хотят получить следующие знания и навыки:

• понять, как организовать комплексную Big Data инфраструктуру на базе озера данных Apache Hadoop, интегрированного с корпоративными хранилищами данных (КХД), OLAP и OLTP системами;
• разобраться с архитектурой КХД и Data Lake, принципами их наполнения, средствами организации ELT/ETL-процессов;
• освоить инструменты создания конвейеров данных (data pipelines), включая потоковый (streaming) и пакетный (batch) режимы с применением Apache Sqoop и Spark;
• научиться формировать запросы к большим данным с помощью средств SQL-on-Hadoop (Apache Hive, Cloudera Impala, Apache Phoenix);
• приобрести опыт работы с MPP-СУБД Greenplum и ArenadataDB для эффективного охранения и быстрой аналитики больших данных, а также с OLAP-системами Yandex ClickHouse и Arenadata Quick Marts;
• узнать лучшие практики использования всех этих инструментов для решения прикладных бизнес-задач.

 Предварительный уровень подготовки:

• Знание базовых команд Linux (опыт работы с командной строкой, файловой системой , POSIX, текстовыми редакторами vi, nano)
• Знание SQL