Сборка включает в себя необходимые кастомизации Delta Lake для поддержки мультикластерного режима в среде Yandex Data Processing, включая использование YDB для хранения хранения метаданных и автоматическую очистку метаданных в YDB при удалении таблиц Delta Lake.

Представлено четыре варианта сборки:

• для образов Yandex Data Processing 2.1 до 2.1.3 включительно, основанный на DeltaLake 2.0.2 и Spark 3.2;
• для образов Yandex Data Processing 2.1 начиная с 2.1.6, основанный на DeltaLake 2.3.0 и Spark 3.3;
• для образов Yandex Data Processing 2.2, основанный на DeltaLake 2.4.0;
• для образов Yandex Data Processing 2.2, основанный на DeltaLake 3.2.0.

Для образов Yandex Data Processing 2.0 могут использоваться штатные сборки Delta Lake 0.8.0, которые не поддерживают мультикластерный режим и (поэтому) не требуют кастомизаций.

По сравнению с предыдущей сборкой были добавлены дополнительные проверки возвращаемых значений из вызовов YDB DocAPI, которые в некоторых случаях требуются для исключения ошибок NullPointerException при обращении к таблицам.

Full Changelog: v1.2...v1.3

Сборка включает в себя необходимые кастомизации Delta Lake для поддержки мультикластерного режима в среде Yandex Data Processing, включая использование YDB для хранения хранения метаданных и автоматическую очистку метаданных в YDB при удалении таблиц Delta Lake.

Представлено четыре варианта сборки:

• для образов Yandex Data Processing 2.1 до 2.1.3 включительно, основанный на DeltaLake 2.0.2 и Spark 3.2;
• для образов Yandex Data Processing 2.1 начиная с 2.1.6, основанный на DeltaLake 2.3.0 и Spark 3.3;
• для образов Yandex Data Processing 2.2, основанный на DeltaLake 2.4.0;
• для образов Yandex Data Processing 2.2, основанный на DeltaLake 3.2.0.

Для образов Yandex Data Processing 2.0 могут использоваться штатные сборки Delta Lake 0.8.0, которые не поддерживают мультикластерный режим и (поэтому) не требуют кастомизаций.

Сборка включает в себя необходимые кастомизации Delta Lake для поддержки мультикластерного режима в среде Yandex Data Proc, включая использование YDB для хранения хранения метаданных и автоматическую очистку метаданных в YDB при удалении таблиц Delta Lake.

Представлено два варианта сборки:

• для образов Data Proc 2.1 до 2.1.3 включительно, основанных на DeltaLake 2.0.2 и Spark 3.2;
• для образов Data Proc 2.1 начиная с 2.1.6, основанных на DeltaLake 2.3.0 и Spark 3.3.

Для образов Data Proc 2.0 могут использоваться штатные сборки Delta Lake 0.8.0, которые не поддерживают мультикластерный режим и (поэтому) не требуют кастомизаций.