Добро пожаловать в проект NiFi_Lab! Этот репозиторий создан для популяризации Apache NiFi — мощного инструмента для автоматизации потоков данных. Здесь вы найдёте практические примеры (лабораторные работы) и инструкции по настройке NiFi для решения реальных задач.
Цель этого проекта — сделать NiFi более доступным для новичков и продемонстрировать его возможности на практических примерах. Для продвинутого пользователя тоже будет достаточно контента. Новые пользователи смогут изучить разные приёмы решения одной задачи и изучить правильные методы решения задач. Упрощается всё тем, что в проекте есть готовые потоки, которые можно импортировать и не тратить время на его составление. У фотографов это называется насмотренность.
Руководство по установке и настройке Apache NiFi
Введение в основы Apache NiFi для начинающих
- Lesson1, Lesson2, ...: Пошаговые уроки с базовыми концепциями и простыми примерами
- Каждый урок показывает простые и разнообразные приёмы трансформации данных.
Готовые пайплайны для реальных практических задач
- Каждый пайплайн представляет собой законченное решение с документацией
Примеры пайплайнов с использованием ИИ в процессе обработки данных
-
Установка и настройка NiFi:
- Перейдите в раздел Introduction, чтобы узнать, как развернуть NiFi на Windows.
-
Быстрый старт:
- Начните с раздела Basics, если вы новичок в NiFi.
-
Примеры бизнес-сценариев:
- Переходите к Intermediate после освоения базовых концепций
- Lesson01: Удаление пустых строк из файла с использованием различных процессоров.
- Lesson02: Фильтрация текста на содержание строки или фразы (например, "Chuck Norris").
- Lesson03: Меняем один атрибут записи по значению другого.
- Lesson04: Читаем файлы.
- Lesson05: Использование Lookup для замены значений (например, замена фамилий).
- Lesson06: Fork - Join Enrichment.
- Lesson07: Фильтруем объекты JSON
- Lesson08: Преобразование JSON с экранированными символами (Unescape JSON).
- Lesson09: Запись данных в виде JSON в БД.
- Lesson10: Чтение всей таблицы из базы данных и её обработка.
- Lesson11: Преобразование XML в JSON с сохранением структуры данных.
- Lesson12: Back Pressure & retry
- Lesson13: Преобразование Excel в CSV (тут пример кастомного процессора на Python)
- Lesson14: DQ
- Lesson15: MockScript
- Lesson16: InvokeScriptedProcessor
- Weather: Парсинг данных с прогнозом погоды с дальнейшей отправкой в телеграм бота.
Этот проект создан для того, чтобы:
- Показать, насколько просто и эффективно использовать Apache NiFi.
- Предоставить готовые примеры для быстрого старта.
- Помочь новичкам разобраться в основах работы с NiFi.
Этот проект распространяется под лицензией MIT.