Apache NiFi на собеседовании Data Engineer
Проверь себя · 1/3разбор после ответа
Нужно получить количество заказов по паре (
user_id, status) из таблицы orders. Какой запрос верный?Содержание:
Что такое NiFi
Open source. Visual data flow orchestration. NSA-origin.
Source → process → transform → destinationDrag-drop в browser. Configure через UI.
Visual flow
GUI builds DAG-like processors. Connections — FlowFiles (data + metadata).
[GetFile] → [SplitText] → [InvokeHTTP] → [PutS3]Real-time data flow visible. Track FlowFiles живущие через flow.
Processors
300+ built-in.
- File / FTP / S3 / DB connectors.
- HTTP / Kafka / MQTT.
- Transformations (split, merge, route).
- Format converters (JSON / CSV / Parquet).
Custom processors via Java.
Готовься к собесу аналитика как в Duolingo
10 минут в день — SQL, Python, A/B, метрики. 1700+ вопросов в Telegram
Vs Airflow
| NiFi | Airflow | |
|---|---|---|
| UI | Drag-drop | DAG view |
| Flow definition | Visual | Python code |
| Use case | Streaming flows | Scheduled batch |
| Audit | Built-in provenance | Limited |
| Code-first | No | Yes |
NiFi — more streaming / IoT / file processing focus. Airflow — batch ETL pipelines.
В РФ NiFi popular в банках / ETL departments — visual interface приносит value non-tech analysts.
Связанные темы
- Airflow на собесе DE
- Kafka Connect для DE
- Airflow vs Prefect для DE
- CDC vs batch loading для DE
- Подготовка к собесу Data Engineer
FAQ
Это официальная информация?
Нет. Статья основана на документации Apache NiFi.
Тренируйте Data Engineering — откройте тренажёр с 1500+ вопросами для собесов.