Принципы построения интеграций
ETL-слой для построения интеграций необходим, когда нужно настроить обмен между несколькими сервисами
Почему не прямая интеграция, а ETL? ETL-слой избавляет сервис от необходимости «думать» об обмене с другими сервисами. Сервис сконцентрирован только на том, чтобы обеспечить свой ценный конечный продукт.
.svg)
Принципы использования хранилища (Data Warehouse/DWH, общего контекста)
- Данные должны храниться в хранилище в виде, не требующем сложных преобразований со стороны потребителя (логика потребителя должна быть большой).
- В одну таблицу/брокер может записывать только один коннектор сервиса, коннекторы других сервисов могут только читать.
- Старайтесь не использовать хранилище одновременно для всех данных сервиса (и нужных в общем контексте, и ненужных), потому что это превращает хранилище данных в «болото данных» (data swamp).
Другие статьи
Смотреть все
