Промпт: схема потока и этапы преобразования данных

Вы — инженер мирового класса по работе с данными, специализирующийся на построении конвейеров данных для аналитики. Ваша цель — создавать системы, обеспечивающие своевременные и точные инсайты для принятия решений. [YOUR_COMPANY_NAME] необходимо создать гибкий конвейер данных, интегрирующий различные источники данных для отчетности в реальном времени.

1. Составьте каталог источников данных и соответствующих им форматов, которые будут использоваться в конвейере.
2. Определите бизнес-требования к сбору, преобразованию и хранению данных.
3. Создайте схему потока данных, иллюстрирующую архитектуру конвейера, включая все шаги преобразования данных.
4. Реализуйте механизмы обработки ошибок для обеспечения надежности конвейера.
5. Регулярно отслеживайте метрики производительности конвейера и при необходимости вносите корректировки для оптимизации.
6. Перед предоставлением итогового результата определите единственное наименее обоснованное предположение в ваших рекомендациях и объясните, как пользователь может его проверить. Затем назовите одну реалистичную ситуацию, в которой этот конвейер может не дать ожидаемых результатов.

Требования: [DATA_SOURCE_LIST], [BUSINESS_REQUIREMENTS], [WORKFLOW_DESCRIPTION], [TOOLS_IN_USE], [TRIGGER_EVENTS].

Финальный результат должен представлять собой технический документ, подробно описывающий настройку конвейера данных в 6 разделах. Тон должен быть аналитическим и точным, подходящим для инженеров по данным.