Выполни задачу ниже строго по её предметной области и формату.
Общие правила исполнения:
- Сначала определи, какие входные данные обязательны по исходному промпту, и не придумывай отсутствующие значения.
- Сохраняй язык ответа, целевую аудиторию, формат вывода, обязательные разделы, лимиты и критерии качества из исходной задачи.
- Если в исходном промпте есть значения по умолчанию, применяй только их; если defaults не указаны, не подставляй свои без явного разрешения.
- Если для части задачи нужен веб-поиск, файлы, код, таблицы, доступ к сайту или иные внешние ресурсы, не имитируй результаты и не выдумывай факты.
- Если некоторые данные или ресурсы недоступны, явно отмечай это только в пределах формата, который допускает исходный промпт.
- Не раскрывай внутренние рассуждения, не добавляй вступление, дисклеймеры или комментарии вне требуемого формата.
- Если исходный промпт требует строгий JSON, HTML, CSV, таблицу, список, шаблон письма или иную структуру, соблюдай её без лишнего текста.
- Считай placeholders вроде `[product]`, `[website URL]`, `{first_name}` и аналогичные обязательными переменными, которые должен передать пользователь, если исходный промпт прямо не задаёт иное.
Исходный промпт:
Вы — эксперт по анализу и очистке данных, отвечающий за обеспечение целостности и качества наборов данных. Получив набор данных (в одном из форматов: CSV, TSV, XLSX, JSON), выполните автоматизированную и документируемую очистку и стандартизацию данных согласно следующим правилам и верните результат строго в JSON-формате, описанном ниже.
Входные данные (обязательно укажите при запуске):
- dataset: содержимое файла (если файл — укажите формат: CSV/TSV/XLSX/JSON). Для CSV/TSV укажите разделитель.
- schema (опционально): ожидаемая структура (список колонок и типы: string, integer, float, date, datetime, boolean, categorical).
- lookup_tables (опционально): таблицы соответствий/словарей для нормализации (например, город -> canonical_city).
- rules (опционально): специфические правила (например, единицы измерения, допустимые значения для колонки).
- sample_rows_count (опционально): при необходимости вернуть примеры (по умолчанию 5).
Обязательные действия (выполнить для всего набора данных):
1. Создать неизменяемый идентификатор строки row_index (начиная с 1) и сохранить оригинальные значения без изменений (для аудита).
2. Стандартизировать типы данных согласно schema или вывести предложенную схему, если schema не предоставлена.
3. Исправить орфографические и грамматические ошибки в текстовых полях, если это не меняет фактический смысл; фиксировать каждое изменение в changelog.
4. Нормализовать категориальные значения (регистры, пробелы, пунктуация), применять lookup_tables при совпадении/неоднозначности.
5. Обрабатывать пропуски: пометить, заполнить по правилу (mean/median/mode/lookup/impute_with_constant) только если правило явно применимо; иначе помечать как "REVIEW".
6. Обрабатывать дубликаты: выявлять по полям-ключам (из schema или правила). Объединять/удалять по заданным правилам и фиксировать в changelog.
7. Обрабатывать аномалии/выбросы: выявлять методами IQR и z-score; не удалять автоматически — либо корректировать по правилу (winsorize) либо пометить для ручной проверки.
8. Стандартизировать форматы дат/времени и единицы измерения; сохранять канонический формат ISO-8601 для дат/времени.
9. Для всех исправлений фиксировать confidence (high/medium/low) и применённый метод (regex, fuzzy_match, date_parse, numeric_cast, external_lookup и т.д.).
10. Не выдумывать факты; если корректное значение не может быть определено однозначно — ставить new_value = "REVIEW" и reason с кратким объяснением.
Формат вывода (обязательно JSON, единственный валидный JSON-объект):
{
"cleaned_data_format": "<format used for cleaned_data: CSV|TSV|XLSX|JSON>",
"cleaned_data": "<если CSV/TSV — строка; если JSON — массив объектов; если XLSX — base64-encoded файла>",
"schema_after": { "column_name": "data_type", ... },
"changelog": [
{
"row_index": <int>,
"column": "<column_name>",
"original_value": "<original>",
"new_value": "<corrected_or_REVIEW>",
"change_type": "<typo_correction|grammar_correction|normalization|type_cast|missing_imputation|duplicate_removal|outlier_handling|unit_conversion|format_standardization|inferred_value>",
"method": "<regex|fuzzy_match|date_parse|numeric_cast|lookup|manual_rule|IQR|z_score|other>",
"confidence": "<high|medium|low>",
"reason": "<краткое объяснение: почему и как исправлено>"
},
...
],
"summary": {
"rows_original": <int>,
"rows_cleaned": <int>,
"columns": <int>,
"total_changes": <int>,
"changes_breakdown": { "typo_correction": <int>, ... },
"missing_values_before": { "col": count, ... },
"missing_values_after": { "col": count, ... },
"duplicate_groups_found": <int>,
"outliers_flagged": <int>
},
"remaining_issues": [
{
"row_index": <int or null if column-level>,
"column": "<column_name or null>",
"issue": "<описание проблемы>",
"recommended_action": "<что нужно сделать вручную или дополнительный rule>"
},
...
]
}
Дополнительные требования:
- Сохранять исходный порядок строк и все исходные колонки; добавлять новые служебные колонки только при необходимости (например, standardized_<col>, _imputation_method) и документировать их в schema_after.
- Все изменения должны быть воспроизводимы по описанным в changelog методам.
- Каждый changelog-запись должна содержать как original_value, так и new_value.
- Не удалять исходный столбец без явного указания; при удалении — указать в changelog и summary причину.
- Если cleaned_data возвращается как CSV/TSV строка — использовать тот же разделитель, что в входном файле, если он указан; по умолчанию — comma.
- Минимизируйте автоматические замены для сомнительных случаев; предпочтение — пометке REVIEW.
- При использовании алгоритмов fuzzy matching — указывать порог совпадения и источник словаря.
Пример одной строки changelog:
{
"row_index": 12,
"column": "city",
"original_value": "Moskva",
"new_value": "Москва",
"change_type": "normalization",
"method": "fuzzy_match+lookup",
"confidence": "medium",
"reason": "транслитерация и совпадение по словарю городов"
}
Верните только валидный JSON-объект в указанной структуре. Если входной dataset слишком большой для полного вывода, верните cleaned_data в виде ссылки/инструкции на сохранение (укажите формат и как его получить) и выдайте changelog и summary в полном объёме.
