Используй только входные данные из запроса и вложений. Не задавай уточняющих вопросов. Если какое-либо поле не заполнено и исходный промпт не разрешает безопасное допущение, сохраняй плейсхолдер или прямо отмечай недостающие данные вместо выдумывания фактов. Верни только итог в требуемом формате без вступлений, заключений, служебных комментариев и рассуждений о процессе.
Ты — эксперт‑аналитик в области: [указать сферу]. У тебя есть набор отзывов о продукте: [указать продукт]. Количество отзывов: [указать число, например: 100]. Язык отзывов: [указать язык, например: «русский»]. Формат входных данных: список текстовых отзывов (или CSV с колонками id, text, date, rating при наличии).
Задача: сформулировать воспроизводимый, поэтапный алгоритм для автоматизированного анализа тональности (позитив/негатив/нейтрально) и выявления частых тем/аспектов (например, «удобство интерфейса», «скорость работы»). Алгоритм должен быть применим к указанному объёму данных и языку, учитывать ограничения малой выборки (если N невелико), и содержать рекомендации по методам NLP, параметрам, оценке качества и способам визуализации результатов.
Формат ответа (обязательные разделы, в указанном порядке):
1) Краткое предположение/ограничения по входным данным (язык, длина отзывов, наличие метаданных).
2) Шаг‑за‑шаговый алгоритм (нумерованный список). Для каждого шага указывать:
- цель шага,
- конкретные действия (preprocessing, аннотация, обучение/применение моделей),
- рекомендуемые библиотеки/инструменты (названия пакетов и, где уместно, конкретные модели),
- примерные параметры/пороги (например, num_topics=5–15, min_df=2, max_features=5000).
3) Рекомендованные методы/модели для:
- предобработки текста (токенизация, лемматизация/стемминг, очистка),
- анализа тональности (лексиконы vs. обучаемые модели; конкретные предобученные трансформеры для указанного языка),
- извлечения тем (TF‑IDF + кластеризация, LDA, NMF, BERTopic/embeddings + HDBSCAN),
- извлечения ключевых фраз (TF‑IDF, RAKE, TextRank).
Для каждого метода указывай сильные и слабые стороны применительно к малому/среднему объёму (N) и к указанному языку.
4) Подход к аннотированию/валидиции (если требуется ручная разметка), включая минимальный объём разметки для обучения/оценки и стратегии улучшения (data augmentation, active learning, transfer learning).
5) Метрики оценки качества:
- для тональности: accuracy, precision/recall/F1 (по классам) и матрица ошибок,
- для тем: coherence (UMass, c_v), per‑topic top‑n keywords, human evaluation guidelines.
6) Рекомендации по визуализации результатов (каждая визуализация с описанием входных колонок/агрегаций и цели):
- общая сводка тональности (столбчатая диаграмма или пирог) — поля: sentiment, count/percent;
- временная динамика тональности (если есть дата) — поля: date, sentiment_share;
- распределение оценок по темам (topic × sentiment heatmap) — поля: topic_id, sentiment, count/percent;
- топ‑ключевые слова/фразы по теме (бар‑чарты или word cloud) — поля: topic_id, term, score;
- интерактивный обзор тем (pyLDAvis для LDA или UMAP+HDBSCAN scatter с подсветкой тем);
- сеть со‑встречаемости терминов (nodes: terms, edges: co‑occurrence).
Укажи подходящие библиотеки для построения (matplotlib/seaborn, plotly, pyLDAvis, altair, networkx, D3 для web).
7) Формат выходных артефактов (файлы/таблицы/диаграммы), которые должен сгенерировать конвейер:
- CSV: reviews_with_sentiment.csv (id, text, date, sentiment, sentiment_score, topic_id, topic_keywords),
- JSON или parquet с модельными метаданными,
- интерактивный дашборд HTML (Plotly Dash / Streamlit) и статические PNG/SVG диаграммы,
- отчёт с метриками и рекомендациями в PDF.
8) Практические рекомендации и ограничения:
- если N мал (например, ~100), какие методы предпочтительнее (лексиконные/предобученные классификаторы vs. обучение с нуля),
- требования к вычислительным ресурсам для предложенных моделей,
- как выбирать число тем и как интерпретировать шумные/пересекающиеся темы.
9) Короткий план валидации и запуска в продакшен (шаги CI/CD, мониторинг деградации модели и переобучение).
10) Список конкретных библиотек и моделей, которые рекомендуется использовать (по языку), с примерными командами установки (pip/conda) и именами моделей трансформеров (например, sentence-transformers/all-MiniLM-L6-v2, nlptown/bert-base-multilingual-uncased-sentiment, DeepPavlov/rubert-base-cased-sentiment если отзывы на русском).
Формат выдачи:
- Структурированный текст с указанными разделами (1–10).
- Внутри раздела 2 (алгоритм) шаги должны быть пронумерованы.
- Там, где уместно, добавь примерные числовые значения/параметры.
- Не включай исходный код более чем в виде однострочных примеров команд установки или названий функций; код писать только если прямо запросят дополнительно.
Используй язык ответа: тот же, что и язык отзывов (если язык отзывов не указан — русский).