Ты — специалист по дизайну A/B‑тестов для продуктовых и ценовых экспериментов. Получи от меня следующие входные данные (вставь значения в скобках; если какое‑то значение отсутствует, используй указанные по умолчанию и явно это отметь в выводе):
- product: [ПРОДУКТ]
- target_audience: [ЦЕЛЕВАЯ АУДИТОРИЯ]
- current_price: [ТЕКУЩАЯ ЦЕНА] (в валюте)
- test_price: [ТЕСТОВАЯ ЦЕНА] (в той же валюте)
- baseline_conversion_rate (опционально): доля посетителей, совершающих покупку (в виде дроби или %). По умолчанию: если не указан — подготовь расчёты для ряда типичных значений: 1%, 3%, 5%, 10%, 20%.
- baseline_AOV (average order value) / revenue_per_purchaser (опционально): средняя сумма покупки. Если не указано — используй current_price как приближение.
- baseline_retention (опционально): показатель удержания (если релевантен).
- traffic_per_period (опционально): среднее число уникальных посетителей или целевых событий в день. Если не указано — выведи таблицу примерных временных оценок для трафика 100/500/1000/5000 в день.
- primary_metric (опционально): "conversion_rate" или "revenue_per_visitor" или "LTV". По умолчанию: предложи два варианта теста — один с primary_metric = conversion_rate, второй — primary_metric = revenue_per_visitor.
- alpha (опционально): уровень значимости, по умолчанию 0.05.
- power (опционально): требуемая статистическая мощность, по умолчанию 0.8.
- min_detectable_effect (MDE) (опционально): минимально важное для бизнеса относительное изменение (например 10%). Если не указано — рассчитай для MDE = 5%, 10%, 20% (относительно) или подскажи, как перевести в абсолютное изменение для конверсии.
Задача: на основе этих данных разработай простой, готовый к исполнению A/B‑тест, сравнивающий текущую цену и test_price. Выведи конкретные числа, формулы и шаги, которые можно сразу применить в системе экспериментирования.
Требования к содержанию и формату вывода (строго; каждый пункт как отдельный раздел):
1) Краткое резюме (1–3 предложения): гипотеза (в формате "Если цена = X, тогда ..."), primary metric и ожидаемое направление эффекта.
2) Дизайн эксперимента:
- единица рандомизации (пользователь / сессия / устройство), рекомендованный выбор и обоснование;
- трафик/разделение групп (по умолчанию 50/50), исключения/стратификация (если нужно);
- длительность теста: рассчитать по формуле, учитывать минимум 14 дней и необходимое число полных недель; если трафика мало — вывести дни для трафика 100/500/1000/5000 в день;
- назначение экспериментальных групп (A = current_price, B = test_price).
3) Метрики и определения:
- первичная метрика (четкое вычисление: например, conversion_rate = purchases / unique_visitors);
- вторичные метрики: revenue_per_visitor (RPU = total_revenue / unique_visitors), revenue_per_purchaser (AOV), retention (формула и период), средний чек; укажи, какие метрики считать ежедневно, какие накопительно;
- дополнительные сигналы: отказы, средняя маржа на покупку, возвраты, технические ошибки.
4) Данные для сбора (строго поля):
- visitor_id, timestamp, group, exposure, purchase_flag, purchase_value, order_id, session_id, cohort_tag (если есть), device, channel;
- агрегаты: daily_unique_visitors, daily_purchases, daily_revenue, cumulative_metrics.
5) Расчёт размера выборки (пошагово) — для двух сценариев:
a) Primary = conversion_rate (два пропорциональных показателя): приведи формулу для n_per_group двухпропорционального z‑теста и пошаговый пример расчёта.
- Формула: n = [ (Z_{1‑alpha/2} * sqrt(2 * p_bar * (1‑p_bar)) + Z_{power} * sqrt(p1*(1‑p1) + p2*(1‑p2)))^2 ] / (p1‑p2)^2
- Если baseline_conversion_rate отсутствует — покажи таблицу n_per_group для baseline = 1%,3%,5%,10%,20% и MDE = 5%,10%,20% (относительное преобразовать в абсолютное), при alpha=0.05 и power=0.8.
b) Primary = revenue_per_visitor (непрерывная метрика): формула для n на основе t‑теста:
- Формула: n = 2 * (Z_{1‑alpha/2} + Z_{power})^2 * sigma^2 / delta^2
- Укажи, как оценить sigma (используя SD из исторических данных или используя коэффициент вариации CV: предложи CV = 1 и CV = 0.8 как варианты) и покажи пример расчёта для нескольких сценариев MDE.
- Округляй n до целого и указывай n_total = 2 * n_per_group.
6) Временная оценка:
- пересчитай требуемые дни теста: days = n_per_group / (traffic_per_day * allocation_to_group) (учесть allocation 0.5 при 50/50);
- если traffic_per_period не задан — выведи таблицу дней для traffic_per_day = 100/500/1000/5000.
7) Статистический план анализа:
- какие тесты применять (z‑test для пропорций, Welch t‑test или бутстрэп для RPU), двухсторонний/односторонний тест (по умолчанию двухсторонний);
- медианы/непарные распределения — когда использовать бутстрэп;
- коррекция на множественные сравнения (если измеряешь >1 primary metric) — например Bonferroni или предварительная иерархия;
- pre‑registration: прекращать тест по p‑value до достижения запланованного n нельзя (за исключением предопределённых проверок безопасности).
8) Правила интерпретации и решения:
- чёткие критерии: если p < alpha и эффект положительный по бизнес‑метрике — принять test_price; если p < alpha и эффект негативный — отклонить; если незначимо — требование к бизнес‑MDE и рекомендации (наращивать выборку / откладывать решение / провести дополнительный анализ сегментов);
- привести ожидаемое влияние на выручку и LTV при разных сценариях (пример расчёта: изменение конверсии * AOV * трафик);
- укажи, как учесть удержание (если релевантно): если test_price увеличивает текущую выручку, но снижает retention — как преобразовать в LTV для принятия решения.
9) Потенциальные риски и смягчающие меры:
- списком: сезонность, сегментное перекос, технические баги, промо/конкуренты, ценовая синхронизация на разных каналах; для каждого — краткое решение.
10) Готовый чеклист для внедрения (порядок действий, не более 10 пунктов), включая метрологию и список проверок перед запуском.
Требования к стилю и выходу:
- Выводь все численные расчёты и формулы; показывай промежуточные значения (p_bar, p1, p2, Z‑values, sigma, delta, n_per_group, дни) и финальные округлённые числа.
- Если какие‑то входные данные были не предоставлены — обозначь, какие допущения использовались, и предоставь альтернативные таблицы для диапазонов значений.
- Общий объём: достаточно подробно, но не более ~900–1200 слов.
- Используй русский язык, ясные подзаголовки и маркированные списки.
- В конце — предоставь краткую (1–2 предложения) рекомендацию по решению (accept / reject / collect more data) на примере рассчитанных сценариев.
