Статистика и теория вероятностей: вопросы на собеседовании аналитика

Проверь себя · 1/3разбор после ответа

Что означает предпосылка «равенство дисперсий» в независимом t-тесте, если объяснять её интуитивно?

Что спрашивают по статистике

Статистика — фундамент аналитики данных. Без неё A/B-тесты превращаются в гадание, метрики — в случайные числа, а выводы для бизнеса — в красивые слова без опоры. На собеседовании почти не проверяют, помните ли вы таблицы распределений или умеете ли вывести формулу: проверяют, понимаете ли вы, что стоит за ней, и не наделаете ли дорогих ошибок в интерпретации.

Хорошая новость: набор тем конечен и повторяется из собеседования в собеседование. Интервьюер обычно идёт от простого «что такое медиана» к каверзному «почему при большой выборке любой эффект значим» — и останавливается там, где вы начинаете плыть. Поэтому выигрывает не тот, кто знает экзотические тесты, а тот, кто уверенно объясняет базу своими словами.

Нормальное распределение и p-value

Темы естественно делятся на несколько блоков, и к каждому стоит готовиться отдельно.

Описательная статистика. Базовая часть, где проверяют, чувствуете ли вы данные и не путаете ли, какую меру когда применять.

Среднее, медиана, мода — когда какую использовать
Стандартное отклонение и дисперсия
Квантили и перцентили
Выбросы и робастные метрики

Распределения. Проверяют, понимаете ли вы форму данных; чаще всего просят про нормальное распределение и центральную предельную теорему.

Нормальное распределение и его свойства
Биномиальное и распределение Пуассона — применение в аналитике
Центральная предельная теорема (ЦПТ)

Проверка гипотез и p-value. Ядро статистической секции и место, где сыпется большинство: важнее всего точная интерпретация p-value и разница между ошибками первого и второго рода.

Нулевая и альтернативная гипотезы
P-value — что это на самом деле
Уровень значимости и мощность теста
Ошибки I и II рода
T-тест, хи-квадрат, Z-тест — когда какой
Множественное тестирование

Доверительные интервалы. Проверяют, умеете ли вы переводить результат теста в честный диапазон и объяснять его без формальных ошибок интерпретации.

Что показывает интервал и как меняется его ширина
Связь с размером выборки
Чем доверительный интервал отличается от вероятностного утверждения

Теория вероятностей и комбинаторика. Отдельный блок задач, особенно частый для продуктовых и DS-ролей: нужны не теоремы, а аккуратный счёт вероятностей.

Условная вероятность и независимость событий
Математическое ожидание и дисперсия
Перестановки и сочетания
Закон больших чисел

Теорема Байеса. Любимая тема интервьюеров — почти всегда дают задачу на обновление вероятности при новых данных.

Формула Байеса и условная вероятность
Обновление вероятности гипотезы
Классические задачи: тесты на болезнь, спам-фильтры, монеты

Как проходит секция статистики

Формат зависит от роли и компании, но сводится к нескольким сценариям, и каждый требует своей подготовки.

Устный разбор без задач. Самый частый вариант: интервьюер спрашивает «что такое p-value», «когда t-тест, а когда хи-квадрат» или «объясните ЦПТ человеку без математики». Проверяют понимание, а не память — следом идёт уточняющий вопрос, который выбивает из колеи всех, кто заучил определение, но не понял сути.

Статистика внутри A/B-секции. На продуктовых позициях статистику зашивают в обсуждение эксперимента: как спланировать тест, сколько нужно наблюдений, что такое мощность, почему нельзя подглядывать в результат каждый день и останавливать тест на первом зелёном p-value. Это прямое применение проверки гипотез к бизнесу.

Задачи на теорию вероятностей. В финтехе, на DS-ролях и в крупных продуктовых командах добавляют задачки на вероятность и комбинаторику — на доске или в тестовом. Оценивают аккуратность: проговариваете ли вы условия, не путаете ли зависимые и независимые события, доводите ли расчёт до числа.

В любом формате сильнее выглядит тот, кто рассуждает вслух и честно проговаривает ограничения метода, а не тот, кто выпаливает правильный термин и замолкает.

Почему статистику проваливают

Большинство кандидатов знают определения, но спотыкаются на интерпретации, и именно эти ловушки стоят оффера.

Самая частая — путать p-value с вероятностью гипотезы. Ответ «p-value 0.03 значит, что нулевая гипотеза верна на 3%» — сразу красный флаг: p-value считается в предположении, что нулевая гипотеза верна, и ничего не говорит о вероятности самой гипотезы. Рядом живёт вывод «p-value больше 0.05, значит эффекта нет» — но отсутствие значимости это не доказательство отсутствия эффекта, а лишь нехватка данных, чтобы отличить его от шума.

Дальше — путаница ошибок первого и второго рода. Первая это ложная тревога (увидели эффект там, где его нет), вторая — пропуск (реальный эффект был, но тест его не заметил). Кандидаты меняют их местами или забывают, что мощность теста и есть способность не совершить ошибку второго рода, а снизить обе ошибки сразу помогает больший размер выборки, а не более «строгий» порог.

Отдельная классика — игнорировать предпосылки теста и подменять причинность корреляцией: применить t-тест к сильно скошенным данным, забыть про поправку на множественные сравнения при проверке двадцати метрик разом или объявить, что одна метрика «влияет» на другую только потому, что они движутся вместе. И, наконец, доверительный интервал: фраза «с вероятностью 95% истинное значение лежит в этом интервале» формально неверна, и въедливый интервьюер на ней зацепится.

Примеры вопросов с разбором

Попробуйте ответить сами, прежде чем читать разбор.

Что такое p-value простыми словами? Это вероятность увидеть такой же или более экстремальный результат, если на самом деле эффекта нет (нулевая гипотеза верна). P-value 0.03 означает: при отсутствии эффекта такие данные встретились бы примерно в 3% повторов эксперимента. Это не вероятность того, что гипотеза верна.
Объясните ЦПТ простыми словами. Если усреднить много независимых одинаково распределённых величин, распределение этих средних будет близко к нормальному — почти независимо от формы исходных данных. Поэтому к средним можно применять z- и t-тесты и строить доверительные интервалы, даже когда сами данные далеки от нормальных.
Чем отличаются ошибки I и II рода? Ошибка первого рода — ложная тревога: отклонили верную нулевую гипотезу и увидели эффект там, где его нет; её вероятность равна уровню значимости. Ошибка второго рода — пропуск: проворонили реальный эффект, а способность его поймать и есть мощность теста.
Что такое мощность теста и как её повысить? Мощность — вероятность обнаружить эффект, если он действительно есть. Она растёт с размером выборки и величиной эффекта и падает с ростом дисперсии. До запуска A/B считают, сколько наблюдений нужно для мощности около 80%.
Почему при большой выборке «значимым» становится любой эффект? Чем больше наблюдений, тем меньше шум и тем легче отличить от нуля даже крошечную, бесполезную разницу. Поэтому значимость всегда дополняют размером эффекта и доверительным интервалом: значимо — не всегда важно для бизнеса.
Что показывает доверительный интервал 95%? Диапазон значений, согласующихся с данными. Трактовка процедурная: если повторять эксперимент много раз и каждый раз строить такой интервал, примерно 95% из них накроют истинное значение. Неверно говорить, что конкретный интервал содержит истинное значение «с вероятностью 95%».
Что такое парадокс Симпсона? Тренд, заметный в каждой подгруппе, может исчезнуть или развернуться при объединении групп. Классика: лечение лучше в каждой группе по тяжести болезни, но хуже «в среднем», потому что им чаще лечили тяжёлых. Лечится разбивкой по скрытому фактору, а не агрегатом.
Когда медиана честнее среднего? Когда есть выбросы или сильная асимметрия. Средняя зарплата подскочит от одного топ-менеджера, а медиана покажет типичное значение. Для денег, времени отклика и длительности сессий медиана почти всегда честнее.
Задача на Байеса. Болезнь есть у 1% людей. Тест верно ловит больного в 99% случаев и даёт ложную тревогу у здоровых в 5%. Человек получил положительный результат — какова вероятность, что он болен? По формуле Байеса P(болен | плюс) = P(плюс | болен)·P(болен) / P(плюс). Знаменатель = 0.99·0.01 + 0.05·0.99 = 0.0594, ответ ≈ 0.0099 / 0.0594 ≈ 0.17 — около 17%. Редкость болезни делает положительный тест куда менее страшным, чем кажется.
В чём разница между законом больших чисел и ЦПТ? Закон больших чисел говорит, куда сходится выборочное среднее — к истинному значению при росте выборки. ЦПТ говорит, как ведут себя отклонения этого среднего: приближённо нормально, с разбросом, убывающим пропорционально корню из размера выборки. Коротко: закон больших чисел про «куда», ЦПТ — про «с какой скоростью и формы разброс».

Подробные разборы по подтемам

Как готовиться

Начните с интуиции, а не с формул. Прежде чем заучивать определения, убедитесь, что можете объяснить своими словами: зачем нужна дисперсия, что даёт ЦПТ и почему p-value — это не вероятность гипотезы. Если эти три вещи вы проговариваете без запинки, половина секции уже за вами.
Разберите ЦПТ и закон больших чисел. Это два столпа прикладной статистики: на них держатся доверительные интервалы, A/B-тесты и почти любой вывод о среднем. Когда понимаете их по сути, остальные темы ложатся гораздо легче.
Практикуйтесь на коротких вопросах, а не на учебнике. На собеседовании проверяют понимание концепций и интерпретацию, а не способность вывести формулу на три строки. Решайте много мелких задач с быстрым разбором — так паттерны закрепляются лучше всего. Удобно гонять их в тренажёре по статистике: короткие вопросы по теории вероятностей и статистике с моментальным объяснением после каждого ответа.
Свяжите статистику с A/B-тестами. Проверка гипотез, p-value, мощность и доверительные интервалы — это прямое применение статистики к экспериментам. Если готовитесь к обоим блокам параллельно, они усиливают друг друга, и на собеседовании вы отвечаете не про абстрактную теорию, а про живые задачи продукта.

Частые ошибки на собеседовании

Главная ошибка — отвечать заученным определением и замолкать. Интервьюер почти всегда задаёт уточняющий вопрос, поэтому важнее показать понимание сути, чем процитировать учебник. Вторая — пытаться выглядеть умнее, чем нужно: тащить байесовский подход или бутстрап туда, где хватает t-теста, и запутаться в собственном ответе. Третья — забывать про предпосылки и контекст: применять тест, не подумав о форме данных, объявлять корреляцию причинностью или путать статистическую значимость с практической важностью. Кандидат, который сам проговаривает ограничения метода, выглядит сильнее того, кто выдал «правильный» термин, но не подумал о краях.

Другие темы

FAQ

Насколько глубоко нужно знать статистику для аналитика?

Для junior достаточно базы: среднее против медианы, что такое p-value, ЦПТ на пальцах, простая условная вероятность. Для middle — уверенная проверка гипотез, выбор теста, интерпретация доверительных интервалов и мощности. Для senior добавляются бутстрап, байесовский подход и causal inference.

Нужно ли помнить формулы наизусть?

Не все. Формулу t-статистики можно посмотреть, а вот формулу Байеса, определение дисперсии и точную интерпретацию p-value нужно уметь записать и объяснить без подсказок. На собеседовании ценят не память, а способность развернуть формулу в смысл и применить её к задаче.

Чем p-value отличается от вероятности гипотезы?

P-value считается в предположении, что нулевая гипотеза верна, и показывает, насколько необычны данные при этом допущении. Оно ничего не говорит напрямую о вероятности того, что гипотеза верна. Чтобы рассуждать о вероятности самой гипотезы, нужен байесовский подход с априорной вероятностью. Эта подмена — одна из самых частых причин провала статистической секции.

Какие темы по статистике спрашивают чаще всего?

Лидеры — p-value и проверка гипотез, центральная предельная теорема, ошибки первого и второго рода, мощность теста и формула Байеса. На продуктовых ролях почти всегда добавляют доверительные интервалы и дизайн A/B-теста, на DS-ролях — задачи на теорию вероятностей и комбинаторику.

Как отличаются разделы «Статистика» и «Теория вероятностей» в Карьернике?

Теория вероятностей — это классические задачи на комбинаторику, условную вероятность и Байеса. Статистика — описательные метрики, распределения и проверка гипотез. Темы связаны, но в Карьернике они разделены на два блока, и тренировать их можно независимо друг от друга.

Нужна ли статистика, если иду в SQL-аналитику?

Да, хотя бы базовая. Даже в SQL-ориентированной роли вас спросят про среднее против медианы, про выбросы и про то, как читать результат A/B-теста. А как только появляется задача оценить эффект изменения на метрику, без проверки гипотез и понимания значимости не обойтись.

Тренировать статистику в Telegram