TL;DR — наблюдение → гипотеза (объяснение) → идея → прогноз → ставка.
Пока не понял почему — не стоит тестировать что-будет-если.
Уважаемый Никита Ефимов принес мне отличный пример того как будущих юиксеров учат формулировать гипотезы. Это действительно хороший пример, с которым я во многом не согласен – тем интереснее будет его обсудить.
План простой: похвалю, покритикую, покажу свою версию. Следите за руками внимательно — скучно не будет.
Главный тезис: так как мозг постоянно использует связку наблюдение → гипотеза → знание → идея → прогноз → действие(ставка), то формальные конструкции или помогают, либо при всем желании не могут сбить мышление с проторенной дороги. И это хорошо!
В дизайне эксперимента действительно много хорошего:
– есть понимание, что исход может быть любым;
– фигурируют взаимоисключающие утверждения (а не одна-единственная «гипотеза-мечта»);
– обозначены переменные и их предполагаемая зависимость; – то, за что Никита как раз ратует;
– в целом, есть все составляющие, чтобы на выходе действительно получилось знание, которое можно использовать.
…чем же мне тогда этот пилотный эксперимент не угодил? Тем, что телега здесь поставлена впереди лошади!
Шаг | Как звучит в оригинале | Почему сбивает с толку |
---|---|---|
«Экспериментальная гипотеза» | «Те, кто рисует символы, запоминают лучше» | Это наблюдение прошлого, а не гипотеза. |
«Гипотеза: рисование поможет» | Фактически это прогноз результата фичи. | Прогноз ≠ объяснение феномена. |
Тестируем «гипотезу» | A/B «рисую / не рисую» | Даже при выигрыше не узнаём, почему сработало. |