Атрибут
Reliability

Продукт полноценно решает задачу пользователя, от начала и до конца. На продукт можно "положиться".
Автор: Джей Томас
Создатель фреймворка “Думать как пользователь”

Введение

Атрибут Reliability в пользовательском фреймворке “Думать как пользователь” означает, что продукт или функция не просто формально существует (Functionality), а полноценно решает задачу пользователя от начала до конца. Другими словами, продукт “надежен” в смысле выполнения всей Job Story пользователя: он покрывает всю потребность, а не просто отдельные шаги.
Например, если пользователь хочет предотвратить пригорание еды при готовке, просто наличие таймера—это функциональность, а автоматическое выключение плиты по окончании таймера—это уже надежное решение, завершающее всю задачу. Методология ниже сфокусирована именно на валидации решений для полного покрытия Job Story и не включает юзабилити-тестирование (удобство использования оценивается отдельно в атрибуте Usability).

Структура проработки атрибута

Чтобы проработать атрибут Reliability, стоит придерживаться последовательности из нескольких шагов. В целом, процесс проверки состоит из подготовки и проведения Solution Interview (решенческое интевью) с пользователями, а затем анализа результатов. Ключевые этапы:
Приоритизация Desired Outcomes и сценариев
Решаем, какие пользовательские потребности (Desired Outcomes) и сценарии проверить в первую очередь.
Подготовка таблицы Opportunity Score
Создаём инструмент для фиксирования оценок и расчёта показателей важности/удовлетворенности.
Подготовка прототипа
Подготавливаем прототип или концепт, который покрывает ключевые шаги Job Story и Desired Outcomes.
Подготовка вопросов и заданий
Составляем сценарий интервью: какие сценарии будет выполнять пользователь и какие вопросы мы ему зададим (о важности и удовлетворённости).
Проведение интервью с пользователями
Проводим серию Solution Interview (обычно 5–8 интервью) по подготовленному сценарию.
Анализ результатов
Сводим оценки, вычисляем Opportunity Score, интерпретируем данные и проверяем, подтверждена ли надежность решения.
Далее рассмотрим каждый шаг подробно, с акцентом на практические детали и критерии успешности.

Онлайн-курс
“Думать как пользователь”

Когда изучать атрибут

Атрибут Reliability изучается после проработки атрибута Functionality, то есть, тогда, когда изучены потребности пользователей, найдены скрытые возможности и изучены понятные потребности, а также сформулированы JTBD-стейтменты—Key Job Story/Job Stories и Desired Outcomes. Если на этапе проработки Reliability выявляются пробелы, их важно устранить до перехода к дальнейшим этапам (например, до финальной отрисовки дизайна или юзабилити-тестов).
Давайте подробнее разберем весь процесс.

Приоритизация сценариев и Desired Outcomes для проверки

Перед проведением Solution Interview важно определить, какие Desired Outcomes и сценарии критичны для проверки в первую очередь. Поскольку провести интервью бесконечно по всем возможным аспектам не получится, сконцентрируемся на самых существенных.
Оцените важность Desired Outcomes
Используйте результаты предыдущих исследований, чтобы понять, какие Desired Outcomes наиболее важны для пользователей. Как правило, если вы уже проработали Functionality, у вас есть такой список. Проставьте им приоритеты: например, через оценки важности (по шкале 1–10 или Low/Medium/High). Фокус—на самые важные потребности.
Оцените текущую удовлетворённость по ним
Если известно, насколько хорошо нынешние решения пользователей закрывают каждый Outcome (например, из исследований или предположений), отметьте это. Высокая важность + низкая текущая удовлетворённость сигнализируют о потенциально слабом месте—там ваше новое решение должно особенно проявить надёжность. Такие аспекты—в приоритете на проверку.
Отметить это можно в шаблоне таблицы (как с ней работать—будем рассматривать ниже).
Выделите критичные подшаги Job Story
В каждой пользовательской задаче обычно есть ключевые этапы, от надёжности которых зависит доверие ко всему решению. Например, в приложении для отслеживания питания спортсменами, которые набирают мышечную массу, критичны этапы ввода исходных данных и получения рекомендаций—если тут будут сбои или неточности, пользователь не доверится приложению дальше. Определите эти ключевые подшаги. Именно по ним и связным с ними Desired Outcomes стоит строить сценарии интервью в первую очередь.
Ограничьте охват до разумного
За одно интервью реалистично можно пройти ~5–7 подшагов с 5-10 Desired Outcomes в каждом (с учетом подробного обсуждения). Поэтому выберите ограниченное число самых критичных Outcomes. Логика отбора: без надёжного закрытия этих потребностей успех продукта невозможен. Менее важные или уже хорошо закрытые Outcomes можно оставить на потом.
В результате приоритизации у вас получится список сценариев (ситуаций) для интервью—по одному на каждый избранный подшаг—и набор соответствующих Desired Outcomes, которые будете проверять. Теперь можно переходить к подготовке инструментария.

Подготовка таблицы Opportunity Score

Для сбора и анализа данных с Solution Interview используем специальную таблицу оценок—таблицу Opportunity Score. Она поможет структурировать ответы пользователей и увидеть, насколько наш концепт улучшает ситуацию по каждой из Desired Outcomes.

Структура таблицы

Таблица содержит строки с Desired Outcomes, страницы для каждого респондента (обычно 5–8 страниц, по числу интервью) и рассчитанных метрик. В частности, фиксируем следующие показатели для каждого Desired Outcome:
Importance (Важность)—Насколько важен этот результат для пользователя (оценивается до показа прототипа, по шкале от 1–10, где 10—крайне важно).
Satisfaction Before (Удовлетворенность до)—Насколько хорошо текущие решения пользователя справляются с этим результатом (оценка до прототипа).
Satisfaction After (Удовлетворенность после)—Насколько хорошо наше новое решение справляется с задачей (оценка после взаимодействия с прототипом).
Opportunity Score—Числовой показатель, показывающий, насколько Desired Outcome сейчас плохо закрыта. Чем выше OS, тем больше потенциал улучшения (формула рассчитывается автоматически на базе Importance и разницы удовлетворённости).
Satisfaction Difference (Δ Удовлетворенности)—Разница между удовлетворённостью после и до (показывает, улучшилось ли восприятие задачи благодаря нашему новому решению).
Summary (Сводка)—Текстовая интерпретация разницы (например, “Улучшилось”, “Без изменений” или “Стало хуже”).
Priority (Приоритет для действий)—Итоговый приоритет на доработку: Высокий / Средний / Низкий / Неприменимо. Рассчитывается из сочетания важности, удовлетворённости и наличия/отсутствия данных. (”Неприменимо” указывается в случае, если пользователь с озвученной Desired Outcome никогда не сталкивался).
Заполнив такую таблицу по итогам интервью, вы получаете сводку по всем участникам для каждой из Desired Outcomes. Это позволяет наглядно увидеть, где новое решение значительно повысило удовлетворенность, а где—нет.

Подготовка таблицы перед интервью

Заранее занесите в таблицу все выбранные для проверки Desired Outcomes (отдельными строками). Оставьте место для оценок Importance, Satisfaction (до/после). Также можно предусмотреть столбец для комментариев, куда во время интервью будут записываться ключевые комментарии пользователя, объясняющие его оценки—это упростит анализ.

Подготовка прототипа для тестирования

Прототип (или концепт решения)—это то, что вы покажете пользователю в ходе Solution Interview, чтобы собрать его реакцию. Очень важно, чтобы прототип покрывал ключевые Desired Outcomes, выделенные на этапе приоритизации. Пользователь должен иметь возможность попробовать или представить, как решение работает именно в важных для него аспектах.
Прототипом может быть:
интерактивный прототип (проще всего воспринимается пользователем),
кликабельный дизайн-макет,
сценарное описание или демонстрация на слайдах (если визуальный прототип сделать сложно).
Главное: респондент должен понять идею решения и то, как оно адресует его Job Story. Если какого-то элемента в прототипе не окажется (упущен важный Outcome), интервью это вскроет—пользователь может выразить обеспокоенность или сказать, что бы он сделал дополнительно. Это станет сигналом о пробеле в Reliability. Поэтому включите в прототип все функции/механизмы, закрывающие ключевые Desired Outcomes.
Показывать прототип будем пошагово, в контексте отдельных сценариев (подшагов) задачи. Готовясь к интервью, убедитесь, что для каждого сценария у вас есть необходимый экран(ы) или описание. Например, если проверяется сценарий “Измерение текущего процента жира” в фитнес-приложении, прототип должен позволять ввести данные и увидеть результат расчёта процента жира, иначе пользователь не сможет оценить надежность этого шага.
Наконец, протестируйте прототип сами или с коллегами (проведите тестовое интервью), чтобы убедиться в его работоспособности: во время интервью ничего не должно отвлекать пользователя (например, баги или недоразумения с прототипом). Помните, цель—оценить доверие к концепту, а не умение пользователя обращаться с сырым прототипом.

Составление сценария и вопросов для интервью

Когда прототип готов, спланируем сценарий Solution Interview—как именно будет проходить сессия, какие вопросы и задания получит пользователь. Интервью на надежность похоже на смесь глубинного интервью и юзабилити-тестирования, но структурировано вокруг проверки определённых сценариев использования.

Общая структура Solution Interview

Для каждого выделенного сценария (подшага) мы проходим последовательность:
Повторяем эту последовательность для каждого важного сценария.
Например, если мы делаем приложение для отслеживания питания спортсменами, набирающими мышечную массу, и там сценарий—“Определение фазы (набор массы или сушка)”, то сначала пользователь скажет, насколько для него важно правильно определить фазу, и насколько он сейчас доволен своим способом определения. Затем мы дадим ему попробовать наш прототип (функцию, которая рекомендует фазу), а после спросим, насколько он доволен тем, как наше решение это делает.

Шаблон структуры интервью

Ниже—шаблон структуры интервью для одного сценария (подшага), который следует повторить для всех ключевых подшагов:
Введение в сценарий
Интервьюер обозначает контекст: “Теперь представьте ситуацию, когда вы ... [описание сценария и условия]”. Это погружает респондента в нужную ситуацию использования.
Важность
Спросить: “Насколько для вас важно, чтобы ... [Desired Outcome этого шага]?”. Пользователь ставит оценку по шкале, от 1–10.
Например, Desired Outcome “Минимизировать вероятность того, что BMR будет определен неправильно” преобразуется в вопрос о важности: “Насколько для вас важно избежать ошибок при расчете BMR?”. Аналогичный Outcome по скорости “Минимизировать время, затраченное на расчет BMR” преобразуется в вопрос “Насколько для вас важно быстро рассчитать BMR?”. Здесь пользователь отвечает, допустим, 9 из 10.
Удовлетворённость (до взаимодействия с прототипом)
Спросить: “Насколько вы сейчас довольны тем, как ... [этот аспект реализован текущим способом]?”.
Вопрос об удовлетворенности “до” можно привязать к текущему опыту: “Насколько вы удовлетворены способом расчета BMR, которым пользуетесь сейчас?” и “Насколько вас устраивает скорость расчета BMR при нынешнем подходе?”. Здесь пользователь тоже ставит оценку от 1 до 10 (до взаимодействия с прототипом).
Выполнение сценария
Здесь интервьюер дает задание или демонстрирует контент—“Попробуйте сейчас ... / Давайте посмотрим на ... [инструкция пользователю выполнить действие или изучить информацию в прототипе].” Интервьюер предлагает выполнить задание, связанное с выбранным подшагом, используя прототип (либо просит просмотреть определённый информационный контент, если на этом этапе от пользователя не требуется активных действий).
Важно, чтобы сценарий максимально приближал респондента к реальному опыту использования решения. Интервьюер ничего не подсказывает относительно правильности действий—цель на этом этапе дать пользователю самостоятельно увидеть, как решение покрывает его потребность.
Например, если рассматривается подшаг “Измерение текущего процента жира”, задание может заключаться в том, чтобы респондент воспользовался прототипом функции расчета процента жира—например, ввёл необходимые данные. Если же прототип этого шага еще не интерактивен, можно показать статический экран с результатом измерения или описание алгоритма и попросить пользователя ознакомиться с ним.
Удовлетворённость (после)
Спросить: “Теперь, когда вы попробовали наше решение, насколько вы довольны тем, как оно позволяет [выполнить подшаг/достичь результата]?”. Пользователь ставит оценку удовлетворённости после взаимодействия.
После выполнения сценария будут переформулированы относительно опыта с новым решением: “Насколько вы довольны способом расчета BMR через наше приложение?”, “Насколько вам подошла скорость, с которой был расчитан BMR?”, “Насколько вы удовлетворены тем, как наше приложение подсказало оптимальный и точный способ измерения % жира?” и так далее—пользователь оценивает по шкале 1–10.
Дополнительные вопросы
Попросить пояснить оценки: “Почему вы поставили такую оценку? Что вам особенно понравилось или не понравилось?”. Также выяснить общее впечатление: “Чувствуете ли вы, что решение надёжно справится с вашей задачей? Что бы вы делали, если бы... [негативный сценарий]?”.
Эти вопросы помогают понять причины (что именно внушает доверие или недоверие) и собрать признаки, на основании которых будет оцениваться Reliability.
Такой план повторяется для каждого ключевого сценария. На заключительном этапе интервью можно задать общий вопрос: “В целом, как бы вы описали надёжность решения? Решена ли ваша задача полностью?”—это даст целостную оценку. После этого—поблагодарить участника и завершить интервью.

Замечание

Иногда может оказаться, что у респондента нет опыта с каким-то подшагом (например, он никогда не делал чего-то из вашего сценария). В таком случае пропустите этот сценарий—оставьте в таблице соответствующие поля пустыми, и Priority для этого Outcome автоматически пометится как “Неприменимо”. В наших данных такие пробелы тоже учитываются (таблица должна уметь обозначать, что на некоторые вопросы у пользователя нет ответа).

Структура сценария интервью

У сценария интервью есть 4 основные части (они похожи на проведение обычного, стандартного глубинного интервью):
Вступление
Скрининг
Основная часть
Завершение

Вступление

Прежде чем начать интервью, нужно выстроить доверительные отношения с респондентом и показать ему, что с вами можно безопасно общаться. Вы для него—незнакомая личность, и, скорее всего, респондент никогда не принимал участия в исследованиях. Поэтому важно человеку рассказать, что вы от него хотите и что его ждет.

Скрининг

Скрининговые вопросы—это важный этап подготовки к Solution Interview, который обеспечивает релевантность данных и эффективность всего исследования в целом. Если респондент пришел на интервью, но у него будет отсутствовать нужный опыт, мы не получим никакой нерелевантной информации и потеряем время.
Чтобы избежать таких ситуаций, перед тем как начать детально разбирать опыт респондента, необходимо уточнить, обладает ли он нужным опытом. Это можно сделать с помощью следующих двух вопросов:
Уточнить, есть ли у пользователя опыт решения Job Story.
Этот вопрос помогает понять, сталкивался ли респондент с решением той задачи, которую вы исследуете. Например:
“Отслеживаете ли вы питание для набора мышечной массы?”
Уточнить, когда последний раз пользователь решал эту задачу.
Этот вопрос позволяет оценить актуальность и свежесть опыта респондента. Например:
“Когда в последний раз вы отслеживали питание?”
Эти вопросы помогают быстро и эффективно определить релевантность респондента для текущего исследования. В случае, если у респондента отсутствует необходимый опыт, важно корректно завершить интервью. Вот как это можно сделать:
Извинитесь за дискоммуникацию.
"Спасибо вам за готовность помочь. К сожалению, нам нужно более детально исследовать опыт в другой области. Извините за возможные неудобства."
Сохраните контакт для будущих исследований.
"Мы могли бы обратиться к вам в будущем для участия в других исследованиях, если вы не против. Ваш опыт может оказаться очень полезным для других функций в нашем продукте."
Этот подход не только сохраняет профессиональные отношения, но и оставляет у респондента положительное впечатление, что может быть полезно для будущих исследований.

Основная часть

Следует начинать с простых вопросов, чтобы постепенно подводить пользователя к глубинным воспоминаниям об опыте решения задач. Начать интервью можно со следующего вопроса:
Расскажите, как вы сейчас решаете задачу X?
Например, “Расскажите, как у вас сейчас строится процесс отслеживания питания для набора мышечной массы—с чего все начинается и чем заканчивается?”.
Дальше можно переходить к демонстрации решения—показу прототипа, и наблюдению за реакциями респондента. Здесь мы проходимся по заданиям, которые составляли в предыдущем шаге (в “Шаблон структуры интервью”), фиксируем оценки важности и удовлетворенности.

Завершение

Люди любят быть полезными. Даже если интервью прошло не совсем эффективно, я всегда благодарю респондентов за участие и подсвечиваю, что обнаружил для себя много интересных инсайтов. Мне это ничего не стоит, а люди всегда от этого начинают светиться. Более того, это устанавливает доверительный контакт: в этот раз не получилось, но, возможно, в следующем исследовании этот респондент раскроется так, как никто другой. Поэтому важно сохранять с респондентами теплые отношения.
Также я всегда уточняю, можно ли приглашать респондента на другие сессии. Я еще не слышал ответа “нет”, но считаю это хорошей этикой. Например:
У меня закончились вопросы, и наше время подходит к концу. За эту сессию получилось собрать довольно-таки много полезных инсайтов, спасибо вам за уделенное время!
Хотел узнать, могу ли я звать вас на последующие сессии, чтобы так же общаться?
Остались ли у вас какие-то вопросы ко мне?
Спасибо вам еще раз, на этом я прощаюсь и желаю вам хорошего дня!

Проводим рекрутинг аудитории

Количество участников

Для одной роли (про сегменты и роли можно почитать в атрибуте Functionality) достаточно набирать от 5 до 8 участников. Исследования показывают, что с помощью Solution Interview можно выявить основные проблемы и паттерны поведения уже на первых 5-6 интервью. Дополнительные интервью позволяют подтвердить эти находки и выявить редкие проблемы, но значительный прирост новой информации обычно замедляется после первых 8-10 интервью. Таким образом, 5-8 респондентов—это оптимальное количество для большинства UX-исследований.

Методы поиска участников

Внутренние пользователи
Если продукт запущен или вы работаете в холдинге, в котором запускается новый продукт, использование текущих клиентов для интервью позволяет получить инсайты от уже вовлеченных пользователей.
Им можно сделать email-рассылку с предложением участия в исследовании.
Друзья и знакомые
Чаще всего, поиск респондентов для только запускающихся продуктов происходит через друзей, в частности—социальные сети.
Объявления в постах/stories в социальных сетях.
Сообщения о поиске в профильных telegram-чатах.
Прямой контакт с незнакомыми людьми
Прямой контакт с комментаторами к постам в в социальных сетях.
Прямой контакт с потенциальными пользователями в “естественной среде обитания”: тренажерные залы, учебные заведения, выставки, форумы, конференции.
Объявления
Размещение запросов на досках объявлений, таких, как Avito, profi.ru, юла и прочие.
Хорошо с этой задачей справляется и AI (chatGPT или DeepSeek). Попросите его сгенерировать разные источники поиска респондентов, а затем начинайте сам поиск нужных вам людей.
Для упрощения работы используйте следующий prompt
Я разрабатываю [вставьте название вашего продукта; например, приложение по отслеживанию питания для людей, которые хотят набрать мышечную массу] в [укажите географию продукта, например России]. Мне нужно провести Solution Interview с потенциальными пользователями. Составь мне список из всех возможных каналов, где я могу найти респондентов. Приводи конкретные примеры, источники и ссылки, где можно найти респондентов.

Проведение интервью

Лучшие практики проведения интервью

На этапе проведения интервью ваша задача—максимально честно выяснить, насколько пользователь доверяет решению. Здесь несколько важных рекомендаций:
Интервьюируйте тех, кому задача актуальна
Убедитесь, что респондент действительно относится к целевой аудитории и сталкивается с проблемой, которую решает ваш продукт. Если человек никогда не выполнял такую Job Story, его ответы могут быть либо слишком абстрактными (”теоретическое” мнение), либо неценными (он может хвалить или критиковать по неподходящим причинам). Лучше потратить время на поиск нужного участника, чем получить нерелевантные данные.
Установите доверие и контекст в начале
Поначалу участник может чувствовать себя неуверенно. Объясните цель исследования, подчеркните, что вам важна его искренняя обратная связь и что нет правильных или неправильных ответов. Это особенно важно, когда речь пойдет о чувствах доверия/недоверия—человек должен быть готов открыто говорить о сомнениях.
Следуйте сценарию, но будьте гибкими
Имея подготовленный гайд, придерживайтесь структуры (чтобы собрать все нужные оценки), но если пользователь спонтанно затронул важный момент—дайте ему рассказать. Например, если во время задания он начинает вслух рассуждать о возможных проблемах, внимательно слушайте—это ценные инсайты. Записывайте ключевые фразы (или используйте диктофон с разрешения), чтобы не упустить детали при анализе.
Не подсказывайте и не оправдывайте прототип
Во время сценария воздержитесь от вмешательства. Если пользователь застопорился или неправильно понял интерфейс, не бросайтесь сразу ему помогать. Зафиксируйте это как потенциальную проблему.
Как советует практика: если вы видите, что пользователь неверно понял функцию, лучше дождитесь конца задания и только потом уточните, что он ожидал. Например, спросите: “Как вы думаете, что делает эта функция?”—и выслушайте ответ. Не исправляйте его на ходу—иначе вы лишите себя знания о том, что интерфейс был неясен (а это тоже аспект надёжности восприятия!). После того как человек сформулировал своё понимание, можно прояснить задумку, чтобы дальнейшее интервью прошло корректно.
Давайте время подумать и говорить
После выполнения сценария и особенно при вопросах о доверии делайте паузы. Если респондент замолчал, не спешите заполнить паузу—возможно, через несколько секунд размышления он добавит ценное замечание.
Терпеливо выжидайте и поощряйте его рассказать больше: “Расскажите поподробнее, что вы думаете по этому поводу”. Глубинные сомнения пользователя часто проявляются не сразу—дайте им время.
Уточняйте непонятные реакции
Если вы заметили эмоциональную реакцию (например, пользователь усмехнулся или нахмурился), спросите, что он почувствовал или что подумал в этот момент. Так вы можете выявить скрытые тревоги или наоборот, моменты, где он приятно удивлён надежностью.
Все эти подходы направлены на одно: получить честную, неискажённую картину доверия пользователя к вашему решению.

Типичные ошибки при интервью и анализе

Даже опытные исследователи могут допустить ошибки, способные снизить ценность результатов. Ниже—чеклист распространённых ошибок, которых следует избегать:
Вопросы, наводящие на ответ
Осторожно формулируйте вопросы о надежности.
Плохо:
“Вам же понравилось, как приложение все сделало, верно?”
Такой вопрос подсознательно давит, ожидая положительный ответ.
Лучше нейтрально:
“Как вам результат?”, “Доверяете ли вы этому способу? Почему?”
Избегайте также пояснений в вопросе, которые могут оправдывать систему (”Мы еще доработаем это место, но пока чему вы бы доверяли...?”). Держите вопросы открытыми и объективными.
Игнорирование шкал или их некорректное использование
Старайтесь получать количественные оценки (важность, удовлетворённость) именно по подготовленной шкале. Ошибка—забыть спросить цифру и довольствоваться расплывчатым “ну, вроде нормально”. Цифровая оценка необходима для расчётов и сравнений. Также убедитесь, что участник правильно понимает шкалу (где верхний уровень—максимальная важность/удовлетворенность).
Смешивание понятия надежности с удобством
Во время интервью держите фокус на покрытии потребностей и доверии, а не на юзабилити. Пользователь может начать жаловаться на сложность интерфейса—это тоже важно, но относится к удобству (Usability). Не прерывайте его, зафиксируйте комментарий, но затем мягко вернитесь к вопросу доверия: “Хорошо, с дизайном понятно, мы это учтём. А с точки зрения результата—вы получили то, что вам нужно? Доверяете ли вы этому результату?”. Иначе рискуете уйти в обсуждение юзабилити-мелочей и не узнать, решена ли глобальная задача.
Недостаточное внимание к сомнениям пользователя
Главные инсайты по Reliability кроются в моментах, когда пользователь выражает неуверенность. Ошибка—пропустить или не расспросить о сомнении. Если услышали фразу типа: “Я не уверен, что...”, “Меня немного беспокоит...”,—ни в коем случае не оставляйте это без уточнения. Спросите, что именно вызывает сомнение, почему, что пользователь сделал бы в случае X. Эти ответы—прямые указатели, что нужно улучшить.
Попытка “исправить” мнение пользователя
Иногда исследователь, слыша критику, начинает защищаться: “Но ведь в нашем решении есть функция для этого!” или “Эта проблема легко решается таким-то образом...”. Это неверно. Ваша задача—собрать обратную связь, а не убедить пользователя, что решение хорошее. Даже если вам кажется, что пользователь что-то упустил—зафиксируйте для себя, но не убеждайте его. Любое недоверие или непонимание с его стороны—это факт: либо концепт имеет пробел, либо объяснение в прототипе неочевидно. В обоих случаях, это ценная информация для вас, и ее нельзя “опровергнуть” в рамках интервью.
Неполная запись результатов
После интервью сразу же заполните вашу таблицу полностью, пока свежи детали. Типичная ошибка—отложить анализ на потом, а потом не вспомнить, почему пользователь поставил “5” вместо “8”. Запишите в комментарии к соответствующей строке ключевые причины, которые он озвучил. Кроме того, не забудьте отметить в таблице Opportunity Score пустые данные (где сценарий не применим), чтобы при расчётах эти поля учитывались правильно, а не интерпретировались как нулевые оценки.
Поверхностный анализ без категорий
Наконец, ошибка на этапе анализа—глядя на цифры, сделать общий вывод “ну, вроде нормально/плохо” и закончить. Правильно будет структурировать выводы: выделить уровни покрытия (полностью/частично/нет), сгруппировать повторяющиеся сомнения по категориям, рассчитать где какие Opportunity Score. Такой структурированный анализ (см. следующий раздел) обеспечит аргументированные решения—что улучшать.
Избежав этих ошибок, вы повысите качество данных и уверенность в выводах по атрибуту Reliability.

Анализ результатов и критерии успешной валидации Reliability

После проведения всех интервью наступает момент: нужно понять, подтвердилось ли, что ваш концепт решения надёжен и закрывает задачу пользователя, или же остались проблемные места. Анализ включает как количественную оценку (по таблице Opportunity Score), так и качественную интерпретацию (комментарии, поведение, цитаты пользователей).
Сводим данные в таблицу
Соберите оценки всех респондентов в единую таблицу (для каждого респондента—отдельный лист). Для каждого Desired Outcome таблица автоматически рассчитает итоговые показатели:
Средние значения Importance, Satisfaction Before и Satisfaction After.
Средний Opportunity Score.
Статус Summary (улучшилось / без изменений / стало хуже)—на основе Satisfaction Difference.
Приоритет доработки—Высокий/Средний/Низкий.
Сама по себе динамика удовлетворённости “до vs после” уже показывает, где решение сработало. Посмотрите, для скольких Outcomes оценки “после” выше, чем “до”, где равны, а где—хуже. Также обратите внимание на разницу между ожидаемой важностью и итоговой удовлетворённостью: если что-то было очень важно, а после использования всё равно низко оценено—это красный флаг.
Интерпретируем Opportunity Score
Показатель Opportunity Score помогает ранжировать возможности для улучшения. В контексте Reliability он указывает, насколько важная Desired Outcome остаётся неудовлетворённой нашим решением. Нужно определить пороговые значения, чтобы понимать, где критично доработать. Интерпретация OS:
OS ≥ 15 (высокий)—Outcome крайне важен, а решение всё ещё плохо его закрывает. Это однозначно зона для доработки, приоритет Высокий. Значение OS ~15 и выше обычно получается, когда Importance на верхней границе (9–10 из 10), а удовлетворённость после далека от идеала (разница большая или даже отрицательная).
OS около 10–14 (средний)—Есть ощутимый потенциал улучшения. Importance высокая, но улучшение неполное. Тут решение могло немного повысить удовлетворенность, но явно недостаточно, или важность средняя, а удовлетворённость упала. Такими случаями стоит заняться после критических; приоритет можно отметить как “Средний”.
OS < 10 (низкий)—Либо Outcome не слишком важен, либо пользователи уже довольны решением. Низкий OS означает, что большого “оппортунистического” зазора нет. Если Importance низкая—можно отложить улучшения (приоритет “Низкий”). Если Importance высокая, но OS низкий из-за того, что Satisfaction After тоже высокая—значит, мы отлично закрыли эту потребность, и в доработке по Reliability она не нуждается.
Важно понимать, что Opportunity Score—вспомогательный агрегат. Его нужно смотреть вместе с сырыми данными. Например, если OS низкий просто потому что Outcome маловажен (Importance 3/10), это не равнозначно успеху решения—просто аспект неважен. Поэтому приоритет “Низкий” здесь означает “можно не тратить усилия”, а не “мы молодцы”.
Устанавливаем правила интерпретации Importance/Satisfaction
Помимо OS, установите для себя простые правила типа “что считаем высоким/низким”:
Например, важность 8–10 из 10—считаем высокой; 5–7—средней; ниже 5—низкой.
Удовлетворённость после 8–10 можно считать высокой (хорошее решение); 5–7—средней; ниже 5—низкой (решение не удовлетворяет).
Разница удовлетворённости: +1 и больше—улучшилось, 0—без изменений, отрицательная—стало хуже.
Эти пороги помогут чётче вынести вердикт. Конечно, границы могут варьировать, но важно договориться о них заранее и применять последовательно.
Критерии успешной валидации
Теперь, опираясь на все метрики и наблюдения, ответьте на главный вопрос: “Удалось ли подтвердить атрибут Reliability у концепта?” Ниже—список критериев, при выполнении которых можно считать, что Reliability достигнут, и наоборот, признаки недостаточной надежности:
Все самые важные Outcomes удовлетворены: Если по всем критически важным критериям (ваш топ-лист из этапа приоритизации) пользователи дали высокие оценки удовлетворенности после—это сильный сигнал успеха. Напротив, если по большинству крайне важных Outcomes удовлетворенность остается низкой, это означает, что надежность решения в этой части провалилась.
Улучшение по сравнению с текущим способом: Для каждого значимого Outcome проверьте разницу “до—после”. Успех—если везде, где важно, есть рост удовлетворённости, особенно если были проблемы “до”. Если же нет прироста там, где ожидался, или того хуже—пользователи оценивают новое решение хуже существующего (отрицательная разница), то Reliability точно не подтвердился. В таблице Summary такие случаи будут помечены как “Без изменений” или “Стало хуже”—обратите на них особое внимание.
Threshold по Opportunity Score: Посмотрите на рассчитанные OS. Идеальная ситуация—для всех ключевых Outcomes OS низкий (например, < 10), нет высоких значений. Значит, наш продукт не оставил больших непокрытых возможностей—всё, что важно, уже более-менее закрыто. Если же имеются высокие OS (скажем, 15–20), это прямое указание на незакрытые потребности. Общий критерий: атрибут Reliability можно считать подтверждённым, если по итогам тестирования ни один из критически важных Outcomes не имеет Opportunity Score в зоне высокого риска. Часть средних OS могут допускаться (их можно улучшить позже), но все высокие OS должны быть устранены до выхода продукта.
Качественные признаки доверия/недоверия: Цифры—это отлично, но также опирайтесь на поведение и слова пользователя. Ниже мы подробнее рассмотрим признаки того, что пользователь доверяет решению или нет. Критерием успешности Reliability будет картинка, когда большинство пользователей готовы использовать решение без опасений. Если же многие проявляли недоверие (сомневались, предлагали обходные пути), нужно улучшать концепт.
Подытоживая: атрибут Reliability подтвержден, когда:
Все важные аспекты закрыты на высоком уровне удовлетворённости,
Пользователи признают, что новое решение лучше уровня привычного,
В их словах отсутствуют серьёзные сомнения, и
Метрики вроде Opportunity Score не выявляют явных провалов.
Если эти условия выполняются—смело двигайтесь дальше (к визуализации UI, тестированию удобства и пр.). Если нет—возвращайтесь к доске разработки и устраняйте проблемные места.

Распределение кейсов по уровню доверия пользователя

При анализе очень полезно классифицировать каждый интервью-кейс на три категории: полное покрытие Job Story, частичное покрытие или отсутствие покрытия. Это фактически отражает уровень доверия пользователя к решению. Рассмотрим признаки каждой ситуации:

Полное покрытие Job Story (высокое доверие)

Решение полностью закрывает задачу пользователя, и он готов ему доверять на 100%. Признаки полного покрытия:
Пользователь не выразил существенных сомнений во время всего тестирования. Он смог пройти все заданные сценарии, не пытаясь прибегнуть к каким-либо дополнительным мерам или запасным планам.
На прямой вопрос о том, решена ли его задача, ответ максимально позитивный. Например, человек может сказать: “Да, всё, что мне нужно, здесь есть”. Оценки удовлетворённости почти по всем Desired Outcomes близки к 10/10—т.е. он практически полностью доволен.
В высказываниях звучит явное удовлетворение: “Это именно то, чего не хватало”. Пользователь может уточнять детали внедрения (например, “когда это будет доступно?”), но не ставит под вопрос саму надежность решения—для него очевидно, что продукт справляется.
Даже если попробовать спровоцировать обсуждение негативного сценария, пользователь остаётся спокоен. Он может уверенно заявить что-то вроде: “Ну, в таком случае я доверяю, что система справится”. То есть у него формируется доверие: он верит, что продукт не подведёт в трудный момент.
Если большинство ваших интервью попадают в эту категорию—поздравляем, концепт демонстрирует высокую надёжность. Пользователи готовы полагаться на продукт без страхов и обходных путей. Это и есть цель атрибута Reliability.

Частичное покрытие Job Story (средний уровень доверия)

Решение закрывает проблему лишь отчасти. Пользователь видит пользу и готов пользоваться в некоторых случаях, но у него остаются оговорки и средний уровень доверия. Признаки частичного покрытия:
Пользователь считает, что основная задача решается, но остаются второстепенные задачи или условия, для которых продукт не подходит. Например: “Да, теперь X делать проще, но Y всё равно придется делать вручную.”—где X и Y подставляются в контексте (скажем, X = рассчитать что-то, Y = проверять или сохранять данные вручную).
Он очерчивает границы применения решения: “Я бы использовал это для простых случаев, а в сложных всё равно вернусь к старому способу.”. То есть доверяет продукту лишь в определенном контексте (например, когда задача не слишком критична или данные не слишком сложные).
На прямой вопрос о доверии ответы осторожные, умеренные. Типичная фраза: “Наверное, стал бы пользоваться, но подождал бы отзывов/обновлений”. То есть пользователь не против попробовать, но полной уверенности еще нет. Оценки удовлетворённости находятся где-то в середине шкалы (5–7 из 10 по многим Outcome).
Часто пользователь продолжает держать план “Б”. Например, говорит: “Я бы все равно сохранял копию данных, на всякий случай.”. Наличие такого обходного действия—явный признак, что Reliability пока не проработан на 100%. Человек как бы думает: “Продукт в целом полезен, но я ему ещё не до конца доверяю, поэтому подстрахуюсь”.
Иными словами, решение закрывает часть Job Story, но не охватывает её целиком так, чтобы пользователь забыл о прежних опасениях. Доверие условное: пользователь мог бы использовать продукт и получает от него пользу, но пока не готов полагаться на него полностью.
Для команды продукта такие отзывы значат, что нужно улучшить решение, расширить его покрытие или повысить уверенность. Возможно, добавить функции для сложных случаев, или предоставить доказательства надёжности (сертификации, пользовательские отзывы, гарантию поддержки и т.д.), чтобы перевести пользователей из этой категории в полное доверие.

Отсутствие покрытия Job Story (низкое доверие)

Самая тревожная категория: пользователь фактически говорит, что предложенное решение не решает его задачу или делает это ненадёжно, поэтому он не собирается им пользоваться. Признаки отсутствия покрытия:
В ответах преобладают скепсис или разочарование. Например, на вопрос о впечатлениях человек говорит: “Честно? Я не уверен, что это мне подойдет…”—довольно прямолинейное выражение сомнения. Возможно, выясняется, что проблема пользователя вообще другая (мы могли не ту Job Story выбрать), или решение упустило ключевой аспект потребности.
Пользователь продолжает описывать свой текущий способ и явно не собирается переходить на новый. Может сказать что-то вроде: “Проще по-старому, хотя там тоже есть проблемы.”—т.е. наш продукт не убедил его в своей эффективности или надежности по сравнению с тем, что он уже делает.
Прямо выражено низкое доверие. Примеры высказываний: “Я бы не стал рисковать важные задачи на таком инструменте.” или “Боюсь, что оно будет глючить в нужный момент.”. Пользователь, по сути, не верит, что решение способно стабильно работать, и не готов рисковать. Даже если у него есть боль в текущем процессе, наш продукт кажется не лучше, а может, и хуже, потому что ненадежен.
Оценки в таблице это отразят: удовлетворённость после низкая (может быть не выше 3–4), разницы никакой или отрицательная, Opportunity Score зашкаливает, важные Outcomes помечены красными флагами.
Ситуация отсутствия покрытия Job Story означает, что либо мы промахнулись мимо реальных потребностей (решение не про то, что надо пользователю), либо уровень надежности концепта настолько низок, что пользователь не готов им пользоваться даже ради потенциальной выгоды. В любом случае, такие кейсы требуют серьёзного пересмотра концепции. Надо сделать шаг назад: пересмотреть гипотезы, возможно, вернуться к атрибуту Functionality (правильно ли поняли Job Story) или кардинально переделать механизмы, отвечающие за надежность.

Расшифровка реакции пользователя: признаки доверия и недоверия

При анализе обращайте внимание не только на оценки, но и на сигналы в поведении и словах. Ниже—своего рода чеклист реакций и их интерпретация, чтобы декодировать, что именно пользователь чувствовал.
Сомнение в вопросительной форме
Если пользователь задаёт вопросы типа: “А справится ли система, если ...?”—это явный индикатор недоверия. Он уже при взаимодействии увидел потенциальную точку отказа и проверяет вас. В этих вопросах часто кроется страх: технический (например, “не зависнет ли, не потеряются ли данные?”), содержательный (”правильно ли посчитает в таком-то случае?”), либо связанный с поддержкой (”а куда обратиться, если что-то пойдёт не так?”). Каждый подобный вопрос—красный флаг. Зафиксируйте все сомнения и потом сгруппируйте по типам: это покажет, какие аспекты надежности требуют внимания (производительность, точность алгоритма, наличие поддержки и пр.).
Упоминание обходного пути или дубля действий
Если пользователь говорит, что сделал бы что-то дополнительно “на всякий случай”, значит он не полностью доверяет системе. Классические примеры:
“Я бы все равно экспортировал копию отчета в Excel, мало ли что.”—не верит, что данные в системе в безопасности, хочет резервную копию.
“На всякий случай параллельно буду вести записи вручную.”—знак отсутствия уверенности в сохранности или корректности данных в продукте.
“Позвоню менеджеру, чтобы перепроверить.” (если речь о каком-то автоматическом расчёте, например).
Каждое упоминание дополнительного действия фиксируйте как гэп в Reliability. Пользователь чувствует необходимость перестраховаться—наш идеальный продукт должен устранить эту необходимость, иначе это не полное решение его Job Story. Обходные пути следует записать и затем проанализировать: возможно, эти инсайты приведут к новым Desired Outcomes или требованиям.
“Красные флаги” повторяются у разных пользователей
Если вы заметили, что несколько респондентов независимо друг от друга выразили схожее сомнение или страх, это сигнал особой силы. Например, трое из пяти спросили про работу оффлайн—очевидно, оффлайн-сценарий критически важен для доверия, а в текущем концепте он не реализован. Такие повторяющиеся сигналы нужно выдвигать в приоритетную доработку.
Полнота vs надёжность
Обратите внимание на случаи, когда вроде бы функционально всё покрыто, но пользователь все равно чувствует недоверие. В тексте могут быть фразы: “Да, всё вроде есть, но чего-то я не уверен…”. Это интуитивное ощущение часто связано с перцепцией надежности: возможно, интерфейс не даёт достаточно подтверждений или прозрачности, чтобы развеять страхи. Такие моменты тоже фиксируйте. Решение может требовать не добавления функции, а, например, улучшения коммуникации надежности—показать индикатор сохранения, объяснить, как защищены данные, дать возможность отката действия и т.п. Это улучшит субъективное ощущение надежности у пользователя.
Сводя воедино, на этапе анализа вы должны составить резюме по каждому интервью: отмечаем, было ли покрытие Job Story полным, частичным или никаким; уровень доверия (высокий/средний/низкий); и перечисляем ключевые причины недоверия (конкретные сомнения, цитаты, неудовлетворённые Outcomes). После этого можно агрегировать результаты по всем интервью и оценить общую картину: например, сколько процентов пользователей полностью доверяют решению, скольким оно приемлемо с оговорками, а сколько его отвергли. Это напрямую поможет приоритизировать дальнейшие улучшения продукта именно по Reliability: вы увидите, какие проблемы наиболее массовые и критичные.

Заключение

Атрибут Reliability—один из четырех «столпов» UX-качества продукта (наряду с функциональностью, удобством и визуальной привлекательностью). Если убрать один, вся конструкция начинает шататься. Поэтому на ранних этапах разработки крайне важно уделить должное внимание надежности: убедиться, что ваше решение реально покрывает потребности и внушает доверие пользователям. Используя описанный метод (подготовка гипотез, структурированные интервью, анализ с Opportunity Score и качественными признаками), вы получите четкое понимание, насколько ваш продукт надежен в глазах пользователей и что нужно улучшить.
Когда уверенность в Reliability будет достигнута (пользователи говорят: “Это именно то, что решает мою задачу полностью, и я ему доверяю”), можно переходить к следующим аспектам—например, визуальной “полировке”, юзабилити-тестированию и прочим улучшениям. В итоге у вас появится цифровой продукт, который пользователи любят за то, что он решает их задачи полностью, эффективно и приятно—от начала и до конца, без нервов и сомнений. Именно такой продукт имеет все шансы на успех.

Джей Томас

UX-проектировщик; создает команды UX-исследований, руководит командами дизайна, внедряет в компаниях Jobs to be Done. На протяжении 10 лет разрабатывает как сложные узкопрофильные админ-панели, так и функции, которыми пользуются многомиллионные аудитории.
В прошлом руководил командой развития пользовательского опыта в Домклик, и там же—руководил дизайн-системой. Приглашенный лектор в ВШЭ и Bang Bang Education. Обучался JTBD в Harvard Business School.
Работал с ONY, QIWI, Сбером, ЦИАН, Мегафон, Shell, МТС, Adidas и другими командами.