7 способов мониторинга, которые помогут в тестировании
Мы живем во времена микросервисов и больших объемов данных, особенно когда речь идет о веб-сервисах. Мониторинг и тестирование в производстве - важная практика для запуска современных программных услуг. Но как мониторинг вписывается в общую картину тестирования? Что должны делать тестировщики, чтобы использовать мониторинг, и как это поможет нашей работе?
Использование инструментов мониторинга может оказать большое влияние на карьеру тестировщика. Можно много узнать о продукте, пользователях и даже облегчить работу по тестированию.
Представьте, что у вас есть сайт, который посещают семь миллионов человек в день. Как вы протестируете его, чтобы убедиться, что он работает не только на вашем новеньком MacBook, но и у клиента, работающего под управлением Windows XP, и используя старый браузер Internet Explorer? Именно мониторинг может помочь вам в этом.
Вот семь конкретных преимуществ для тестировщиков, которые вы можете использовать, чтобы убедить вашу команду осуществлять мониторинг, а также реализовать его для себя.
1. Познакомьтесь с вашими пользователями
Используя мониторинг и аналитику, можно найти очень много данных о пользователях. Например, какие браузеры и устройства используют потребители вашего продукта?
Недавно был случай, где с помощью аналитики мы узнали, что лучшим браузером для продукта был IE11. В 2018 году это вызвало удивление, особенно потому, что мы питали надежды полностью отказаться от поддержки IE11. Мониторинг помог нам обнаружить, что наши пользователи не обязательно похожи на нас: они по разному используют технологию. Получение аналитических данных, таких как данные об использовании браузера и устройства, или даже то, как пользователи используют наши продукты, могут открыть нам глаза и заставить поменять подход к разработке и виденью продукта в целом. Рассматривая способ взаимодействия пользователей с продуктом, можно узнать, какие функции продукта являются наиболее используемыми, и это не всегда то, что мы зачастую ожидаем. Мониторинг помогает мне количественно оценить и понять сам продукт, а также то, что важно для пользователей.
2. Визуализация KPI
Между разработчиками продукта и коммерческим отделом нередко бывают разногласия. Но именно мониторинг может помочь построить мост между этими отделами.
Во-первых, стоит уточнить, какие ключевые показатели эффективности (KPI) важны вашей команде. Различные отделы имеют разные представления о том, что для них важно. Как только KPI будут выяснены, используя инструменты мониторинга, можно работать над визуализацией KPI, создавая информационные панели с использованием контролируемых данных с определенными временными рамками.
Например, функция A была самой популярной функцией, поэтому мы создали панель мониторинга для отслеживания действий пользователя с помощью этой функции, такой как количество пользователей, взаимодействующих с ней в течение недели. Панели мониторинга о важной функции способствовали значительно более плавной коммуникации между членами команд и исключили разногласия.
3. Приоритет вашего тестирования
Понимание того, какие функции действительно являются самыми важными, основаны на данных, а не потому, что кто-то из команды так считает, и это позволяет определять приоритеты тестирования. Следует создать запросы с использованием контролируемых данных, чтобы получить ответы на следующие вопросы:
  • Какую функциональность в большинстве своём используют пользователи?
  • Как пользователи взаимодействуют с функциональными возможностями?
  • Какие браузеры охватывают большинство этих пользователей?
Как только я отвечу на эти вопросы, я на самом деле могу действовать на них. Например, если мобильный Safari охватывает 80 процентов пользователей, я должен убедиться, что сначала проведу тщательное тестирование. Функциональность, браузеры и устройства, которые используются больше всего, должны быть протестированы наиболее, чтобы мы могли более уверенно относиться к качеству и удовлетворенности наших продуктов.
4. Наблюдение регрессии
Когда пользовательская база очень большая, ваши тесты могут не охватывать все регрессионные сценарии. Чтобы сделать ситуацию менее страшной, вы можете попробовать протестировать собственный продукт изнутри, также провести пользовательское тестирование (выпуск только для доверенных пользователей, которые готовы давать обратную связь), или выпускать только небольшой процент для пользователей и, следовательно, мониторинга. Когда происходит новый выпуск, особенно если он предназначен только для набора пользователей, стоит понаблюдать за взаимодействием пользователей в панелях мониторинга в реальном времени, которые были созданы. Здесь замечательным есть то, что пользователи будут охватывать комбинации устройств и браузеров и тестировать продукт прямо в использовании. Во время многих выпусков обычно сначала можно выполнять быстрый ручной пробный тест в процессе производства, а затем проверять панели мониторинга в реальном времени, которые визуализируют результаты запросов, чтобы отслеживать взаимодействия пользователей, связанные с выпуском изменений. Иногда можно фильтровать информационные панели по средам или браузерам. Например,можно проверить, могут ли пользователи веб-браузера Edge выполнять один и тот же рабочий процесс и действия как пользователи других браузеров без каких-либо сбоев в функциях, даже если у нас нет устройства с браузером Edge.
5. Настройте оповещения
Не стоит ограничиваться просто наблюдением за релизами. Также ст оит создавать автоматические предупреждения, которые запускаются с определенным пороговым значением.
После определения и согласования определений KPI мы можем легко настроить предупреждения для этих условий, например, чтобы зарегистрированные пользователи должны были составлять 25 процентов в среднем за час всех пользователей, просматривающих определенный веб-сайт. Другим примером может быть количество пользователей важных функций. Предупреждение наиболее полезно для важных функций, которые несут бизнес-логику. Можно установить определенные предупреждения, которые будут отправлять электронные письма, чтобы мы могли немедленно среагировать, почему мог возникнуть баг. Затем, если он подтвержден проблема мы можем как можно скорее начать его исправлять. Когда дело доходит до тестирования веб-служб, они могут быть запущены на 24/7, и трафик может повлиять на оповещения, поэтому важно убедиться, что баг на самом деле там существует. Иногда я нахожу ложные тревоги, но это также вызывает дискуссию о том, является ли KPI достаточно надежным средством.
6. Исследуйте шаблоны
То, что больше всего нравится в мониторинге, - это возможности, которые он дает тестировщикам - лучше понять возникающие проблемы. Используя простые языки запросов, такие как SQL, можно отслеживать рабочий процесс определенной проблемы, что помогает выявлять шаблоны и больше пользователей, столкнувшихся с той же проблемой. Например, возможна ситуация, когда мы не можем использовать важную функциональность нашего продукта в определенном рабочем процессе. Мониторинг помогает отслеживать наши собственные действия. Как только мы это сделаем, у нас появится возможность изучить сценарий, вызвавший эту проблему. Можно обнаружить, что не каждый пользователь, выполняющий одни и те же шаги, имел одинаковый результат - для одной группы пользователей функциональность работала. Когда мы посмотрели данные конкретнее и проверили другие пользовательские характеристики, выяснилось, что проблема связана с регионом, где находились пользователи. Информация, полученная от контролируемых данных, может помочь вашей команде разработчиков в исправлении ошибок.
7. Оцените важность ошибок
Знаете ли вы, что представляет собой ошибка, о которой вы только что сообщили? Мониторинг может здорово помочь в этом вопросе. Имея полную систему мониторинга, можно воссоздать сценарии с использованием SQL для контролируемых данных, поэтому у нас имеется возможность получить точное число пользователей, затронутых в процессе тестирования.
Конечно, это работает только с функциями, которые уже воспроизводятся, но это может быть очень полезно. Ведь важно понять, что ,например, ошибки, которые предполагались как критические, оказались затронуты только 1% пользователей. Возможность количественной оценки воздействия ошибок облегчает процесс разработки и определения приоритетов.
Внедрение мониторинга в вашей команде
Многие организации не имеют никакой практики мониторинга. Вы должны изучить свой продукт и посмотреть, какие запросы API, параметры и т. д. есть, и могут быть записаны. Затем выражайте важность этих элементов в одном универсальном месте, где вы можете проверить контролируемые данные. Это может быть один из инструментов мониторинга, который имеет веб-интерфейс или просто базу данных, которую вы можете запросить, если у вас есть собственные системы мониторинга.
Не бойтесь отступать от привычного курса, чтобы что-то контролировать. Информация будет весьма полезной - и не только для вас, но и для всей команды.
25 октября / 2018
ул. Шота Руставели 40\10
info@start-it.ua
+380 63 742 50 52
© 2018 StartIT training center

Made on
Tilda