Исследование «Перфоманс Лаб»: Несмотря на нестабильность автотестов, нехватку компетенций и высокую стоимость внедрения, 80% команд успешно автоматизируют тестирование в России

Ведущая российская IT компания «Перфоманс Лаб» опубликовала результаты опроса на тему «Автоматизация тестирования». Исследование охватило 423 специалиста из крупнейших компаний, включая Московскую биржу, «Сбер», «Альфа-Банк», «Модульбанк», ВТБ, «Тинькофф», «Газпром медиа», «Газпром нефть», Ozon. 

Результаты опроса позволяют сделать следующие выводы: 

1. Среди основных целей автоматизации тестирования респонденты выделяют ускорение процесса тестирования (63%), сокращение времени выхода на рынок (46%), освобождение ресурсов для развития других аспектов разработки ПО (41%) и улучшение процесса выявления дефектов (38%). Увеличение контроля и прозрачности тестовых активностей в качестве цели выбрало 24% респондентов. Эти данные подчеркивают стремление компаний к повышению «скорости» и качества разработки.
2. Какие типы тестов чаще всего автоматизируются? Регрессионные тесты (59%) и smoke-тесты (53%) остаются наиболее популярными, что подчеркивает их ключевую роль в обеспечении стабильности и качества продукта. Тестирование нового функционала автоматизируют 34% компаний, а unit-тесты — 32%, что отражает стремление к комплексному подходу к автоматизации. У 20% из числа опрошенных не внедрена автоматизация тестирования.
3. Проблемы, с которыми сталкиваются компании при внедрении автоматизации, включают нестабильность автотестов и нехватку компетенций (28%), высокую стоимость и вопросы окупаемости инвестиций (26%), сложности с тестовыми данными (21%) и доступностью сред (20%). 18% респондентов сталкиваются с проблемой интеграции различных средств автоматизации, а у 17% прогон тестов занимает слишком много времени. Эти вызовы указывают на необходимость инвестиций в развитие навыков тестировщиков и поиск инновационных решений, таких как DataSan. 

Однако рынок продолжает поиск решений — как показало исследование, 80% команд успешно автоматизируют тестирование, несмотря на все проблемы. Именно с трудностями связаны самые важные тенденции развития. Переход к автоматической генерации тестовых данных, повышение устойчивости к рефакторингу объектов тестирования, внедрение машинного обучения и самокоррекции авто-тестов — все эти практики повышают стабильность автотестов и позволяют экономить ресурсы. Некоторые компании пробуют снизить стоимость автоматизации за счет перехода на другой стек — например, используя языки программирования Python, JavaScript и Go, которые становятся все более популярными за счет емкости и широких возможностей. С проблемой нехватки компетенций каждая команда борется по-своему. Одни компании открывают центры обучения и стажировки, в том числе для талантливых студентов технических вузов, другие поощряют развитие навыков автоматизации у мануальных тестировщиков. Третьи решают локальные задачи с помощью no-code инструментов.

Генеральный директор «Перфоманс Лаб» Владимир Каширский поделился рекомендациями по успешной интеграции автоматизации: «Необходимо вовлекать в процесс всех участников: разработчиков, аналитиков, DevOps-специалистов. Во-первых, только так они смогут привнести полезные идеи и подсветить риски автоматизации. Во-вторых, это поможет донести пользу автоматизации до всех членов команды — а значит, сделать ее приоритетной задачей, которая будет выполняться быстро.»

Руслан Никитин, директор департамента функционального тестирования, добавил: «Скорость доставки продуктов и разработки растет. Тестирование не должно замедлять процесс разработки. Тесты можно сделать стабильнее, заменив статическое получение тестовых данных на динамическое, либо на их генерацию. Убрав лишние проверки, сделав тесты атомарными, вы тоже получите повышение стабильности и скорости. Добавить скорости тестам поможет и выбор более современных инструментов, к примеру, замена Selenium на Playwright может дать прирост скорости прогона в десятки раз.»

Дмитрий Колесник, Руководитель группы разработки инструментов тестирования и технического комитета по QA в Ozon Tech поделился опытом компании: «Мы в целом не делим тестировщиков на ручных и автоматизаторов. Каждый инженер должен уметь и тестировать вручную, и писать код, чтобы покрыть автоматизацией свои тесты. Говоря об универсальных разработках, мы делаем инструменты для подготовки тестовых данных. Например, наш сервис генерации тестовых данных позволяет создавать около 300 тыс. сущностей в день — использовать их можно как для ручных, так и для автотестов. В Ozon постоянно обновляются требования и проходит примерно 4,5 тыс.релизов в неделю, поэтому стараемся автоматизировать все, что можем. Конечно, это не означает, что у нас вообще нет ручного тестирования — вручную проводим acceptance, тестирование новых функциональностей, зачастую проверяем мобильные приложения. Однако 90% всех кейсов автоматизированы.»

Компания «Перфоманс Лаб» — лидер в области тестирования и обеспечения качества программного обеспечения. Среди её клиентов более 30 крупнейших банков, операторов мобильной связи и предприятий государственного сектора. Компания является резидентом «Сколково».