Старший специалист по качеству (ИИ/МО)
Курирует полное тестирование решений ИИ/МО, обеспечивая точность моделей, целостность данных и надёжность систем Сотрудничает с дата-сайентистами и инженерами для разработки стандартов качества и автоматизированных фреймворков тестирования.
Обязанности
- Проектировать комплексные стратегии тестирования AI/ML-продуктов: валидация данных, метрики моделей, системная интеграция
- Разрабатывать и поддерживать автоматизацию тестов для ускорения оценок моделей и регресс-тестирования
- Сотрудничать с дата-сайентистами в поиске edge-кейсов, предвзятостей и проблем качества данных
- Проводить исследовательское и нагрузочное тестирование AI-пайплайнов на устойчивость и масштабируемость
- Определять и отслеживать ключевые QA-метрики (precision, recall, F1-score) для ML-моделей
- Ревьюировать продовые релизы моделей, обеспечивая мониторинг и алёрты на дрейф качества
- Проводить триажи дефектов, RCA и трекинг исправлений для AI-сценариев
- Наставлять младших QA по лучшим практикам ИИ/МО, дизайну тестов и автоматизации
Необходимые навыки
- Степень бакалавра по информатике, инженерии или смежной области
- 5+ лет опыта в QA с фокусом на ИИ/МО или системах с большими данными
- Владение Python или аналогами для авто-тестирования
- Понимание ML-пайплайнов, препроцессинга данных и метрик оценки моделей
- Опыт с CI/CD (Jenkins, GitLab и др.)
- Сильные аналитические и коммуникативные навыки
- Подтверждённый опыт автоматизации тестов для сложных дата-пайплайнов и прод-деплоя моделей
Предпочтительная квалификация
- Магистратура по техническому направлению или специализация в ИИ/МО
- Знакомство с облачными ML-платформами (AWS SageMaker, GCP AI Platform, Azure ML)
- Опыт контейнеризации/оркестрации (Docker, Kubernetes) для тестирования распределённых AI-систем
- Сертификаты по QA (ISTQB) или продвинутым ML-фреймворкам
Компенсация и льготы
- Инновации: использование передовых инструментов и процедур качества в ИИ/МО
- Сотрудничество: работа с дата-сайентистами, инженерами и стейкхолдерами для надёжных решений
- Непредвзятость: обязательство к беспристрастному тестированию моделей для этичных и надёжных результатов
- Превосходство: высокие стандарты качества, производительности и эффективности