ISTQB - CTFL [테스트 도구] 테스팅 지원 도구, 테스트 자동화의 효과와 리스크 정리

테스팅 지원 도구

테스트 도구는 다양한 테스트 활동을 지원하고 촉진한다.

예시

• 테스트 관리 도구 - 소프트웨어 개발수명주기(SDLC), 요구사항, 테스트, 결함, 형상 관리를 용이하게 해서 테스트 프로세스 효율성을 높인다.
• 정적 테스팅 도구 - 테스터의 리뷰와 정적 분석 수행을 지원한다.
• 테스트 설계 및 테스트 구현 도구 - 테스트 케이스, 테스트 데이터, 테스트 절차 생성을 용이하게 한다.
• 테스트 실행 및 테스트 커버리지 도구 - 자동 테스트 실행 및 커버리지 측정을 지원한다.
• 비기능 테스팅 도구 - 수동으로 실행하기 어렵거나 불가능한 비기능 테스트를 테스터가 수행할 수 있게 한다.
• 데브옵스 도구 - 데브옵스 배포 파이프라인, 작업 흐름 추적, 자동 빌드 프로세스, 지속적인 통합 및 배포 등을 지원한다.
• 협업 도구 - 원활한 커뮤니케이션을 지원한다.
• 확장성 및 배포 표준화 지원 도구(가상 머신, 컨테이너화 도구)
• 테스팅에 도움이 되는 기타 도구(테스팅에 활용하면 스프레드시트도 테스트 도구가 된다.)

테스트 자동화의 효과와 리스크

도구를 도입한다고 성공이 보장되는 것은 아니다. 실질적이고 지속적인 효과를 얻기 위해서는 새로운 도구를 도입할 때마다 노력을 들여야 한다.(도구의 도입, 유지보수, 교육 등을 위해) 

또한 분석과 완화가 필요한 리스크도 있다.

테스트 자동화가 가져올 수 있는 효과

• 반복적 수작업(리그레션 테스트 실행, 같은 테스트 데이터의 반복 입력, 예상 결과와 실제 결과의 비교, 코딩 표준 확인)을 줄여 시간 절약
• 일관성 및 재현성 향상으로 사람의 단순 실수 방지(요구사항에서 테스트를 일관되게 도출, 테스트 데이터의 체계적 생성, 테스트를 도구가 같은 주기 및 동일한 순서로 실행)
• 보다 객관적인 평가(커버리지) 그리고 사람이 판단하기 어려운 복잡한 측정치의 제공
• 테스트 관리 및 테스트 보고를 지원하기 위한 테스팅 정보에 더 쉽게 접근 가능(테스트 진행률, 실패율, 테스트 실행 기간에 대한 통계, 그래프, 집계 데이터)
• 결함 조기 식별, 빠른 피드백, 출시 시간 단축을 가능하게 하는 테스트 실행 시간 단축
• 테스터가 새로운, 그리고 더 심층적이며 효과적인 테스트를 설계할 시간 확보

테스트 자동화 활용 시 잠재적 리스크

• 도구의 효과(기능 및 사용 편의성 포함)에 대한 비현실적인 기대
• 도구 도입, 테스트 스크립트 유지 관리, 기존 수동 테스트 프로세스 변경에 필요한 시간, 비용, 노력에 대한 부정확한 추정
• 소동 테스팅이 더 적합한 곳에 테스트 도구 사용
• 도구에 지나치게 의존(사람의 비판적 사고의 필요성 무시)
• 폐업, 도기 지원 중단, 다른 공급업체로 도구 매각, 열악한 지원(문의, 업그레이드, 결함 수정에 대한 대응 관련) 등의 문제가 생길 수 있는 도구 공급업체에 대한 종속성
• 지원이 중단되거나(더는 업데이트되지 않거나), 추가 개발을 통해 내부 컴포넌트를 빈번하게 업데이트해야 할 필요가 있을 수 있는 오픈소스 소프트웨어의 사용
• 자동화 도구가 개발 플랫폼과 호환되지 않을 수 있음
• 규제 요건이나 안전 표준을 준수하지 않는 부적합한 도구의 선택

정리

6장의 목적은 도구를 이해하고, 올바르게 사용하는 QA가 되는 것이다.

테스트 도구(Test Tools)란?

테스트 도구는 테스트 활동을 지원하거나 자동화하기 위해 사용하는 소프트웨어이다.

도구는 QA를 대체하는 게 아니라 QA의 판단과 효율을 돕는 역할이다.

테스트 도구의 목적

• 반복 작업 감소
• 테스트 효율 향상
• 일관성 있는 테스트 수행
• 테스트 결과 추적 및 관리

실무에서는 사람이 하기 비효율적인 영역을 도구로 보완한다.

테스트 도구의 종류 (테스트 활동별로 분류)

구분	설명	실무 예시
테스트 관리 도구	테스트 계획, 진척 관리	테스트 케이스 관리
결함 관리 도구	이슈 추적, 관리	버그 트래킹
정적 테스트 도구	코드, 문서 분석	코드 품질 검사
테스트 실행 도구	테스트 자동 실행	자동화 테스트
성능 테스트 도구	부하, 응답 측정	성능 테스트

QA 실무에서 가장 많이 접하는 것은 테스트 관리 도구와 결함 관리 도구라고 한다.

테스트 자동화(Test Automation)란?

테스트 자동화는 테스트 실행을 도구나 스크립트로 수행하는 것을 의미한다. 하지만 ISTQB에서는 자동화를 "만능 해결책"으로 보지 않는다.

자동화의 핵심 관점

• 모든 테스트를 자동화할 수는 없다.
• 자동화에도 비용과 유지보수가 필요하다
• 적절한 대상 선정이 중요하다.

자동화에 적합한 테스트

유형	이유
반복 테스트	매번 동일하게 수행
회귀 테스트	변경 시 영향 확인
안정된 기능	변경 가능성 낮음
데이터 중심 테스트	다양한 입력값 필요

반대로, UI 변경이 잦은 영역, 탐색적 테스트는 자동화에 적합하지 않는 경우가 많다.

테스트 자동화의 한계와 리스크

자동화는 장점이 있지만, 한계도 존재한다.

• 초기 구축 비용
• 유지보수 부담
• 잘못된 자동화로 인한 신뢰도 하락

QA는 "자동화를 할지 말지"를 판단할 수 있어야 한다.

도구 도입 시 고려사항

테스트 도구 도입 체크 포인트

항목	설명
목적 명확성	왜 도입하는가?
팀 역량	사용할 수 있는가?
유지보수	관리 가능한가?
비용 대비 효과	효율이 있는가?
프로세스 적합성	기존 업무와 맞는가?

실무에서는 문제를 해결하기 위해 도입하는 것이 중요하다.

6장의 핵심

• 자동화는 목표가 아니라 수단이다.
• QA는 도구 사용자가 아닌 판단자이다.
• 도구보다 중요한 건 테스트 사고력이다.

---

Reference

https://www.kstqb.org/sw/sw3.asp

KSTQB

https://qa-note.tistory.com/26

📗 ISTQB 실러버스 정리 6장 — 테스트 도구와 자동화 개요 (QA가 알아야 할 최소한의 개념)