ISTQB - CTFL [테스트 활동 관리] 테스트 모니터링, 테스트 제어, 테스트 완료 정리

테스트 모니터링은 테스팅에 대한 정보 수집과 관련이 있다.

이 정보는 테스트 진행 상황을 평가하고, 제품 리스크, 요구사항, 인수 기준에 대한 커버리지 목표 달성과 같은 완료 조건이나 완료 조건과 관련된 테스트 작업이 충족되었는지 측정하는 데 사용된다.

테스트 제어

테스트 모니터링에서 얻은 정보로 가장 효과적이고 효율적인 테스팅을 위한 제어 지침/지도/필요 수정 조치 등을 제공한다.

제어 지침의 예시

• 식별된 리스크가 발현될 경우 테스트 우선순위 재지정
• 재작업 이후 테스트 항목이 시작 조건 및 완료 조건을 충족하는지 재평가
• 테스트 환경 인도 지연에 대응하기 위한 테스트 일정 조정
• 필요한 지침과 시기에 신규 자원 추가

테스트 완료

끝난 테스트 활동에서 데이터를 수집하여 경험, 테스트웨어 기타 관련 정보를 수집하는 단계다.

테스트 완료 활동은 어떤 프로젝트 마일스톤에 도달했을 때 이루어진다.

테스트 레벨이나 애자일 반복 주기의 끝, 테스트 프로젝트를 완료(또는 취소)한 시점, 소프트웨어를 배포했거나 유지보수 릴리스를 끝냈을 때 등이 여기에 해당한다.

테스팅에 사용하는 메트릭

테스트 메트릭은 계획한 테스트 일정 및 예산 대비 현재 진행 상황, 테스트 대상의 현재 품질, 테스트 목적이나 반복 주기 목표 대비 테스트 활동의 효과를 보여주기 위해 수집한다.

테스트 모니터링은 테스트 제어 및 테스트 완료 활동을 지원하는 다양한 메트릭을 수집한다.

많이 사용하는 테스트 메트릭

• 테스트 메트릭은 계획한 상황 메트릭(작업 완료율, 자원 사용율, 테스트 노력 투입률)
• 테스트 진행 상황 메트릭(테스트 케이스 구현 진행률, 테스트 환경 준비 진행률, 실행/미실행 및 합격/불합격 테스트 케이스 수, 테스트 실행 시간)
• 제품 품질 메트릭(가용성, 응답시간, 평균 장애 시간)
• 결함 메트릭(발견/수정한 결함의 수와 우선순위, 결함 밀도, 결함 발견 비율)
• 리스크 메트릭(잔여 리스크 수준)
• 커버리지 메트릭(요구사항 커버리지, 코드 커버리지)
• 비용 메트릭(테스팅 비용, 조직의 품질 비용)

테스트 보고서의 목적, 내용, 대상

테스트 보고

• 테스팅 도중과 이후에 테스트 정보를 요약하고 전달하는 활동이다.
• 테스트 진행 상황 보고서는 지속적인 테스트 제어를 지원하며, 계획에서 벗어나거나 상황이 바뀌어 테스트 일정, 자원 테스트 계획을 수정해야 할 경우, 그것을 할 수 있는 충분한 정보를 제공해야 한다.
• 테스트 완료 보고서는 특정 테스트 활동(테스트 레벨, 테스트 주기, 반복 주기)을 요약하고, 후속 테스팅을 위한 정보를 제공할 수 있다.

테스트 모니터링 및 제어 과정 중 테스트팀은 이해관계자에게 정보를 제공하기 위해 테스트 진행 상황 보고서를 작성한다.

일반적으로 테스트 진행 상황 보고서는 정기적으로(매일, 매주 또는 기타 주기) 작성하며 다음을 포함한다.

• 테스팅 기간
• 테스트 진행 상황(예정보다 빠르다 또는 늦어지고 있다.). 주목할 만한 편차 포함
• 테스팅 진행 방해 요소와 대응 방법
• 테스트 메트릭
• 테스팅 중 식별한 신규 및 변경된 리스크
• 다음 주기에 예정된 테스팅

테스트 완료 보고서

프로젝트, 테스트 레벨, 테스트 유형이 끝나고, 이상적으로는 완료 조건도 충족된 상황에서 이루어지는 테스트 완료 활동 중 작성한다. 이 보고서는 테스트 진행 상황 보고서와 기타 데이터를 기반으로 작성한다.

일반적인 테스트 완료 보고서는 다음을 포함한다.

• 테스트 요약
• 원래 테스트 계획(테스트 목적과 완료 조건)에 기반한 테스팅 및 제품 품질 평가
• 테스트 계획과의 편차(계획한 테스트 일정, 기간, 공수와의 차이)
• 테스팅 방해 요소와 대응 방법
• 테스트 진행 상황 보고서를 기반으로 한 테스트 메트릭
• 완화되지 않은 리스크, 수정되지 않은 결함
• 테스팅 관련 교훈

보고하는 대상에 따라 보고서에 들어간 정도가 달라지고, 보고의 형식과 빈도도 달라진다.

같은 팀 구성원에게 테스트 진행 상황을 보고할 때는 빈번하고 비공식적인 경우가 많지만, 테스트 완료 보고는 정해진 템플릿을 따르며 한 번만 이뤄지는 것이 일반적이다.

테스팅 상황 전달

테스트 상황을 전달하는 가장 좋은 의사소통 방법

테스트 관리자의 관심, 조직의 테스트 전략, 규제 표준, 자체 조직 팀(self-organizing team) 일 경우 팀 자체에 따라서도 달라진다.

테스팅 상황 전달 방법

• 팀원 및 기타 이해관계자와의 대화
• 대시보드(지속적 통합/지속적 전달 대시보드, 태스크 보드, 번다운 차트)
• 전자 통신 채널(이메일, 채팅)
• 온라인 문서
• 공식 테스트 보고서

이런 선택지 중 하나 이상을 사용할 수 있다.

물리적 거리나 시차로 인해 직접적인 대화가 어려운 분산된 팀은 더욱 공식적인 의사소통을 사용하는 것이 적합할 수 있다.

보통 이해관계자마다 관심을 가지는 정보가 다르므로, 그에 따라 의사소통 방식을 조정할 필요가 있다.

---

Reference

https://www.kstqb.org/sw/sw3.asp

KSTQB