X
STEN 회원이 되시면 테스팅에 관한 많은 정보와 자료를 공유할 수 있도록 저희가 돕겠습니다.
아이디
패스워드
자동로그인 사용
 
아직 회원이 아니십니까?    
아이디/패스워드를 잊으셨습니까?    

     
   
게임 산업에서의 TMMI의 가치와 활용에 대해서
글쓴이 : Jio QA Life 날짜 : 19-04-06 16:26 조회 : 978
현재 몸담고 있는 조직에 입사하기 전, PC 게임 개발사에서 QA 팀 리빌딩 포지션으로 짧게나마 근무를 한 적이 있었는데
지금 생각해보면 입사하기도 전에 무슨 생각으로 저런 얘기를 하게 된 건지 가끔 부끄러워질 때가 있습니다 ㅎㅎ
아래는 당시 담당자분께 전달한 내용 중 일부입니다.(틀린 얘기도 있습니다.)

게임 산업 구조에서의 TMMI의 가치와 활용에 대해서 경험 많으신 QA분들께서는 어떻게 생각하시는지요?


---------------------------------------------------------------------------------------------------------

TMMI에 대해서 간략하게 말씀드리자면 산업 표준적 프로세스 개선 모델로 산업계에서
테스트 프로세스 진단 및 개선에 많이 활용하고 있으며 TMMi 모델의 공식 심사 사례는 아직 적지만
비공식 심사는 현재 전 세계적으로 많은 사례가 있는 심사 모델입니다.
하기 사진을 참고하시면 Level 1~Leve 5까지 단계별로 일련의 프로세스가 확립되어 있는데요
영어로 되어있는 내용들에 대하여 간략한 설명을 드리자면 Level 1 INITIAL 단계에서는 초기 단계로써
Level 2, 관리 단계로 진입하기 위한 프로세스가 아직 조직 내에 확립되지 못한 경우를 뜻합니다.
즉, 내부에 QA 조직이 있으나 명확한 QA 프로세스가 없는 조직일 경우에 Level 1로 생각을 하면 되고
Level 2 Managed(관리) 단계에서는 테스트 정책과 전략, 테스트 계획, 테스트 모니터링 및 제어, 테스트 설계 및 수행, 테스트 환경에 대한 항목에 대한 심사를 거치고 있고 Level 3 Defined(정의) 단계에서는
관리 단계에서 확립된 프로세스에 대한 내재화가 끝나고 조직화 시키는 단계입니다.
테스트 조직, 테스트 교육/훈련 프로그램, 테스트 수명주기와 통합, 비기능 테스팅, 동료 검토라는 항목이 있으며
Level 4 Measured 단계에서는 관리&측정을 하는 단계인데요, 주로 테스트 측정, 소프트웨어 품질 평가, 발전된 동료 검토라는 항목이 존재하며 마지막으로 Level 5 Optimization(최적화) 단계에서는 결함 예방, 테스트 프로세스 최적화, 품질 제어라는 항목이 있습니다.

TMMi 각 단계별 항목에 대해서 짧게나마 기재를 하였는데 아시다시피 아직까지 국내 게임 업에서는
이러한 TMMI를 조직 내에 도입하는 사례가 없습니다.
TMMi 인증이 왜 도입되지 않는가에 대해서 제가 유추해본 가장 큰 결론은 아래와 같습니다.

- 비용대 효율 면에서 큰 효과가 없을 것이다.
TMMi 인증을 받기 위해서는 QA 프로세스뿐만 아니라 개발 프로세스 또한 밀접하게 연관이 되어 있다고 생각합니다. 그렇기 때문에 많은 조직에서 TMMi 인증을 받기 위해 지금까지 내재화되어있던 개발 프로세스와 QA 프로세스를 섣불리 변화하기엔 사업적인 Risk가 매우 크다고 생각이 들었고 TMMi는 어찌 보면 체계적으로 진행이 된다면 훌륭한 심사 모델이지만 그것을 알면서도 조직 내에 쉽게 도입하지 못하는 여러 내부 외부 요인들로 인해 그림의 떡이 아닐까 조심스레 생각해봅니다. 아무리 훌륭한 기법과 방법론을, 조직 상황과 어울리지 않는 것인데 무작정 도입하고자 했을 때
생길 수 있는 Risk처럼요.

지금까지는 다소 TMMi에 대해 부정적인 견해를 전달드린 것 같은데 그렇다면 '
대체 왜 TMMI가 적합하다고 생각하느냐?'에 대한 본론을 전달드리도록 하겠습니다.

1. 어떤 프로세스던 도입하는 시점이 매우 중요하다고 생각됩니다.
저의 부족한 경험이지만 추후 개발 방향성을 보았을 때 지금이 가장 적기라고 생각이 들었고
회사 구성원 모두가 한마음 한뜻으로 TMMI를 적극 도입해보려는 진취적인 자세를 지닌다면
비록 Level 5 단계까지는 안되더라도 수많은 시행착오를 함께 겪으며
내부 프로세스에 대한 기반을 한층 더 다지는 데에 충분히 기여를 할 수 있다고 생각됩니다.

2. 시스템의 내재화 방안 강구. QA 업무 같은 경우, 아직까지 많은 회사에서 A라는 서비스를
다년간 담당하였던 인력이 이탈하는 경우가 발생하게 되면 해당 서비스를 대체할 인력을
새로 구하는 데에 있어서, 그리고 인력을 충원한다 하더라도 기존에 보증했었던 품질 수준을
유지할 수 있느냐가 가장 큰 문제라고 생각합니다. 즉 사람이 빠지게 되면 업무에 잠시 혼선이 생기거나
심할 경우 품질에 있어서 큰 Risk가 생기게 되는 현시점에서 내재화되어 있지 않은 역량을
TMMI 모델 도입을 통해 조직에 어울리는 프로세스에 적합하게 커스터마이징 하여 갖가지 산출물과
문서화된 프로세스로 하나씩 구축하게 된다면 이는 조직 내에 QA 프로세스에 있어서
어떠한 인력이 충원이 되어도 엄청난 자산이 될 것이라 생각됩니다.

3. 어제의 품질이 더 이상 오늘의 품질이 될 수 없다고 생각하며 그러한 시대적 흐름은 지났다고 생각합니다.
수많은 게임들이 출시되고 있으며 게임 시장에서 주력으로 진행되는 플랫폼 또한 최근 몇 년간 급변하게 되었습니다.
이에 따라 QA의 중요성 또한, 개발력 만큼이나 확보를 해야 하며 더 이상QA는 단순 테스터가 아닌
품질 전체의 측면에서, 더 나아가 서비스적인 차원에서의 이슈까지 해결해야 하는 직군이라고 생각합니다.
QA는 개발 프로세스와 QA 프로세스에 있어서 어떠한 이슈가 발생을 하였을 때
이에 대한 적절한 솔루션을 내리는 직군이지단순히 동적 블랙박스 테스팅의 역량 확보에만
급급해서는 아니된다고 생각합니다.(테스트 하부 구조에 대한 역량을 키우는 것 또한 중요하지만 테스트 상부 구조의 역량이 내재화되어 있지 않으면 하부 구조에서 이슈가 발생 시 1차원적인 해결 방법 밖에는 찾아내지 못할 것이라 생각됩니다.)

이에 따라 기존에 해왔던 방식들로만 업무를 진행하고 내부 프로세스를 확립하기보단
아무도 시도하지 않았던, 시도하기 껄끄러웠던 것들에 대해 한마음 한뜻으로 자기계발을 통해
급변하는 품질에 대해 선도할 수 있는 QA가 되어야 한다고 생각합니다.
분명 TMMI 모델의 도입은 수많은 시행착오와 많은 어려움이 있을 거라 확신합니다.
하지만 가치를 스스로 증명해야 하는 QA로써 힘들고 어려운 일이라고 하여
지금과 같은 방식을 고집하며 업무를 진행하기보단 하지 않았던 것들에 대해서 관심을 기울여야 할 때가 아닌가 싶습니다. TMMI 모델 도입이 실패하였다 하더라도 분명 도입하는 과정에서 수많은 땀방울들이 거름이 되어
조직 체계를 다지는 데에 분명 기여를 할 것이라 생각이 됩니다.
1000개의 Test case를 작성하여 수행을 하고 나서 결함이 발생되지 않았다 하더라도
1000개의 Test case 항목에 대한 검증은 이루어졌기에 결코 의미 없는 테스팅이 아닌 것처럼
당장 유의미한 결과물을 만들어 내기보다는 조직 기반을 다지는 데에 의의를 두고 진행을 한다면
내부적으로 큰 자산(산출물)이 생길 것이라 100% 확신합니다.

복어수 19-04-07 23:05
1) TMMI는 테스트 프로세스 심사라 QA와 다르죠. TMMI 좋은 평가가 SW품질 향상으로 이뤄지진 않습니다.
2) 위 논리에서 말씀 드린 것과 같이, 퇴사자의 문제는 TMMI로 해결 되지 않습니다. 조직, 팀 문화 부터 먼저 체크 해야합니다.
3) 한국의 QA업계 현실은 고질적인 문제가 고치지 않는 이상, 우수한 엔지니어는 들어 오지 않습니다.
4) 블랙 박스 테스트도 제대로 파고 들면 어렵습니다. 이걸 무시하는 분이 계시는데 제대로 모르시는 분들이지요. 테스트 설계를 정말 잘하셨다면 그 자체도 박수 받을 일이지요.
Won님 19-04-14 18:26
시간 갖고 답변 드리고 싶은 글인데, 오늘은 보기만하고... 커밍수은 입니다.
좋은 글 공유해 주셔서 감사합니다.^^