Blog Post

1. 금융 서비스 QA, 실기기 테스트 없이 정말 안전할까

   • 금융 앱 QA에서 디바이스 다양성 테스트의 중요성

   • 사내 테스트 랩, 에뮬레이터 테스트의 한계

   • 실기기 테스트 부족으로 발생한 금융 서비스 장애 사례

2. 모바일 금융 앱 QA 혁신! 디바이스 팜으로 실기기 테스트를 확장

3. 디바이스 팜 200% 활용하기 – 금융 서비스 QA를 위한 실전 가이드

최근 금융권의 테스트 자동화 시장이 빠르게 변화하고 있습니다. 2023년 11월 금융감독원의 「금융 IT 안전성 강화를 위한 가이드라인」이 큰 영향을 미친 것은 분명하지만, 오히려 이러한 흐름이 더 일찍 형성되었어야 한다는 생각도 듭니다.

해외에서는 테스트 자동화와 품질 강화가 핵심 요소로 자리 잡고 있으며, 관련 산업 역시 국내보다 더욱 발전해 있는 것이 사실입니다.

보안 테스트 강화, 성능 및 부하 테스트, 호환성 테스트, 규제 준수 검증 모두 중요하지만, 특히 이번 내용에서는 호환성 테스트에 중점을 두고자 합니다. 최근 다양한 모바일 기기가 시장에 출시되면서, 이를 고려한 다양한 기기에서의 테스트가 그 어느 때보다 중요한 요소로 부각되고 있음을 느끼고 있어 이 글을 작성 합니다.

금융 앱 QA에서 디바이스 다양성 테스트의 중요성

1. 다양한 기기 환경에서의 안정적인 금융 서비스 제공

모바일 금융 서비스 사용자는 최신 플래그십 스마트폰만 사용하는 것이 아닙니다. 실제로 다양한 기기와 OS 환경에서 금융 앱이 활용되고 있으며, 이를 고려한 테스트가 필수적입니다.

• 실제 데이터로 본 현황:

  • 구형 스마트폰 사용 비율: 삼성 갤럭시 S9, 아이폰 8과 같은 모델이 여전히 상당한 점유율을 차지

  • OS 업데이트 미적용 사례: 일부 기업용 단말기 또는 보안상의 이유로 특정 OS 버전에서만 앱을 실행하는 환경 존재

  • 다양한 기기 지원 필요성: 태블릿 및 저가형 스마트폰에서도 금융 앱이 원활하게 동작해야 함

그러나 많은 QA 팀이 최신 기기에 초점을 맞춰 테스트를 진행하면서, 구형 기기에서 성능 저하, UI 깨짐, 주요 기능 오류 등의 문제가 발생하는 경우가 많습니다.

• 실제 사례:

  • 국내은행: 갤럭시S9에서 국민은행, 우리은행, 농협은행의 모바일뱅킹을 이용할 때 오류 발생 - 한경닷컴, 2018.05

  • 국민은행: 아이폰 업데이트 이후, 앱 접속 오류 - 조선비즈, 2016.09

• 해결 방법:

  • 다양한 기기에서의 철저한 테스트 환경을 구축해야 합니다. 하지만 물리적 기기를 모두 확보하는 것은 현실적으로 어렵기 때문에, 디바이스 팜(Device Farm)과 같은 솔루션을 활용하는 것이 효과적인 대안이 될 수 있습니다.

2. 금융 서비스는 고객 신뢰가 핵심! 한 번의 버그로도 고객 이탈 위험

금융 서비스에서 고객의 신뢰는 핵심입니다. 한 번의 버그라도 고객 이탈을 초래할 수 있기 때문에, 신뢰를 지키는 것이 중요합니다.

금융 앱에서 발생하는 버그가 고객 이탈로 이어지는 이유는 다음과 같습니다:

• 로그인 장애: 고객은 즉시 다른 은행 앱을 찾기 시작합니다.

• 이체 오류: 신뢰도가 떨어지며, “이 앱은 불안해서 못 쓰겠다”는 부정적인 리뷰가 증가합니다.

• 인증 과정에서의 충돌: 고객센터 문의가 급증하며, 이에 따른 운영 비용이 증가합니다.

실제 사례:

• 우리은행: 통신사 인증서비스와 아이폰 서버 충돌로 인한 '우리원 인증서' 발급에서 오류 발생 - nate뉴스

• 국민은행: 특정 모바일 기기(아이폰12)에서 은행 모바일인증서 발급 오류로 개인이 직접 오류 우회 방법 소개 - 개인블로그

디바이스 다양성을 고려하지 않은 테스트는 이러한 문제를 놓치기 쉽습니다. 따라서 금융 앱의 QA는 단순한 기능 테스트를 넘어서, 고객의 신뢰를 유지할 수 있는 호환성/안정성 테스트가 필수입니다.

특히 위 개인 고객의 사례에서, 소수의 발생 케이스로 인해 인증서 발급 오류가 발생한 상황에서, 고객이 블로그를 통해 오류 우회 방법을 공유하는 것은 매우 심각한 문제일 수 있습니다.

3. 특정 제조사/OS 환경에서의 UI 깨짐, 로그인 오류, 보안 문제 사전 발견 필요

금융 앱은 단순한 웹 서비스가 아니며, 운영체제(OS), 네트워크 환경, 보안 정책 등 다양한 요소들이 복합적으로 작용합니다. 따라서 특정 OS나 제조사 환경에서 예기치 않은 문제가 발생할 가능성이 큽니다.

금융 서비스에서 자주 발생하는 문제 유형

• UI 깨짐: 특정 해상도의 디바이스에서 버튼이 눌리지 않거나 화면이 잘리는 문제

• 로그인/인증 오류: 생체인증, 2단계 인증이 특정 제조사의 기기에서 실패

• 네트워크 환경 이슈: 보안 네트워크 설정 차이로 앱이 비정상적으로 동작

• 보안 정책 차이: OS 버전에 따른 권한 정책 차이로 금융 앱이 실행되지 않음

실제 사례

• 은행권 뱅킹앱들에서 스크롤 오류 등 장애 → 'android system webview' 어플이 자동 업데이트 된 이후 발생 - 뉴스워커, 2022.03

• 전 세계 '사이버 정전' 사태..."MS 클라우드 장애가 원인" - YTN, 2024.07

이를 예방하려면

다양한 기기에서 사전 테스트를 수행해야 합니다. 하지만 QA 팀이 모든 기기를 직접 보유하고 테스트하는 것은 현실적으로 어려운 일이므로, 클라우드 기반의 실기기 테스트 환경이 필요합니다.

해결책

• 주요 금융 앱이 실제 사용자들이 많이 사용하는 기기 및 OS 환경을 분석

• 실기기 테스트 환경을 디바이스 팜과 같은 클라우드 기반 솔루션으로 확장
  (다음 글에서는 디바이스 팜을 활용한 실기기 테스트 방법을 자세히 다룰 예정입니다.)

• OS별, 제조사별 테스트를 자동화 테스트와 결합하여 지속적인 품질 관리

금융 서비스에서는 디바이스 다양성 테스트가 필수적입니다. 최신 기기뿐만 아니라 구형 기기에서도 금융 앱이 정상적으로 동작해야 하며, 작은 오류라도 고객의 신뢰를 잃을 수 있습니다. 특히, 특정 제조사나 운영체제(OS) 환경에서 예상치 못한 버그가 발생할 수 있기 때문에 다양한 기기에서의 테스트가 중요합니다.

그러나 모든 기기를 직접 보유하고 테스트하는 것은 비효율적이고 현실적으로 어려운 일입니다. 이러한 문제를 해결하기 위해, 디바이스 팜과 같은 클라우드 기반 실기기 테스트 환경을 활용하는 것이 필수적입니다. 이를 통해 효율적이고 정확한 테스트가 가능해지며, 다양한 디바이스 환경에서 발생할 수 있는 문제를 사전에 예방할 수 있습니다.

사내 테스트 랩과 에뮬레이터 테스트의 한계

1. 사내 테스트 랩의 한계

사내 테스트 랩은 실제 디바이스를 기반으로 한 테스트 환경을 제공하지만, 여러 가지 한계를 가지고 있습니다.

• 기기 확보와 유지 관리의 어려움: 다양한 모델의 스마트폰을 지속적으로 구매하고 관리하는 것은 높은 비용을 수반합니다. 또한, 새로운 모델이 출시될 때마다 빠르게 대응해야 하므로 기기 유지 보수가 상당히 부담스러울 수 있습니다.

• 기기 수의 제한: 사내에서 테스트할 수 있는 기기 수는 제한적일 수밖에 없습니다. 한정된 예산 내에서 모든 주요 기기와 운영 체제(OS)의 버전을 커버하는 것은 사실상 어려운 일입니다. 이로 인해 테스트 범위가 좁아져 일부 사용자 환경에서 발생할 수 있는 문제를 놓칠 위험이 있습니다.

• 효율성 부족: 여러 기기에서 동시에 테스트를 진행하려면 다수의 인력이 필요하며, 이를 위해 별도의 인프라를 구축해야 합니다. 또한, 실제 기기에서 발생하는 오류를 추적하고 수정하는 과정이 수동적이고 시간이 오래 걸릴 수 있습니다.

2. 에뮬레이터 테스트의 한계

에뮬레이터는 가상 환경에서 앱을 실행할 수 있도록 해 주지만, 실제 디바이스와 비교했을 때 다음과 같은 한계가 존재합니다.

• 실제 환경과 차이: 에뮬레이터는 물리적인 디바이스의 하드웨어 특성을 그대로 재현할 수 없습니다. 예를 들어, 터치스크린 반응, 네트워크 지연, 배터리 소모 등 실제 기기에서 발생하는 세밀한 성능 차이를 정확히 테스트하기 어렵습니다.

• 제조사/OS 버전 특유의 문제 검출 어려움: 에뮬레이터는 특정 제조사나 OS 버전에서의 고유한 문제를 재현하기 어렵습니다. 예를 들어, 삼성의 One UI, LG의 사용자 인터페이스(UI) 특성 등은 에뮬레이터에서 구현되지 않아 실제 디바이스에서만 발생하는 UI 깨짐이나 기능 오류를 놓칠 수 있습니다.

• 보안 및 인증 문제: 에뮬레이터에서는 보안 기능이나 인증 프로세스(예: 생체 인증, 하드웨어 보안 모듈)가 정상적으로 동작하지 않는 경우가 많습니다. 이는 금융 앱 테스트에서 중요한 보안 문제를 간과할 수 있는 위험을 초래합니다.

사내 테스트 랩은 비용과 관리 측면에서 어려움이 있고, 에뮬레이터는 실제 환경에서 발생할 수 있는 정확한 문제를 재현하지 못하기 때문에, 다양한 기기와 OS 환경에서의 정확한 테스트를 위해서는 디바이스 팜과 같은 클라우드 기반 테스트 솔루션이 필수적입니다.

모든 기기를 개발자가 직접 보유하고 테스트하는 것은 비효율적이므로, 사내 디바이스 팜을 구축하여 다양한 기기에서 실기기 테스트를 효율적으로 진행할 필요가 있습니다.