이상거래탐지시스템(FSD) 금융권 필수 보안 프로그램

고객의 자산을 보호하기위해 금융권에서는 무조건 사용하는 시스템인데요 바로 이상거래탐지시스템(Fraud Detection System, 사기탐지시스템)입니다. 사실 제가 직접 운영한적은 없지만, 주변 지인들에게 많은 이야기를 들었던 시스템인데요. 주로 금융권에서 많이 사용하는 시스템이긴 한데 조금만 응용하면 어디서든 활용 가능해 보이기도 합니다. 신용카드 결제를 하거나 온라인 게임에 접속할 때, 혹은 보험금을 청구할 때 등등... 우리가 금융 거래나 온라인 활동을 할 때 알게 모르게 이 FDS가 작동하며 우리의 소중한 자산과 정보를 지키고 있습니다. 오늘은 이 FDS가 어떠한 기술을 사용해서 이상거래를 탐지하는지 포스팅해 보겠습니다.

FDS

 

1. 이상거래 시스템이 왜 필요할까

다양한 디지털 환경속에서 온라인 금융 거래, 비대면 서비스 이용이 폭발적으로 늘어나고 있습니다. 편리함 뒤에는 늘 위험이 따르듯, 사기 수법 또한 점점 더 교묘하고 지능화되고 있죠. 사람의 눈이나 단순한 방법으로는 빠르게 진화하는 금융 비정상적인 거래를 실시간으로 구분하기가 너무 어렵습니다. 그래서 이를 구분하기 위해서 기술의 힘이 필요해지는 것입니다. 대량의 데이터를 분석하고, 복잡한 패턴을 학습하며, 실시간으로 이상 징후를 포착하는 기술이 바로 FDS의 핵심입니다.

2. FDS 작동원리

FDS는 기본적으로 다음과 같은 단계를 거쳐 작동합니다.

1. 데이터 수집 (Data Collection): 보호해야 할 대상자의 다양한 데이터를 모읍니다. 금융 거래 정보(시간, 장소, 금액, 결제 방식 등), 사용자 활동 로그(로그인 기록, 접속 IP, 기기 정보, 게임 플레이 패턴 등), 개인 정보(주소, 연락처 등) 등 방대한 양의 데이터가 이때 수집됩니다.
2. 데이터 전처리 및 특징 추출 (Data Preprocessing & Feature Engineering): 수집된 원시 데이터는 그대로 사용하기 어렵습니다. 누락된 값을 채우거나 형식을 통일하고, 탐지에 유용한 새로운 특징(Feature)을 만들어냅니다. 예를 들어, '평균 거래 금액', '최근 1시간 동안의 거래 빈도', '평소 접속하는 IP 대역과의 일치 여부' 등을 계산하는 작업이 여기에 해당됩니다.
3. 사기 탐지 모델 적용 (Applying Detection Models): 전처리된 데이터를 바탕으로 비정상 거래 여부를 판단하는 핵심 단계입니다. 이 단계에서 다양한 기술과 알고리즘이 사용됩니다. (이것이 오늘 글의 핵심입니다!)
4. 위험도 측정 및 규칙 적용 (Risk Scoring & Rule Application): 탐지 모델 결과에 따라 해당 거래나 활동의 위험도를 점수화합니다. 미리 정의된 규칙이나 임계값을 넘어설 경우, 최종적으로 비정상 거래 의심으로 판단합니다.
5. 대응 및 조치 (Action & Response): 비정상적인 거래로 판단된 경우, 즉각적인 조치가 취해집니다. 거래를 차단하거나, 추가 인증을 요구하거나, 사용자에게 알림을 보내거나, 더 정밀한 조사를 위해 담당자에게 전달하는 등의 후속 작업이 이루어집니다.

3. FDS의 핵심은 무얼까

가장 중요한 3단계 ' 비정상 거래 탐지 모델 적용'에서 주로 사용되는 기술들을 살펴볼까요

1. 규칙 기반 시스템 (Rule-Based System)

• 개념: 미리 정의된 규칙(rule)에 따라 비정상 거래 를 판단하는 방식입니다. 'IF [조건] THEN [결과]' 형태의 간단한 논리로 작동합니다.
• 기술적 특징: 사전 정의된 명확한 조건으로 작동하므로 설명이 용이하고, 특정 비정상 거래 패턴에 대해서는 빠르고 정확하게 대응할 수 있습니다. 그러나 규칙을 정의하는 데 많은 전문가 경험이 필요하며, 새로운 유형의 비정상 거래 에는 취약하다는 단점이 있습니다.
• 예시
  • "IF (해외 IP 접속) AND (평소 사용하지 않는 기기) AND (갑자기 고액 결제 시도) THEN (결제 승인 거부 또는 추가 인증 요구)"
  • "IF (같은 계정에서 1분 안에 10회 이상 로그인 실패) THEN (계정 잠금)"
  • "IF (동일 주소에서 5개 이상의 새로운 계정 생성) THEN (의심 계정으로 분류)"

2. 통계 기반 기법 (Statistical Methods)

• 개념: 정상적인 데이터의 분포나 특성을 파악한 후, 이 분포에서 크게 벗어나는 데이터를 비정상 거래 의심으로 판단하는 방식입니다.
• 기술적 특징: 데이터의 통계적 특성을 활용하므로 모델 구축이 비교적 간단할 수 있습니다. 하지만 복잡하거나 다양한 패턴의 비정상 거래 를 탐지하는 데는 한계가 있습니다.
• 예시
  • 평균/표준편차 활용: 한 사용자의 평균 거래 금액과 평소 거래 금액의 표준편차를 계산한 후, 현재 거래 금액이 평균에서 3표준편차 이상 벗어나는 경우 (Z-score > 3) 비정상 거래 의심으로 판단.
  • 군집 분석 (Clustering): 정상적인 사용자 그룹을 여러 군집으로 나눈 후, 어느 군집에도 속하지 않거나 소수의 비정상적인 군집에 속하는 데이터를 사기의심으로 판단.

3. 머신러닝 (Machine Learning)

• 개념: 대량의 정상/비정상 데이터를 학습하여 스스로 비정상 거래 패턴을 식별하는 방식입니다. 규칙 기반이나 통계 기반 기법보다 훨씬 복잡하고 다양한 패턴을 학습할 수 있어 최근 FDS에서 가장 중요하게 활용됩니다.
• 기술적 특징: 비정상 거래 수법의 진화에 따라 모델을 재학습하여 대응할 수 있고, 사람이 미처 생각하지 못한 숨겨진 패턴까지 찾아낼 수 있습니다. 하지만 학습을 위한 대량의 데이터와 전문적인 기술이 필요하며, 모델의 판단 과정을 명확하게 설명하기 어려운 경우도 있습니다 (블랙박스 문제).
• 자주 사용되는 알고리즘:
  • 분류(Classification) 모델: 로지스틱 회귀(Logistic Regression), 서포트 벡터 머신(SVM), 결정 트리(Decision Tree), 랜덤 포레스트(Random Forest), 그래디언트 부스팅(Gradient Boosting - XGBoost, LightGBM 등). 이러한 모델들은 주어진 거래나 활동을 '정상' 또는 ' 비정상' 두 가지 클래스로 분류합니다.
  • 비정상 탐지(Anomaly Detection)/이상치 탐지(Outlier Detection) 모델: 정상 데이터의 패턴을 학습한 후, 정상 패턴에서 벗어나는 데이터를 '이상치'로 탐지합니다. Isolation Forest, One-Class SVM, Autoencoders 등이 사용될 수 있습니다. 비정상 데이터는 정상 데이터에 비해 매우 드물기 때문에 이상치 탐지 기법이 효과적일 때가 많습니다.
• 예시
  • 신용카드 사기: 과거 수백만 건의 정상/비정상 거래 데이터를 학습하여, 현재 발생한 거래의 금액, 시간, 장소, 가맹점 종류, 이전 거래와의 시간 간격, 사용 기기 정보 등 수십/수백 가지 특징을 종합적으로 판단하여 비정상 거래 확률을 계산합니다. 예를 들어, 평소 소액 결제만 하던 사용자가 갑자기 심야 시간에 해외 명품 매장에서 고액 결제를 시도하는 패턴을 과거 비정상 거래 데이터에서 학습했다면, 유사한 패턴이 발생 시 높은 사기 확률을 부여합니다.
  • 계정 탈취: 평소 로그인 시간대, 접속 IP 대역, 사용 기기(OS, 브라우저 등), 입력 속도, 마우스 움직임 패턴 등을 학습한 후, 갑자기 다른 패턴(예: 평소 새벽에만 접속했는데 낮에 접속, 익숙하지 않은 해외 IP, 봇 같은 일정한 입력 속도)이 감지되면 계정 탈취 시도로 판단하여 추가 인증을 요구하거나 로그인을 차단합니다.

4. 그래프 분석 (Graph Analysis)

• 개념: 사용자, 계정, 기기, IP, 거래 등을 '노드(Node)'로, 이들 간의 연결(거래 발생, 동일 IP 접속, 동일 기기 사용 등)을 '엣지(Edge)'로 표현하여 하나의 네트워크(그래프)를 구축한 후, 그래프 내의 패턴이나 관계를 분석하여 비정상 거래를 탐지하는 방식입니다.
• 기술적 특징: 개별 데이터만으로는 파악하기 어려운 관계 기반의 비정상 거래 (예: 여러 계정을 이용한 작업장 동시에 거래)를 효과적으로 탐지할 수 있습니다. 복잡한 네트워크 구조를 처리하기 위한 전문적인 그래프 데이터베이스 및 알고리즘(PageRank, 군집 알고리즘 등)이 필요합니다.
• 예시
  • 보험 사기: 여러 명이 동일한 연락처, 동일한 병원, 동일한 브로커를 통해 유사한 사고 내용을 바탕으로 보험금을 청구하는 패턴을 그래프로 나타냈을 때, 이들이 긴밀하게 연결된 클러스터를 형성하면 사기 조직일 가능성이 높다고 판단합니다.
  • 온라인 게임 작업장: 여러 게임 계정이 동일한 IP나 기기에서 접속하고, 특정 계정으로 아이템이나 게임 머니를 집중적으로 이동시키는 패턴을 그래프로 표현하면, 중심 계정과 주변 계정들의 비정상적인 연결 구조를 통해 작업장임을 탐지할 수 있습니다.

4. FDS 요구사항

이렇게 강력한 기술들이 사용되지만, FDS를 완벽하게 구축하고 운영하는 것은 쉽지 않습니다. 주요 도전 과제로는 다음과 같은 것들이 있습니다.

• 데이터 불균형 (Data Imbalance): 비정상 거래 데이터는 정상 데이터에 비해 극히 드뭅니다. 전체 거래 중 비정상 거래가 0.1%도 되지 않는 경우가 많죠. 이러한 불균형한 데이터를 가지고 학습하면 모델이 정상 데이터만 잘 맞추고 비정상 거래 데이터는 제대로 탐지하지 못하는 문제가 발생할 수 있습니다.
• 사기 수법의 진화 (Evolving Fraud Tactics): 사기범들은 FDS 시스템을 우회하기 위해 끊임없이 새로운 수법을 개발합니다. 따라서 FDS 또한 지속적으로 새로운 비정상 거래 패턴을 학습하고 모델을 업데이트해야 합니다. 이는 끊임없는 싸움과 같습니다.
• 실시간 처리 요구 (Real-time Processing): 많은 경우 비정상 거래 탐지는 실시간으로 이루어져야 합니다. 특히 금융 거래의 경우, 사용자가 불편함을 느끼지 않도록 몇 초 안에 비정상 거래 여부를 판단해야 합니다. 대규모 데이터를 실시간으로 처리하는 고성능 시스템 구축이 필수적입니다.
• 오탐율 (False Positives):  정상적인 거래를 비정상 거래 로 오판하는 경우입니다. 이는 사용자에게 큰 불편과 불만을 초래하고, 서비스에 대한 신뢰도를 떨어뜨릴 수 있습니다. 비정상 거래를 잘 잡는 것만큼 오탐율을 낮추는 것도 FDS의 매우 중요한 목표입니다.
• 설명 가능성 (Explainability): 왜 특정 거래가 비정상적인 거래 의심되는지 그 이유를 명확하게 설명할 수 있어야 할 때가 많습니다 (특히 머신러닝 모델의 경우). 이는 담당자의 후속 조치나 사용자 문의 응대에 필수적이며, '블랙박스' 같은 머신러닝 모델의 단점을 극복하기 위한 노력(Explainable AI, XAI)이 중요해지고 있습니다.

5. 정리하면

이상거래 탐지 시스템(FDS)은 단순히 몇 가지 규칙만 가지고 작동하는 시스템이 아닙니다. 규칙 기반 시스템부터 통계 기법, 최신 머신러닝 및 그래프 분석 기술까지, 다양한 기술들이 총동원되어 복잡하고 지능적인 비정상 거래 시도로부터 우리의 디지털 자산을 보호하고 있습니다. 데이터 수집부터 탐지, 그리고 대응까지 이어지는 일련의 과정 속에서 기술적 난제들을 해결하며 시스템은 계속 발전하고 있습니다. 사기 수법이 진화하는 한, FDS 또한 최첨단 기술을 활용하여 지속적으로 발전해 나갈 것입니다. 오늘은 FDS의 기술적인 측면에 대해 조금이나마 이해하셨으면 합니다.^^

 

• 참고: 금융감독원, FDS 운영 가이드라인(23.10.05.)