반응형
서브노트 200제 · 5번 · 중요도 ★
주제: 프로세스 마이닝 — 프로세스 마이닝 개념·기술, 워크플로우 백필(Backfill)
기출: 96회 1교시 11번 · 118회 2교시 1번 · 120회 1교시 13번 (총 3문항)
주제: 프로세스 마이닝 — 프로세스 마이닝 개념·기술, 워크플로우 백필(Backfill)
기출: 96회 1교시 11번 · 118회 2교시 1번 · 120회 1교시 13번 (총 3문항)
1. 서론
1) 의의
- 프로세스 마이닝(Process Mining)은 정보시스템에 남은 이벤트 로그를 분석해 "실제로 일어난" 업무 프로세스를 발견·검증·개선하는 기법으로, 데이터 마이닝과 BPM을 연결하는 분야임
- 인터뷰·워크숍 중심의 기존 프로세스 분석이 가진 주관성과 누락 문제를 데이터 기반으로 보완하며, BPR·RPA·초자동화의 대상 선정 근거로 활용됨
- 워크플로우 백필(Backfill)은 데이터 파이프라인 워크플로우에서 과거 구간을 재실행하는 운영 기법으로, 프로세스·데이터 흐름의 이력 정합성을 확보하는 수단임
2) 구성
- 2. 프로세스 마이닝 개념·기술 — 개념과 필요성, 이벤트 로그와 3대 유형, 기술요소·적용사례
- 3. 워크플로우 백필 — 개념, Catchup과의 비교, 수행 절차와 고려사항
- 4. 결론
2. 프로세스 마이닝 개념·기술
1) 개념과 필요성
| 구분 | 내용 |
|---|---|
| 정의 | 이벤트 로그로부터 프로세스 모델을 자동 도출하고, 모델과 실제 실행의 차이를 분석·개선하는 기법임 |
| 등장 배경 | ERP·BPMS 등 정보시스템 확산으로 업무 실행 기록(로그)이 대량 축적됨 |
| 필요성 | 실제 프로세스 가시화, 표준 미준수·우회 경로 탐지, 병목·재작업 정량화, 감사·컴플라이언스 대응 |
| 기존 분석과 차이 | 인터뷰 기반 "해야 하는 프로세스" → 로그 기반 "실제로 수행된 프로세스" |
2) 이벤트 로그와 프로세스 마이닝 3대 유형
- 이벤트 로그 필수 요소: 케이스 ID(Case ID)·액티비티(Activity)·타임스탬프(Timestamp), 선택 요소로 수행자(Resource)·비용 등 (케액타)
| 유형 | 입력 | 출력 | 내용 |
|---|---|---|---|
| 발견(Discovery) | 이벤트 로그 | 프로세스 모델 | 로그만으로 프로세스 흐름(페트리넷·BPMN 등)을 자동 도출 |
| 적합성 검사(Conformance) | 로그+기존 모델 | 편차 진단 | 표준 모델과 실제 실행을 비교해 위반·우회 경로 탐지 |
| 향상(Enhancement) | 로그+모델 | 개선된 모델 | 수행 시간·빈도·자원 정보를 반영해 병목·성과 분석 |
(발적향 : 발견·적합성 검사·향상)
3) 기술요소와 적용사례
| 구분 | 내용 |
|---|---|
| 발견 알고리즘 | Alpha 알고리즘, Heuristic Miner(빈도·노이즈 처리), Fuzzy Miner(복잡 로그 단순화), Inductive Miner(건전한 모델 보장) |
| 모델 표현 | 페트리넷, BPMN, 프로세스 맵(Directly-Follows Graph) |
| 분석 관점 | 제어흐름(Control-flow), 조직(Organizational), 사례(Case), 시간(Time) 관점 |
| 도구 | ProM(오픈소스), Disco, Celonis 등 상용 솔루션 |
| 연구 분야 | 실시간 예측 모니터링, 객체 중심 프로세스 마이닝, 태스크 마이닝(사용자 PC 로그) |
| 적용사례 | 구매-지급(P2P) 지급 지연 분석, 주문-수금(O2C) 리드타임 단축, 콜센터·병원 진료 흐름 개선, 내부감사 이상 거래 탐지 |
- 예시처럼 로그에서 "보완요청 → 서류검토" 재작업 루프가 드러나면, 해당 구간을 BPR·RPA 개선 대상으로 우선 선정함
3. 워크플로우 백필(Backfill)
1) 개념
- 백필(Backfill)은 Apache Airflow 등 데이터 워크플로우 관리 도구에서 과거의 특정 데이터 구간(Data Interval)에 대해 워크플로우(DAG)를 다시 실행하는 기능임
- 신규 파이프라인 배포 시 과거 데이터 적재, 로직 수정 후 과거 결과 재계산, 장애로 누락된 구간 복구에 사용함
- 참고로 HPC 작업 스케줄링의 백필 스케줄링은 대형 작업 예약 시간 전에 비어 있는 자원을 작은 작업으로 채워 자원 활용률을 높이는 기법으로, 용어는 같지만 맥락이 다름
2) Catchup과 Backfill 비교
| 구분 | Catchup | Backfill |
|---|---|---|
| 실행 주체 | 스케줄러가 자동 실행 | 운영자가 명령·UI로 수동 실행 |
| 대상 구간 | 시작일(start_date) 이후 미실행 구간 | 운영자가 지정한 임의 과거 구간 |
| 주 용도 | DAG 활성화 시 밀린 실행 보충 | 재처리·이력 데이터 적재·장애 복구 |
| 제어 | DAG 설정(catchup=True/False) | 기간·병렬도·재실행 여부 지정 |
3) 수행 절차와 고려사항
| 절차 | 내용 |
|---|---|
| 범위 지정 | 재처리할 시작·종료 구간과 대상 태스크를 확정함 |
| 멱등성 확인 | 같은 구간을 재실행해도 중복 적재·값 변형이 없도록 덮어쓰기(Overwrite)·파티션 단위 적재로 설계함 |
| 병렬도 제한 | 동시 실행 수를 제한하여 원천 DB·클러스터 과부하를 방지함 |
| 검증 | 건수·합계 대사로 재처리 결과를 검증하고 하위 파이프라인에 전파함 |
(범멱병검 : 범위 지정·멱등성 확인·병렬도 제한·결과 검증)
- 백필 이력을 로그로 남기면 프로세스 마이닝 관점에서도 데이터 처리 흐름의 재작업 빈도·원인을 분석할 수 있음
4. 결론
- 프로세스 마이닝은 이벤트 로그로 실제 프로세스를 발견·검증·향상하고, 백필은 과거 구간 재실행으로 데이터 흐름의 정합성을 지키는 기법임
- 성패는 이벤트 로그 품질(케이스 ID·시간 정합성)과 파이프라인 멱등성 설계에 달려 있음
- 실무에서는 프로세스 마이닝으로 개선 대상을 찾아 BPR·RPA로 연결하고, 데이터 워크플로우는 백필 절차를 표준화해 운영함
참고 및 출처
- Process Mining Manifesto (LNBIP 99)
- Wikipedia, Process mining
- Apache Airflow, Dag Runs (Catchup·Backfill)
- Thoughtworks, Airflow scheduling mechanism
※ 법령·기준은 개정될 수 있으므로 최신 규정을 확인할 것.
반응형