2과목 데이터 분석 기획_데이터 분석 기획의 이해

1. 학습 목표

-분석 기획 특징과 고려사항 이해

-KDD 분석 방법론 이해

-CRISP-DM 분석 방법론 이해

 

1-1. 분석 기획의 특징과 이해

문제1. 분석 기획에 필요한 3가지 역량 분석 대상과, 방법에 따른 분석 유형

1) 분석 대상(What)을 알고 있고 분석 방법(How)도 알고 있을 때 -> 최적화(Optimization)유형

2)분석 대상(What)을 알고 있으나 분석 방법(How)을 모를때 ->해결(Solution)유형

3)분석 대상(What)을 모르나 분석 방법(How)도 알고 있을 때->통찰(Insight)유형

4)분석 대상(What)을 모르고 분석 방법(How)도 모를때->발견(Discovery)유형

Q. 분석 대상이 명확하게 무엇인지 모르는 경우에는 기존 분석 방식을 활용하여 '통찰'을 도출하거나 '발견'접근법으로
분석 대상 자체를 새롭게 도출할 수 있다.

 

1-2. 데이터 기반의 의사결정의 필요성

1)기업의 합리적 의사결정을 가로 막는 장애요소 : 고정관념(Stereotype),편향된 생각(Bias), 프레이밍 효과(Framing Effect)

*프레이밍 효과: 문제 표현 방식에 따라 동일한 사건이나 상황임에도 개인의 판단이나 선택이 달라질 수 있는 현상

 

1-3. 방법론 적용 업무의 특성에 따른 모델

 

1)폭포수 모델(Waterfall Model)

단계를 순차적으로 진행하는 방법, 이전단계가 완료되어야만 다음 단계로 진행이 가능하며, 문제가 발생될 시 피드백 과정이 수행됨

 

2)프로토타입 모델(Prototype Model)

폭포수 모델의 단점 보완을 위해 점진적으로 시스템을 개발해 나가는 접근 방식

고객의 요구를 완전하게 이해하지 못하고 있거나 완벽한 요구 분석의 어려움을 해결하기 위해 일부분을 우선 개발하여 사용자에게 제공

이후 성능을 평가하여 개선작업을 시행하는 모델

 

3)나선형 모델(Spiral Model)

반복을 통해 점증적으로 개발하는 방법, 처음 시도하는 프로젝트에 적용이 용이하지만 관리 체계를 효과적으로 갖추지 못한 경우 복잡도가 상승하여 프로젝트 진행이 어려울 수 있음

 

1-4.방법론의 구성

단계- 태스크- 스탭

1)단계 : 최상위 계층으로서 프로세스 그룹을 통하여 완성된 단계별 산출물이 생성된다.

2)태스크: 단계를 구성하는 단위 활동으로써 물리적 또는 논리적 단위로 품질검토의 항목이 된다.

3)스탭: WBS(Work Breakdown Structure)의 워크패키지에 해당, 입력자료(Input), 처리 및 도구(Process & Tool), 출력자료(Output)으로 구성된 단위의 프로세스이다.

 

1-5.KDD 분석 방법론

KDD(Knowledge Discovery in Databases) 프로파일링 기술을 기반으로 데이터로부터 통계적 패턴이나 지식을 찾기 위해 활용할 수 있도록 체계적으로 정리한 데이터 마이닝 프로세스이다.

Fayyad, 1996, (Knowledge Discovery in Databases)

 

1. 데이터셋 선택(Selection)

데이터셋 선택에 앞서 분석 대상의 비즈니스 도메인에 대한 이해와 프로젝트 목표 설정이 필수이며, 데이터베이스 또는 원시 데이터에서

분석에 필요한 데이터를 선택하는 단계이다.

데이터 마이닝에 필요한 목표데이터(Target Data)를 구성하여 분석에 활용한다.

 

2.데이터 전처리(Preprocessing)

추출된 분석 대상용 데이터 셋에 포함되어 있는 잡음(Noise)과 이상치(Outlier), 결측치(Missing Value)를 식별하고 필요시 제거하거나 의미있는 데이터로 재처리하여 데이터셋을 정제하는 단계이다.

추가적으로 요구되는 데이터셋이 필요한 경우 데이터 선택 프로세스를 재실행한다.

 

3.데이터 변환(Transformation)

정제된 데이터에 분석 목적에 맞게 변수를 생성, 선택하고 데이터의 차원을 축소하여 효율적으로 데이터마이닝을 할 수 있도록 데이터에 변경하는 단계이다. 데이터마이닝 프로세스를 진행하기 위해 학습용 데이터(Training Data), 시험용 데이터(Test Data)로 데이터를 분리하는 단계이다.

 

4.데이터마이닝(Data Mining)

학습용 데이터를 이용하여 분석 목적에 맞는 데이터마이닝 기법을 선택하고, 적절한 알고리즘 적용하여 데이터마이닝 작업 실행

필요에 따라 데이터 전처리와 변환 프로세스를 추가로 실행

 

5.데이터 마이닝 결과 평가(Interpretation/ Evaluation)

데이터마이닝 결과에 대한 해석과 평가, 그리고 분석 목적과의 일치성 확인

데이터마이닝을 통해 발견한 지식을 업무에 활용하기 위한 방안 마련 단계

필요에 따라 데이터 선택 프로세스에서 데이터마이닝 프로세스를 반복 수행

 

1-6.CRISP-DM 분석 방법론

CRISP-DM(Cross Industry Standard Process for Data Mining) 계층적 프로세스 모델로서 4개 레벨⭐️로 구성된다.

CRISP-DM의 4레벨 구조

1)단계(Phase): 최상위 레벨, 각 단계는 일반화 태스크(General Task) 포함

2)일반화 태스크(General Tasks): 데이터마이닝의 단일 프로세스를 완전하게 수행하는 단위, 구체적인 수행 레벨인 세분화 태스크(Specialized Tasks)구성

3)프로세스 실행(Process Instances): 데이터마이닝을 위한 구체적인 실행을 포함

 

1-7.CRISP-DM 프로세스

CRISP-DM 프로세스는 6단계로 구성되어 있으며, 각 단계는 단계 간 피드백을 통하여 단계별 완성도를 높이게 되어있음

(단방향 아님)

 

CRISP-DM 프로세스

1)업무 이해(Business Understanding)

비즈니스 관점에서 프로젝트의 목적과 요구사항을 이해하기 위한 단계

도메인 지식을 데이터 분석을 위한 문제로 정의하고 초기 프로젝트 계획 수립

 

2)데이터 이해(Data Understanding)

분석을 위한 데이터 수집, 데이터 속성을 이해하기 위한 단계

데이터 품질에 대한 문제점 식별, 인사이트 발견 단계

 

3)데이터 준비(Data Preperation)

분석을 위하여 수집된 데이터에서 분석 기법에 적합한 데이터를 편성하는 단계

(시간이 많이 소요될 수 있다)

 

4)모델링(Modeling)

다양한 모델링 기법과 알고리즘을 선택하고 모델링 과정에서 사용되는 피라미드를 최적화해가는 단계

모델링 과정에서 데이터셋이 추가될 경우, 데이터 준비 단계를 반복 수행 모델의 과적합(Overfitting) 문제 확인

 

5)평가(Evaluation)

모델링 결과과 프로젝트 목적에 부합하는지 평가하는 단계

데이터마이닝 결과를 최종적으로 수용할 것인지 판단

-> 분석결과 평가, 모델링 과정 평가, 모델 적용성 평가

 

6)전개(Deployment)

모델링과 평가 단계를 통하여 완성된 모델을 실업무에 적용하기 위한 계획 수립 단계

모니터링과 모델의 유지보수 계획 마련

프로젝트 마무리, 리뷰

 

1-8. 빅데이터 분석 방법론-5단계

분석 기획-> 데이터 준비-> 데이터 분석-> 시스템 구현-> 평가 및 전개

 

1)분석 기획(Planning)

비즈니스 이해 및 범위 설정, 프로젝트 정의 및 계획 수립, 프로젝트 위험 계획 수립

 

2)데이터 준비(Preparing)

필요한 데이터 정의, 데이터 스토어 설계, 데이터 수집 및 정합성 점검

 

3)데이터 분석(Analyzing)

분석용 데이터 준비, 텍스트 분석, 탐색적 분석, 모델링, 모델 평가 및 검증

 

4)시스템 구현(Developing)

설계 및 구현, 시스템 테스트 및 운영

 

5)평가 및 전개(Deploying)

모델 발전 계획 수립, 프로젝트 평가 및 보고

Q. 빅데이터 분석 방법론의 분석 기획 단계 순서가 올바른 것은?
프로젝트 범위 설정 -> 데이터 분석 프로젝트 정의 -> 정프로젝트 수행계획 수립 -> 데이터 분석 위험 식별

 

Q. KDD 분석 방법론에서 잡음, 이상치, 결측치를 식별하여 분석용 데이터셋을 선택하고 분석에 필요한 변수 등을 선정하는 단계와 유사한 CRISP-DM  방법론의 단계는?
-> 데이터 준비