[빅데이터 분석 기획] 데이터 분석 방안

1. 빅데이터 분석 방법론의 분석 절차

단계
분석 기획 (Planning)	비지니스를 이해하고 범위를 설정 프로젝트를 정의하고 계획을 수립 프로젝트 위험을 발굴하여 사전 대응 방안을 수립
데이터 준비 (Preparing)	필요한 데이터를 정의 전사차원의 데이터 스토어 설계 데이터 수집
데이터 분석 (Analyzing)	분석 데이터 준비 텍스트 분석 탐색적 분석 모델링, 모델 평가 및 검증,모델 적용 및 운영 방안 수립
시스템 구현 (Developing)	설계 및 구현, 테스트 및 운영
평가 및 전개 (Deploying)	프로젝트 평가 보고, 모델 발전 계획 수립

2. CRISP-DM(Cross Industry Standard Process for Data Mining) 분석 방법론

데이터 마이닝 전문가가 사용하는 일반적인 접근 방식을 설명하는 개방형 표준 프로세스 모델입니다.

1996년에 구성하였고 1997년 ESPRIT 자금 조달 계획에 따라 유럽 연합 프로젝트가 되었습니다.  초기 5개의 회사(ISL, Teradata, Daimler AG, NCR, OHRA)가 주도하였는데 ISL은 SPSS에 병합되었습니다.

비지니스 이해 - 데이터 이해 - 데이터 준비 - 모델링 - 평가 - 전개  6단계로 진행합니다.

CRISP-DM 다이어그램 [작가:케네스 젠슨]

3. KDD(Knowledge Discovery in Databases) 분석 방법론

Fayyad 에 의해 프로파일링 기술을 이용해서 데이터로부터 통계, 지식을 얻기 위한 마이닝 프로세스입니다.

단계	설명
데이터 세트 선택 (Selection)	Target Data 구성
데이터 전처리 (Preprocessing)	결측값, 노이즈, 이상값 제거
데이터 변환 (Transformation)	변수 선택, 차원 축소
데이터 마이닝 (Data Mining)	유의미한 정보를 추출
데이터 마이닝 결과 평가 (Interpretaion/Evaluation)	결과를 활용하는 단계

4. SEMMA(Sampling Exploration Modification Assessment) 분석 방법론

SAS Institute 에서 개발한 방법론입니다.

단계	설명
샘플	데이터 샘플링과 데이터 분할
탐색	변수 간의 연관성
수정	데이터 모델링을 준비하기 위해 변수 선택, 생성 및 변환
모델	원하는 결과를 제공할 수 있는 모델을 생성
검증	생성된 모델의 신뢰성과 유용성을 검증