반응형

전체 글 717

[빅데이터 분석 기획] 데이터 유형 및 속성 파악

1.데이터 유형 저장 형태에 따른 분류 형태 설명 파일 데이터 (File) 로그 파일이나 엑셀, CSV 파일 등의 파일 형태로 저장된 데이터 데이터베이스 데이터 (DataBase) 데이터베이스의 컬럼 또는 테이블 등의 형태로 데이터베이스 형태로 저장된 데이터 콘텐츠 데이터 (Content) 이미지, 오디오, 비디오 등과 같은 미디어 데이터 스트림 데이터 (Stream) 네트워크를 통해서 실시간으로 전송하는 데이터 구조 형태에 따른 분류 형태 설명 정형 데이터 정형화 구조를 갖는 데이터 데이터 베이스에 저장된 테이블 데이터, CSV나 엑셀, 스프레드 시트 등에 정형 구조를 갖는 데이터 반정형 데이터 메타데이터를 포함하며 일정 형태의 구조를 갖고 있지만 값이나 형식에 일관성이 부족한 데이터 웹과 웹서비스에 ..

[빅데이터 분석 기획] 데이터 수집

1. Apache Kafka 실시간 데이터 피드를 관리하고 스트리밍 데이터를 처리하기 위한 대용량 분산 플랫폼이다. 2. CDC(Change Data Capture) 데이터베이스에 데이터가 변경되면 이를 백업이나 추적하기 위해 상요하는 처리 기술입니다. 데이터 웨어하우스 환경에서 주로 발생합니다. 그 이유는 시간에 걸쳐 데이터 상태를 포착하고 보존하는 일이 데이터 웨어하우스의 핵심 기능 가운데 하나이기 때문이다. 그러나 CDC는 모든 데이터베이스, 데이터 저장소 시스템에서 활용이 가능하다. [위키백과 발췌] Push: 소스 프로세스는 자체 프로세스 내에서 변경 스냅샷을 만들고 다운스트림으로 로우를 전달한다. 이 다운스트림 프로세스는 스냅샷을 사용하고 자체 서브셋을 만든 다음에 이를 다음 프로세스에 전달한..

[빅데이터 분석 기획] 데이터 확보 계획

데이터 확보 계획 수립 절차 단계 설명 목표 정의 구체적인 성과 목표를 정의한다. 성과 측정을 위한 지표를 설정한다. 요구사항 도출 필요한 데이터 확보할 계획을 수립힌다. 데이터 정제 수준과 저장 형태를 결정한다. 기존 시스템과 도구 활용 여부를 결정한다. 예산안 수립 자원 및 예산을 수립한다. 계획 수립 인력 투입 방안, 일정 관리, 위험 및 품질 관리

[빅데이터 분석 기획] 데이터 분석 방안

1. 빅데이터 분석 방법론의 분석 절차 단계 분석 기획 (Planning) 비지니스를 이해하고 범위를 설정 프로젝트를 정의하고 계획을 수립 프로젝트 위험을 발굴하여 사전 대응 방안을 수립 데이터 준비 (Preparing) 필요한 데이터를 정의 전사차원의 데이터 스토어 설계 데이터 수집 데이터 분석 (Analyzing) 분석 데이터 준비 텍스트 분석 탐색적 분석 모델링, 모델 평가 및 검증,모델 적용 및 운영 방안 수립 시스템 구현 (Developing) 설계 및 구현, 테스트 및 운영 평가 및 전개 (Deploying) 프로젝트 평가 보고, 모델 발전 계획 수립 2. CRISP-DM(Cross Industry Standard Process for Data Mining) 분석 방법론 데이터 마이닝 전문가가..

[빅데이터 분석 기획] 분석 문제 정의

1. 분석 문제 분석은 과제 관련 현상이나 원인 및 해결 방안에 대한 자료를 수집한 후 분석하여 의사 결정에 활용하는 활동입니다. 문제는 기대 상태와 현재 상태를 같은 수준으로 맞추는 과정입니다. 2. 분석 방식 하향식 접근 방식과 상향식 접근 방식이 있으며 상호 보완해 나가면서 분석합니다. 하향식 접근 방식 분석 과제는 정해져 있고 해법을 찾기 위해 체계적으로 분석하는 방법으로 비지니스 모델 캔버스가 있습니다. 단계 설명 문제 탐색 동종 사례를 벤치마킹하여 문제를 탐색하고 분석 유즈케이스를 정의 문제 정의 필요한 데이터와 기법을 정의 해결방안 탐색 기존 시스템 + 역량 보유: 기존 시스템을 개선하여 활용 기존 시스템 + 역량 미보유: 교육이나 채용을 통해 역량 확보 신규 도입 + 역량 확보: 시스템 고..

[빅데이터 분석 기획] 분석 로드맵 설정

1. 분석 로드맵 분석 로드맵은 단계별로 추진할 목표를 정의하고 분석 과제를 수행하기 위해 필요한 기준을 설정하는 종합 계획입니다. 데이터 분석체계 도입: 분석 과제를 정의하고 로드맵을 수립합니다. 데이터 분석 유효성 검증: 분석 알고리즘과 아키텍쳐를 설계하고 분석 과제 파일럿을 수행합니다. 데이터 분석 확산 및 고도화: 시스템을 구축하고 시스템을 고도화시킵니다. 2. 분석 마스터 플랜 분석 마스터 플랜은 분석 기획의 특성을 고려하여 기업에 필요한 데이터 분석 과제를 빠짐없이 도출하여 과제의 우선 순위를 결정하고 기간별로 계획을 수립하는 것입니다. 분석 과제 우선 순위 평가 기준 시급성과 난이도에 따라 결정합니다. 난이도 어려움 1 2 1. 현재 시급하게 추진해야 하지만 난이도가 높아 바로 적용하기 어려..

[빅데이터 분석 기획] 개인정보 활용

1. 프라이버시 보호 모델 k-익명성(k-anonymity) 특정인임을 추론할 수 있는지 여부를 검토하여 일정 확률수준 이상 비식별되도록 하는 것을 말합니다. 같은 값이 K 개 이상 존재하도록 하면 특정 개인을 식별할 확률은 1/k입니다. 공개 데이터에 대한 연결공격 취약점을 방어하기 위해 사용합니다. k-익명성의 취약점으로 동질성 공격과 배경지식에 의한 공격을 들 수 있습니다. 동질성 공격: 레코드를 범주화하더라도 일부 정보들이 모두 같은 값을 가질 수 있어서 이를 이용하는 공격입니다. 배경 지식에 의한 공격: 주어진 데이터 이외의 배경 지식을 통해 공격 대상의 민감한 정보를 알아내는 공격입니다. l-다양성(l-diversity) 특정이 추론이 안된다고 해도 민감한 정보의 다양성을 높여 추론 가능성을 ..

[빅데이터 분석 기획] 개인 정보 법 제도

1. 개인 정보 살아있는 개인에 관한 정보로서 성명, 주민등록번호 및 영상 등을 통하여 개인을 알아볼 수 있는 정보를 말합니다. 개인정보보호란 근본적으로 정보주체ㅐ의 개인정보 자기결정권을 철저히 보장하는 것을 의미합니다. 개인 정보 보호에 관한 법령에는 개인정보 보호법, 정보통신망법, 신용정보법, 위치정보법이 있습니다. 2. 개인정보 보호법 수집·이용(제15조) 1. 정보주체의 동의를 받은 경우 2. 법률에 특별한 규정이 있거나 법령상 의무를 준수하기 위하여 불가피한 경우 3. 공공기관이 법령 등에서 정하는 소관 업무의 수행을 위하여 불가피한 경우 4. 정보주체와의 계약의 체결 및 이행을 위하여 불가피하게 필요한 경우 5. 정보주체 또는 그 법정대리인이 의사표시를 할 수 없는 상태에 있거나 주소불명 등으..

[빅데이터 분석 기획] 빅데이터와 인공지능

1. 인공지능과 빅데이터 개념 인공지능(Artifitial intelligence, AI)은 인간의 학습, 추론, 지각 능력을 인공적으로 구현하는 컴퓨터과학 분야 중 하나이다. 빅데이터란 기존 DBMS(데이터베이스 관리 시스템)의 능력을 넘어서는 대량의 정형 또는 비정형 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다. 2. 인공지능 탄생과 빅데이터의 관계 1940년대 후반과 1950년대 초반에 다양한 영역의 과학자들에게서 인공적인 두뇌의 가능성을 논의하였다. 1956년에 다트머스 컨퍼런스에서 "학습의 모든 면 또는 지능의 다른 모든 특성로 기계를 정밀하게 기술할 수 있고 이를 시물레이션 할 수 있다."라는 주장과 함께 인공지능(AI)이 탄생하였다. 하지만 컴퓨팅 능력의 한계를 비롯한 다양한 이유로..

반응형