빅데이터 소스

1. 분석 로드맵 분석 로드맵은 단계별로 추진할 목표를 정의하고 분석 과제를 수행하기 위해 필요한 기준을 설정하는 종합 계획입니다. 데이터 분석체계 도입: 분석 과제를 정의하고 로드맵을 수립합니다. 데이터 분석 유효성 검증: 분석 알고리즘과 아키텍쳐를 설계하고 분석 과제 파일럿을 수행합니다. 데이터 분석 확산 및 고도화: 시스템을 구축하고 시스템을 고도화시킵니다. 2. 분석 마스터 플랜 분석 마스터 플랜은 분석 기획의 특성을 고려하여 기업에 필요한 데이터 분석 과제를 빠짐없이 도출하여 과제의 우선 순위를 결정하고 기간별로 계획을 수립하는 것입니다. 분석 과제 우선 순위 평가 기준 시급성과 난이도에 따라 결정합니다. 난이도 어려움 1 2 1. 현재 시급하게 추진해야 하지만 난이도가 높아 바로 적용하기 어려..

1. 프라이버시 보호 모델 k-익명성(k-anonymity) 특정인임을 추론할 수 있는지 여부를 검토하여 일정 확률수준 이상 비식별되도록 하는 것을 말합니다. 같은 값이 K 개 이상 존재하도록 하면 특정 개인을 식별할 확률은 1/k입니다. 공개 데이터에 대한 연결공격 취약점을 방어하기 위해 사용합니다. k-익명성의 취약점으로 동질성 공격과 배경지식에 의한 공격을 들 수 있습니다. 동질성 공격: 레코드를 범주화하더라도 일부 정보들이 모두 같은 값을 가질 수 있어서 이를 이용하는 공격입니다. 배경 지식에 의한 공격: 주어진 데이터 이외의 배경 지식을 통해 공격 대상의 민감한 정보를 알아내는 공격입니다. l-다양성(l-diversity) 특정이 추론이 안된다고 해도 민감한 정보의 다양성을 높여 추론 가능성을 ..

1. 개인 정보 살아있는 개인에 관한 정보로서 성명, 주민등록번호 및 영상 등을 통하여 개인을 알아볼 수 있는 정보를 말합니다. 개인정보보호란 근본적으로 정보주체ㅐ의 개인정보 자기결정권을 철저히 보장하는 것을 의미합니다. 개인 정보 보호에 관한 법령에는 개인정보 보호법, 정보통신망법, 신용정보법, 위치정보법이 있습니다. 2. 개인정보 보호법 수집·이용(제15조) 1. 정보주체의 동의를 받은 경우 2. 법률에 특별한 규정이 있거나 법령상 의무를 준수하기 위하여 불가피한 경우 3. 공공기관이 법령 등에서 정하는 소관 업무의 수행을 위하여 불가피한 경우 4. 정보주체와의 계약의 체결 및 이행을 위하여 불가피하게 필요한 경우 5. 정보주체 또는 그 법정대리인이 의사표시를 할 수 없는 상태에 있거나 주소불명 등으..

1. 인공지능과 빅데이터 개념 인공지능(Artifitial intelligence, AI)은 인간의 학습, 추론, 지각 능력을 인공적으로 구현하는 컴퓨터과학 분야 중 하나이다. 빅데이터란 기존 DBMS(데이터베이스 관리 시스템)의 능력을 넘어서는 대량의 정형 또는 비정형 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다. 2. 인공지능 탄생과 빅데이터의 관계 1940년대 후반과 1950년대 초반에 다양한 영역의 과학자들에게서 인공적인 두뇌의 가능성을 논의하였다. 1956년에 다트머스 컨퍼런스에서 "학습의 모든 면 또는 지능의 다른 모든 특성로 기계를 정밀하게 기술할 수 있고 이를 시물레이션 할 수 있다."라는 주장과 함께 인공지능(AI)이 탄생하였다. 하지만 컴퓨팅 능력의 한계를 비롯한 다양한 이유로..

1. 빅데이터 플랫폼 개념 빅데이터 플랫폼은 빅데이터를 분석하거나 활용하는 데 필요한 필수 인프라이다. 빅데이터 플랫폼은 빅데이터 기술의 집약체이며 사용할 수 있는 환경이다. 빅데이터 플랫폼을 사용하여 수집, 저장, 분석, 활용할 수 있다. 2. 빅데이터 플랫폼 구성 요소 요소 설명 수집 원천 데이터의 정형/반정형/비정형 데이터를 수집 ETL,웹 크롤러, EAI 등을 사용 ETL: 추출(Extract), 변환(Transform), 적재(Load)하는 도구이다. 웹 크롤러(Web Crawler): 조직적이고 자동화 방법으로 웹 문서를 수집하여 내용을 추출하고 포함하는 하이퍼링크를 통해 재귀적으로 웹 콘텐츠 수집을 반복하는 기술 EAI(Enterprise Architecture Integration): 전사..

1. 조직 설계 빅데이터 업무 프로세스 단계 설명 도입 단계 빅데이터 도입 기획, 기술 검토, 도입 조직 구성, 예산 확보 등을 수행한다. 구축 단계 요구사항 분석 및 설계, 구현, 테스트 단계를 수행한다. 운영 단계 구축한 시스템을 인수하여 운영 계획을 수립하고 빅데이터 플랫폼을 운영한다. 조직 구조 유형 유형 설명 구조 집중 구조 분석 전담 조직에서 분석 업무를 담당한다. 우선순위를 정해서 분석 업무 진행한다. 현업 업무 부서에서 분석 업무와 중복 및 이원화 가능성이 높음 기능 구조 일반적인 형태 해당 부서에서 분석 수행 과거에 국한된 분석을 수행한다. 전사적 핵심 분석이 어렵다. 분산 구조 분석조직 인력들을 현업 부서로 직접 배치 전사 차원의 우선순위 수행 분석 결과에 빠른 피드백과 모범 사례(Bs..

가볍게 보고 넘어가세요. 1. 산업별 빅데이터 활용 의료 건강 의료 기관 사이에 공유 및 활용이 커지고 헬스케어 시스템으로 개인 건강정보를 축적 과학 기술 여러 분야의 연구 개발의 성과물을 기반으로 과학 기술 빅데이터 축적 및 활용 플랫폼 제공 정보보안 빅데이터 분석으로 보안사고 징후 사전 파악으로 조기 대응이 가능 제조 공정 빅데이터 시스템을 통해 불량률을 줄여 품질 향상에 기여 중소 및 중견 기업에서 빅데이터 시스템을 활용할 수 있게 정부 예산의 투자 지원 소비 거래 구매 패턴 및 트렌드 예측 등을 통해 판매 전략 수립 및 리스크 관리 교통 물류 예측 제어를 통해 물류 및 유통 시스템 향상

1. 빅데이터의 가치 새로운 기회를 창출하고 위험을 해결하여 경제 발전에 기여한다. 패턴 분석 및 미래를 전망으로 불확실성을 제거한다. 패턴 분석을 통해 위험 징후 및 이상 신호를 포착하여 리스크를 감소시킨다. 분석을 통하여 개인화, 지능화 서비스를 확대를 통해 스마트한 경쟁력이 생긴다. 다른 분야와의 융합을 통해 새로운 가치를 창출한다. 2. 빅데이터 위기 빅데이터의 분석 기술의 급속한 발전으로 다양한 데이터 활용으로 새로운 가치를 창출하는 동시에 부정적인 영향도 발생하고 있다. 빅데이터의 부정적인 영향으로는 사생활 침해, 책임 원칙 훼손, 데이터 오용 등이 있다. 사생활 침해 개인정보를 포함하는 데이터를 목적 외로 활용하여 사생활 침해하는 사례가 발생할 수 있다. 사용자에게 개인정보의 유출 및 동의없..

1. 빅데이터 개념 빅데이터는 기존 데이터베이스 관리 시스템(DBMS)로 관리할 수 없는 양(수십 테라바이트)의 데이터를 말한다. 빅데이터는 정형 및 (반정형,) 비정형 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다. 데이터의 표시 단위 2. 빅데이터의 특징 Volume(양) 대규모의 데이터를 분석 3V Variety(다양성) 정형, 반정형, 비정형 데이터를 포함하여 다양한 데이터를 분석 Velocity(속도) 수집/분석/활용 속도 Value(가치) 수집 데이터를 분석해서 얻을 수 있는 가치 4V에 추가 Veracity(정확성) 정확성 = 신뢰성 방대한 데이터에서 노이즈 및 오류 제거를 통해 데이터의 품질과 신뢰성 제공 5V에 추가 3. 빅데이터의 가치 피라미드(DIKW) 요소 설명 예 데이터(D..

빅데이터 분석 기획 과목은 첫 번째 과목입니다. 국가기술 빅데이터 분석기사 페이지 주요 항목 세부 항목 세세 항목 빅데이터의 이해 빅데이터 개요 및 활용 빅데이터의 특징 빅데이터의 가치 데이터 산업의 이해 빅데이터 조직 및 인력 빅데이터 기술 및 제도 빅데이터 플랫폼 빅데이터와 인공지능 개인정보 법 제도 개인정보 활용 데이터 분석 계획 분석 방안 수립 분석 로드맵 설정 분석 문제 정의 데이터 분석 방안 분석 작업 계획 데이터 확보 계획 분석 절차 및 작업 계획 데이터 수집 및 저장 계획 데이터 수집 및 전환 데이터 수집 데이터 유형 및 속성 파악 데이터 변환 데이터 비식별화 데이터 품질 검증 데이터 적재 및 저장 데이터 적재 데이터 저장