반응형

전체 글 717

[빅데이터 분석 기획] 빅데이터 플랫폼

1. 빅데이터 플랫폼 개념 빅데이터 플랫폼은 빅데이터를 분석하거나 활용하는 데 필요한 필수 인프라이다. 빅데이터 플랫폼은 빅데이터 기술의 집약체이며 사용할 수 있는 환경이다. 빅데이터 플랫폼을 사용하여 수집, 저장, 분석, 활용할 수 있다. 2. 빅데이터 플랫폼 구성 요소 요소 설명 수집 원천 데이터의 정형/반정형/비정형 데이터를 수집 ETL,웹 크롤러, EAI 등을 사용 ETL: 추출(Extract), 변환(Transform), 적재(Load)하는 도구이다. 웹 크롤러(Web Crawler): 조직적이고 자동화 방법으로 웹 문서를 수집하여 내용을 추출하고 포함하는 하이퍼링크를 통해 재귀적으로 웹 콘텐츠 수집을 반복하는 기술 EAI(Enterprise Architecture Integration): 전사..

[빅데이터 분석 기획] 빅데이터 조직 및 인력

1. 조직 설계 빅데이터 업무 프로세스 단계 설명 도입 단계 빅데이터 도입 기획, 기술 검토, 도입 조직 구성, 예산 확보 등을 수행한다. 구축 단계 요구사항 분석 및 설계, 구현, 테스트 단계를 수행한다. 운영 단계 구축한 시스템을 인수하여 운영 계획을 수립하고 빅데이터 플랫폼을 운영한다. 조직 구조 유형 유형 설명 구조 집중 구조 분석 전담 조직에서 분석 업무를 담당한다. 우선순위를 정해서 분석 업무 진행한다. 현업 업무 부서에서 분석 업무와 중복 및 이원화 가능성이 높음 기능 구조 일반적인 형태 해당 부서에서 분석 수행 과거에 국한된 분석을 수행한다. 전사적 핵심 분석이 어렵다. 분산 구조 분석조직 인력들을 현업 부서로 직접 배치 전사 차원의 우선순위 수행 분석 결과에 빠른 피드백과 모범 사례(Bs..

[빅데이터 분석 기획] 빅데이터 산업의 이해

가볍게 보고 넘어가세요. 1. 산업별 빅데이터 활용 의료 건강 의료 기관 사이에 공유 및 활용이 커지고 헬스케어 시스템으로 개인 건강정보를 축적 과학 기술 여러 분야의 연구 개발의 성과물을 기반으로 과학 기술 빅데이터 축적 및 활용 플랫폼 제공 정보보안 빅데이터 분석으로 보안사고 징후 사전 파악으로 조기 대응이 가능 제조 공정 빅데이터 시스템을 통해 불량률을 줄여 품질 향상에 기여 중소 및 중견 기업에서 빅데이터 시스템을 활용할 수 있게 정부 예산의 투자 지원 소비 거래 구매 패턴 및 트렌드 예측 등을 통해 판매 전략 수립 및 리스크 관리 교통 물류 예측 제어를 통해 물류 및 유통 시스템 향상

[빅데이터 분석 기획] 빅데이터의 가치

1. 빅데이터의 가치 새로운 기회를 창출하고 위험을 해결하여 경제 발전에 기여한다. 패턴 분석 및 미래를 전망으로 불확실성을 제거한다. 패턴 분석을 통해 위험 징후 및 이상 신호를 포착하여 리스크를 감소시킨다. 분석을 통하여 개인화, 지능화 서비스를 확대를 통해 스마트한 경쟁력이 생긴다. 다른 분야와의 융합을 통해 새로운 가치를 창출한다. 2. 빅데이터 위기 빅데이터의 분석 기술의 급속한 발전으로 다양한 데이터 활용으로 새로운 가치를 창출하는 동시에 부정적인 영향도 발생하고 있다. 빅데이터의 부정적인 영향으로는 사생활 침해, 책임 원칙 훼손, 데이터 오용 등이 있다. 사생활 침해 개인정보를 포함하는 데이터를 목적 외로 활용하여 사생활 침해하는 사례가 발생할 수 있다. 사용자에게 개인정보의 유출 및 동의없..

[빅데이터 분석 기획] 빅데이터의 특징

1. 빅데이터 개념 빅데이터는 기존 데이터베이스 관리 시스템(DBMS)로 관리할 수 없는 양(수십 테라바이트)의 데이터를 말한다. 빅데이터는 정형 및 (반정형,) 비정형 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다. 데이터의 표시 단위 2. 빅데이터의 특징 Volume(양) 대규모의 데이터를 분석 3V Variety(다양성) 정형, 반정형, 비정형 데이터를 포함하여 다양한 데이터를 분석 Velocity(속도) 수집/분석/활용 속도 Value(가치) 수집 데이터를 분석해서 얻을 수 있는 가치 4V에 추가 Veracity(정확성) 정확성 = 신뢰성 방대한 데이터에서 노이즈 및 오류 제거를 통해 데이터의 품질과 신뢰성 제공 5V에 추가 3. 빅데이터의 가치 피라미드(DIKW) 요소 설명 예 데이터(D..

빅데이터 분석 기획 - 과목 소개

빅데이터 분석 기획 과목은 첫 번째 과목입니다. 국가기술 빅데이터 분석기사 페이지 주요 항목 세부 항목 세세 항목 빅데이터의 이해 빅데이터 개요 및 활용 빅데이터의 특징 빅데이터의 가치 데이터 산업의 이해 빅데이터 조직 및 인력 빅데이터 기술 및 제도 빅데이터 플랫폼 빅데이터와 인공지능 개인정보 법 제도 개인정보 활용 데이터 분석 계획 분석 방안 수립 분석 로드맵 설정 분석 문제 정의 데이터 분석 방안 분석 작업 계획 데이터 확보 계획 분석 절차 및 작업 계획 데이터 수집 및 저장 계획 데이터 수집 및 전환 데이터 수집 데이터 유형 및 속성 파악 데이터 변환 데이터 비식별화 데이터 품질 검증 데이터 적재 및 저장 데이터 적재 데이터 저장

[파이썬 입문] - 1. 소개 및 맛보기

안녕하세요. 언제나휴일입니다. 이번 강의는 "파이썬 입문"의 첫 번째 강의입니다. 00:10 소개 01:54 계산 04:01 변수 05:31 주석 06:47 출력문 09:37 다음 강의 소개 어린왕자 첫 페이지를 기억하시나요? 처음에 모자라고 생각한 그림이 나오죠. 그리고 다음 페이지로 넘겼을 때 모자가 아니라 보아구렁이가 코끼리를 삼킨 것임을 알았던 기억이 있을 거예요. 갑자기 왠 어린왕자 얘기를 하냐구요? 네. 눈치를 채셨겠지만 보아구렁이가 python입니다. Python 언어의 철학이 다양한 형태의 프로그래밍을 할 수 있게 여러 기술을 통합하여 사용할 수 있다는 생각에서 언어 이름을 작명한 것이죠. 표면적으로 파이썬을 만든 귀도 반 로섬이 좋아하는 코미디 [Monty Python’s Flying C..

5.docx - 이미지 추가하기

이번 글은 문서(Document)에 이미지를 추가하는 것을 알아봅시다. Document에는 이미지를 추가하는 add_picture 메서드를 제공합니다. add_picture(image_path_or_stream, width=None, height=None) add_picture 메서드에 첫 번째 인자로 이미지 파일 경로 혹은 스트림을 전달해 주어야 합니다. 1. 이미지 경로 전달 다음은 add_picture 메서드에 경로를 전달하여 이미지를 추가하는 기본 코드입니다. document = Document() document.add_picture('orum.jpg') document.save("picture1.docx") 2. Stream 전달 다음은 add_picture 메서드에 Stream을 전달하여 이..

Python/docx 2021.11.26

4. docx - 표(Table) 작성하기 add_table

이번에는 Document에 표(Table)을 추가하는 것을 알아봅시다. Document 에는 표(Table)을 추가하는 add_table 메서드를 제공합니다. add_table(rows, cols, style=None) - 테이블 추가 add_table 메서드는 입력 인자로 행과 열의 개수를 전달하며 스타일을 선택적으로 전달할 수 있습니다. 반환 값은 추가한 Table 개체입니다. 1. 표(Table) 추가 Table 형식에는 다양한 멤버를 제공하고 있습니다. Table 메뉴얼 사이트 - https://python-docx.readthedocs.io/en/latest/api/table.html 다음은 2행 5열의 테이블을 생성하여 각 셀에 "행 번호, 열 번호"를 내용으로 작성한 예제 코드입니다. fro..

Python/docx 2021.11.26

3. docx - 문서에 단락 추가하기 add_paragraph

Document 개체에 단락을 추가할 때 add_paragraph 메서드를 사용합니다. add_paragraph(text=U'',style=None) 1. 단락 추가 add_paragraph에 아무런 인자도 전달하지 않으면 빈 단락이 만들어집니다. add_paragraph에 문자열을 전달하여 내용을 포함한 단락을 만들 수 있습니다. 두 번째 인자로 단락 스타일을 지정할 수도 있습니다. from docx import Document document = Document()#Document개체 생성 document.add_paragraph()#빈 단락 추가 document.add_paragraph("두 번째 단락입니다.") #단락 추가 normal_style = document.styles["Normal"] ..

Python/docx 2021.11.25
반응형