빅데이터 소스

빅데이터 분석 기획 과목은 첫 번째 과목입니다. 국가기술 빅데이터 분석기사 페이지 주요 항목 세부 항목 세세 항목 빅데이터의 이해 빅데이터 개요 및 활용 빅데이터의 특징 빅데이터의 가치 데이터 산업의 이해 빅데이터 조직 및 인력 빅데이터 기술 및 제도 빅데이터 플랫폼 빅데이터와 인공지능 개인정보 법 제도 개인정보 활용 데이터 분석 계획 분석 방안 수립 분석 로드맵 설정 분석 문제 정의 데이터 분석 방안 분석 작업 계획 데이터 확보 계획 분석 절차 및 작업 계획 데이터 수집 및 저장 계획 데이터 수집 및 전환 데이터 수집 데이터 유형 및 속성 파악 데이터 변환 데이터 비식별화 데이터 품질 검증 데이터 적재 및 저장 데이터 적재 데이터 저장

안녕하세요. 언제나휴일입니다. 앞에서 웹 수집 로봇 및 형태소 분석, 역파일 생성에 관하여 구현하였습니다. [빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개 [빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의 [빅데이터 python] 웹 검색 엔진 만들기 - 3. MorphemeSql 클래스 정의 [빅데이터 python] 웹 검색 엔진 만들기 - 4. InverseSql 클래스 정의 [빅데이터 python] 웹 검색 엔진 만들기 - 5. 수집한 웹 페이지 형태소 분석 및 역파일 생성하기 [빅데이터 python] 웹 검색 엔진 만들기 - 6. 수집 결과를 워드 클라우드로 나타내기 이번에는 검색 요청한 내용을 포함하는 웹 페이지를 TF-IDF..

안녕하세요. 언제나휴일입니다. 앞에서 웹 수집 로봇 및 형태소 분석, 역파일 생성에 관하여 구현하였습니다. [빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개 [빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의 [빅데이터 python] 웹 검색 엔진 만들기 - 3. MorphemeSql 클래스 정의 [빅데이터 python] 웹 검색 엔진 만들기 - 4. InverseSql 클래스 정의 [빅데이터 python] 웹 검색 엔진 만들기 - 5. 수집한 웹 페이지 형태소 분석 및 역파일 생성하기 이번에는 수집 로봇에 의해 얻어온 결과를 워드 클라우드로 표시하고 테이블로 나타내기로 할게요. 새로운 프로젝트를 생성하고 아에서 작성한(1~4) 파일들은 ..

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 3. MorphemeSql 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 4. InverseSql 클래스 정의 이번에는 웹 수집 로봇이 수집한 웹 페이지를 형태소 분석하고 이를 형태소 테이블 및 역파일 테이블에 추가하는 부분을 구현합시다. 1. 사용할 라이브러리..

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 3. MorphemeSql 클래스 정의 이번에는 Inverse 테이블과 연동하는 InverseSql 클래스를 정의합시다. 1. 사용할 라이브러리 파이썬에서 MSSQL을 사용하려면 pymssql을 포함합니다. 데이터베이스와 연결하는 부분은 미리 작성한 SqlCon을 사용할 거예요. import pymssql from SqlC..

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의 이번에는 형태소 테이블과 연동하는 MorphemeSql 클래스를 정의합시다. 1. 사용할 라이브러리 파이썬에서 MSSQL을 사용하려면 pymssql을 포함합니다. 데이터베이스와 연결하는 부분은 미리 작성한 SqlCon을 사용할 거예요. import pymssql from SqlCon import SqlCon 2. AddMorpheme - 형태소 추가하기 제일 먼저 형태소를 추가하는 메서드를 정의합시다. class Mo..

안녕하세요. 언제나휴일입니다. 앞에서 수집할 웹 페이지 후보 테이블(Candidate)와 수집한 웹 페이지 테이블(WebPage)을 만들었어요. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 1. Morpheme - 형태소 테이블 만들기 CREATE TABLE [dbo].[Morpheme] ( [mid] INT IDENTITY (1, 1) NOT NULL, [word] VARCHAR (50) NOT NULL, PRIMARY KEY CLUSTERED ([mid] ASC), CONSTRAINT [WU] UNIQUE NONCLUSTERED ([word] ASC) ); 형태소 테이블에는 형태소(word)와 일련 번호(mid)를 멤버로 갖습니다...

안녕하세요. 언제나휴일입니다. 앞에서 우리는 웹 페이지를 수집하는 로봇과 형태소 분석기를 만들었습니다. 더보기 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 2. EHHelper 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 3. WebPage 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 4. WebPageSql 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 ..

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 1. Morpheme 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 2. MorphemeParser 클래스 정의 이번에는 앞에서 만든 형태소 분석기인 MorphemeParser를 사용해 보기로 할게요. MorphemeParser와 WebRobot을 사용합니다. from MorphemeParser import MorphemeParser from WebRobot import WebRobot 수집할 URL을 입력받아 수집합니다. url = input("수집할 URL(예:http://example.co.kr):") wp = ..

안녕하세요. 언제나휴일입니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 1. Morpheme 클래스 정의 이번에는 형태소 분석기 클래스(MorphemeParser)를 정의합시다. 형태소 분석기는 소스 내용을 형태소 별로 구분하는 부분과 같은 형태소를 하나로 합치는 부분으로 구성할 거예요. 1. 사용할 라이브러리 포함 형태소를 나타낸 Morpheme 클래스를 사용합니다. 문자열 내용 중에 태그나 Html 특수 문자, 심볼 등을 없애기 위해 EHHelper도 사용합니다. from Morpheme import Morpheme from EHHelper import EHHelper 2. Merge - 같은 형태소를 하나로 합치는 메서드..