빅데이터 소스

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 1. Morpheme 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 2. MorphemeParser 클래스 정의 이번에는 앞에서 만든 형태소 분석기인 MorphemeParser를 사용해 보기로 할게요. MorphemeParser와 WebRobot을 사용합니다. from MorphemeParser import MorphemeParser from WebRobot import WebRobot 수집할 URL을 입력받아 수집합니다. url = input("수집할 URL(예:http://example.co.kr):") wp = ..

안녕하세요. 언제나휴일입니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 1. Morpheme 클래스 정의 이번에는 형태소 분석기 클래스(MorphemeParser)를 정의합시다. 형태소 분석기는 소스 내용을 형태소 별로 구분하는 부분과 같은 형태소를 하나로 합치는 부분으로 구성할 거예요. 1. 사용할 라이브러리 포함 형태소를 나타낸 Morpheme 클래스를 사용합니다. 문자열 내용 중에 태그나 Html 특수 문자, 심볼 등을 없애기 위해 EHHelper도 사용합니다. from Morpheme import Morpheme from EHHelper import EHHelper 2. Merge - 같은 형태소를 하나로 합치는 메서드..

안녕하세요. 언제나 휴일입니다. 앞에서 웹 수집 로봇을 만들어 보았습니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 2. EHHelper 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 3. WebPage 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 4. WebPageSql 클래스 정의 2020/11/16 - [빅데이터/빅..