반응형

전체 글 678

[빅데이터 python] 웹 검색 엔진 만들기 - 3. MorphemeSql 클래스 정의

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의 이번에는 형태소 테이블과 연동하는 MorphemeSql 클래스를 정의합시다. 1. 사용할 라이브러리 파이썬에서 MSSQL을 사용하려면 pymssql을 포함합니다. 데이터베이스와 연결하는 부분은 미리 작성한 SqlCon을 사용할 거예요. import pymssql from SqlCon import SqlCon 2. AddMorpheme - 형태소 추가하기 제일 먼저 형태소를 추가하는 메서드를 정의합시다. class Mo..

[빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의

안녕하세요. 언제나휴일입니다. 앞에서 수집할 웹 페이지 후보 테이블(Candidate)와 수집한 웹 페이지 테이블(WebPage)을 만들었어요. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 1. Morpheme - 형태소 테이블 만들기 CREATE TABLE [dbo].[Morpheme] ( [mid] INT IDENTITY (1, 1) NOT NULL, [word] VARCHAR (50) NOT NULL, PRIMARY KEY CLUSTERED ([mid] ASC), CONSTRAINT [WU] UNIQUE NONCLUSTERED ([word] ASC) ); 형태소 테이블에는 형태소(word)와 일련 번호(mid)를 멤버로 갖습니다...

[빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개

안녕하세요. 언제나휴일입니다. 앞에서 우리는 웹 페이지를 수집하는 로봇과 형태소 분석기를 만들었습니다. 더보기 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 2. EHHelper 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 3. WebPage 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 4. WebPageSql 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 ..

[빅데이터 python] 형태소 분석기 만들기 - 3. 사용하기

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 1. Morpheme 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 2. MorphemeParser 클래스 정의 이번에는 앞에서 만든 형태소 분석기인 MorphemeParser를 사용해 보기로 할게요. MorphemeParser와 WebRobot을 사용합니다. from MorphemeParser import MorphemeParser from WebRobot import WebRobot 수집할 URL을 입력받아 수집합니다. url = input("수집할 URL(예:http://example.co.kr):") wp = ..

[빅데이터 python] 형태소 분석기 만들기 - 2. MorphemeParser 클래스 정의

안녕하세요. 언제나휴일입니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 1. Morpheme 클래스 정의 이번에는 형태소 분석기 클래스(MorphemeParser)를 정의합시다. 형태소 분석기는 소스 내용을 형태소 별로 구분하는 부분과 같은 형태소를 하나로 합치는 부분으로 구성할 거예요. 1. 사용할 라이브러리 포함 형태소를 나타낸 Morpheme 클래스를 사용합니다. 문자열 내용 중에 태그나 Html 특수 문자, 심볼 등을 없애기 위해 EHHelper도 사용합니다. from Morpheme import Morpheme from EHHelper import EHHelper 2. Merge - 같은 형태소를 하나로 합치는 메서드..

[빅데이터 python] 형태소 분석기 만들기 - 1. Morpheme 클래스 정의

안녕하세요. 언제나 휴일입니다. 앞에서 웹 수집 로봇을 만들어 보았습니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 2. EHHelper 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 3. WebPage 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 4. WebPageSql 클래스 정의 2020/11/16 - [빅데이터/빅..

[빅데이터 python] 웹 수집 로봇 만들기 - 7. WebRobot 가동 예

안녕하세요. 언제나휴일입니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 2. EHHelper 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 3. WebPage 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 4. WebPageSql 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 ..

[빅데이터 python] 웹 수집 로봇 만들기 - 6. WebRobot 클래스 정의

안녕하세요. 언제나휴일입니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 2. EHHelper 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 3. WebPage 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 4. WebPageSql 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 ..

[빅데이터 python] 웹 수집 로봇 만들기 - 5. CandidateSql 클래스 정의

안녕하세요. 언제나휴일입니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 2. EHHelper 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 3. WebPage 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 4. WebPageSql 클래스 정의 이번에는 수집해야 할 웹 페이지 주소를 관리하는 Candidate테이블과 연동하는..

[빅데이터 python] 웹 수집 로봇 만들기 - 4. WebPageSql 클래스 정의

안녕하세요. 언제나휴일입니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 2. EHHelper 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 3. WebPage 클래스 정의 이번에는 수집한 웹 페이지를 데이터베이스와 연동하는 클래스를 정의합시다. 1. SqlCon 클래스 정의 SqlCon 클래스는 Database에 연결을 담당하는 클래스입니다. DBMS는 MSSQL이며 로컬 호스트("127.0.0.1")에 1..

반응형