빅데이터 소스

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 3. MorphemeSql 클래스 정의 이번에는 Inverse 테이블과 연동하는 InverseSql 클래스를 정의합시다. 1. 사용할 라이브러리 파이썬에서 MSSQL을 사용하려면 pymssql을 포함합니다. 데이터베이스와 연결하는 부분은 미리 작성한 SqlCon을 사용할 거예요. import pymssql from SqlC..

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의 이번에는 형태소 테이블과 연동하는 MorphemeSql 클래스를 정의합시다. 1. 사용할 라이브러리 파이썬에서 MSSQL을 사용하려면 pymssql을 포함합니다. 데이터베이스와 연결하는 부분은 미리 작성한 SqlCon을 사용할 거예요. import pymssql from SqlCon import SqlCon 2. AddMorpheme - 형태소 추가하기 제일 먼저 형태소를 추가하는 메서드를 정의합시다. class Mo..

안녕하세요. 언제나휴일입니다. 앞에서 수집할 웹 페이지 후보 테이블(Candidate)와 수집한 웹 페이지 테이블(WebPage)을 만들었어요. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 1. Morpheme - 형태소 테이블 만들기 CREATE TABLE [dbo].[Morpheme] ( [mid] INT IDENTITY (1, 1) NOT NULL, [word] VARCHAR (50) NOT NULL, PRIMARY KEY CLUSTERED ([mid] ASC), CONSTRAINT [WU] UNIQUE NONCLUSTERED ([word] ASC) ); 형태소 테이블에는 형태소(word)와 일련 번호(mid)를 멤버로 갖습니다...

안녕하세요. 언제나휴일입니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 2. EHHelper 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 3. WebPage 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 4. WebPageSql 클래스 정의 이번에는 수집해야 할 웹 페이지 주소를 관리하는 Candidate테이블과 연동하는..

안녕하세요. 언제나휴일입니다. 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 2. EHHelper 클래스 정의 2020/11/16 - [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 3. WebPage 클래스 정의 이번에는 수집한 웹 페이지를 데이터베이스와 연동하는 클래스를 정의합시다. 1. SqlCon 클래스 정의 SqlCon 클래스는 Database에 연결을 담당하는 클래스입니다. DBMS는 MSSQL이며 로컬 호스트("127.0.0.1")에 1..

안녕하세요. 언제나휴일입니다. 이전 게시글에서는 웹 페이지를 수집하는 방법을 알아보았습니다. 1. 웹 수집 로봇 다음이나 네이버, 구글 등의 포탈 사이트에서 제공하는 웹 검색 서비스를 제공하려면 방대한 양의 웹 페이지를 수집해야 합니다. 이러한 작업은 수집할 사이트 주소를 사람이 일일이 전달하는 것은 불가능에 가까운 작업입니다. 초기에 수집할 Seed 사이트는 전달하지만 이 후에 수집할 웹 페이지는 전달할 필요가 없습니다. 웹 수집 로봇은 Seed 사이트를 수집하면 수집한 웹 페이지 내에 있는 링크를 다시 수집할 대상 사이트로 지정하기 때문이죠. 이러한 웹 페이지를 수집하는 로봇을 만들어 봅시다. 2. 테이블 정의 제일 먼저 테이블을 정의하기로 할게요. (여기에서는 MSSQL로 작업할게요. WebSear..