빅데이터 소스

안녕하세요. 언제나휴일입니다. 앞에서 수집할 웹 페이지 후보 테이블(Candidate)와 수집한 웹 페이지 테이블(WebPage)을 만들었어요. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 수집 로봇 만들기 - 1. 테이블 정의 1. Morpheme - 형태소 테이블 만들기 CREATE TABLE [dbo].[Morpheme] ( [mid] INT IDENTITY (1, 1) NOT NULL, [word] VARCHAR (50) NOT NULL, PRIMARY KEY CLUSTERED ([mid] ASC), CONSTRAINT [WU] UNIQUE NONCLUSTERED ([word] ASC) ); 형태소 테이블에는 형태소(word)와 일련 번호(mid)를 멤버로 갖습니다...

안녕하세요. 언제나휴일입니다. 이전 게시글에서는 웹 페이지를 수집하는 방법을 알아보았습니다. 1. 웹 수집 로봇 다음이나 네이버, 구글 등의 포탈 사이트에서 제공하는 웹 검색 서비스를 제공하려면 방대한 양의 웹 페이지를 수집해야 합니다. 이러한 작업은 수집할 사이트 주소를 사람이 일일이 전달하는 것은 불가능에 가까운 작업입니다. 초기에 수집할 Seed 사이트는 전달하지만 이 후에 수집할 웹 페이지는 전달할 필요가 없습니다. 웹 수집 로봇은 Seed 사이트를 수집하면 수집한 웹 페이지 내에 있는 링크를 다시 수집할 대상 사이트로 지정하기 때문이죠. 이러한 웹 페이지를 수집하는 로봇을 만들어 봅시다. 2. 테이블 정의 제일 먼저 테이블을 정의하기로 할게요. (여기에서는 MSSQL로 작업할게요. WebSear..