빅데이터 소스

안녕하세요. 언제나휴일입니다. 앞에서 웹 수집 로봇 및 형태소 분석, 역파일 생성에 관하여 구현하였습니다. [빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개 [빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의 [빅데이터 python] 웹 검색 엔진 만들기 - 3. MorphemeSql 클래스 정의 [빅데이터 python] 웹 검색 엔진 만들기 - 4. InverseSql 클래스 정의 [빅데이터 python] 웹 검색 엔진 만들기 - 5. 수집한 웹 페이지 형태소 분석 및 역파일 생성하기 이번에는 수집 로봇에 의해 얻어온 결과를 워드 클라우드로 표시하고 테이블로 나타내기로 할게요. 새로운 프로젝트를 생성하고 아에서 작성한(1~4) 파일들은 ..

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 1. 웹 검색 엔진 소개 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 2. 형태소 및 Inverse 테이블 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 3. MorphemeSql 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 웹 검색 엔진 만들기 - 4. InverseSql 클래스 정의 이번에는 웹 수집 로봇이 수집한 웹 페이지를 형태소 분석하고 이를 형태소 테이블 및 역파일 테이블에 추가하는 부분을 구현합시다. 1. 사용할 라이브러리..

이전 강의에서 작성한 뉴스 크롤링 라이브러리를 참조 추가합니다. 그리고 이번 강의에서는 형태소를 분석하여 구현합니다. 참고로 2020년 5월 4일 저녁 7시 30분에 "스포츠"로 검색하였습니다. 1100개의 뉴스의 앞부분을 분석한 BEST50입니다. (한 글자이며 의미없는 것은 필터링하였습니다.) 50. 스포티비뉴스:33 49. KBO:33 48. 손진아:33 47. 첫:34 46. 예정:34 45. 최고:35 44. 활동:35 43. 트랙스:35 42. 교육기부:36 41. 모델:38 40. 72개월:38 39. 스포츠마케팅:39 38. 한도:40 37. 대표적인:40 36. 후원:42 35. 관계자:43 34. 개막전:45 33. 5일:46 32. 사진:47 31. SUV:47 30. 개막:49 29..