빅데이터 소스

1. 인공지능과 빅데이터 개념 인공지능(Artifitial intelligence, AI)은 인간의 학습, 추론, 지각 능력을 인공적으로 구현하는 컴퓨터과학 분야 중 하나이다. 빅데이터란 기존 DBMS(데이터베이스 관리 시스템)의 능력을 넘어서는 대량의 정형 또는 비정형 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다. 2. 인공지능 탄생과 빅데이터의 관계 1940년대 후반과 1950년대 초반에 다양한 영역의 과학자들에게서 인공적인 두뇌의 가능성을 논의하였다. 1956년에 다트머스 컨퍼런스에서 "학습의 모든 면 또는 지능의 다른 모든 특성로 기계를 정밀하게 기술할 수 있고 이를 시물레이션 할 수 있다."라는 주장과 함께 인공지능(AI)이 탄생하였다. 하지만 컴퓨팅 능력의 한계를 비롯한 다양한 이유로..

1. 빅데이터 개념 빅데이터는 기존 데이터베이스 관리 시스템(DBMS)로 관리할 수 없는 양(수십 테라바이트)의 데이터를 말한다. 빅데이터는 정형 및 (반정형,) 비정형 데이터로부터 가치를 추출하고 결과를 분석하는 기술이다. 데이터의 표시 단위 2. 빅데이터의 특징 Volume(양) 대규모의 데이터를 분석 3V Variety(다양성) 정형, 반정형, 비정형 데이터를 포함하여 다양한 데이터를 분석 Velocity(속도) 수집/분석/활용 속도 Value(가치) 수집 데이터를 분석해서 얻을 수 있는 가치 4V에 추가 Veracity(정확성) 정확성 = 신뢰성 방대한 데이터에서 노이즈 및 오류 제거를 통해 데이터의 품질과 신뢰성 제공 5V에 추가 3. 빅데이터의 가치 피라미드(DIKW) 요소 설명 예 데이터(D..

안녕하세요. 언제나휴일입니다. [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 1. Morpheme 클래스 정의 [빅데이터/빅데이터 with python] - [빅데이터 python] 형태소 분석기 만들기 - 2. MorphemeParser 클래스 정의 이번에는 앞에서 만든 형태소 분석기인 MorphemeParser를 사용해 보기로 할게요. MorphemeParser와 WebRobot을 사용합니다. from MorphemeParser import MorphemeParser from WebRobot import WebRobot 수집할 URL을 입력받아 수집합니다. url = input("수집할 URL(예:http://example.co.kr):") wp = ..

안녕하세요. 언제나휴일입니다. 빅데이터의 주요 작업에는 수집, 저장, 처리, 분석 등이 있어요. 이 중에서 웹 페이지 수집하는 방법을 알아봅시다. 1. 사용할 라이브러리 웹 페이지를 요청하여 얻어올 때 urllib.request를 사용합니다. urllib.request를 축약하여 ureq로 부를게요. 수집한 웹 페이지를 분석할 때 BeautifulSoup을 사용합니다. import urllib.request as ureq from bs4 import BeautifulSoup 2. 요청한 주소의 웹 페이지 수집하는 함수 작성하기 def Collect(url): 요청한 주소의 웹 페이지 수집하여 반환 def Collect(url): ureq(urllib.request)에 있는 Request 개체를 생성합니다..