빅데이터 소스

인터넷 영화 리뷰 데이터(IMDB) 구조 파악 코드 from keras.datasets import imdb (x_train, y_train), (x_test, y_test) = imdb.load_data() print("결과 종류:",max(y_train)+1) #0은 부정, 1은 긍정 len_result = [len(s) for s in x_train] print(len_result) word_to_index = imdb.get_word_index() index_to_word={} for key, value in word_to_index.items(): index_to_word[value] = key cnt=0 for iv in X_train[0]: print(index_to_word[iv],end=..

import keras from keras import models, layers from keras import backend from keras import datasets batch_size = 128 epochs = 10 num_classes = 10 #데이터 로딩 (x_train, y_train), (x_test, y_test) = datasets.mnist.load_data() img_rows, img_cols = x_train.shape[1:] if backend.image_data_format() == 'channels_first': x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols) x_test = x_test.resha..

#데이터 로딩 import numpy as np from keras import datasets data_train,data_test = datasets.mnist.load_data() image_train, label_train = data_train image_test, label_test = data_test #데이터 정제화 from keras.utils import np_utils label_train2 = np_utils.to_categorical(label_train) print(label_test[0]) label_test2 = np_utils.to_categorical(label_test) print(label_test2[0]) length,weight,height = image_train..

#mnist 다운로드 및 분석 import numpy as np from keras import datasets data_train,data_test = datasets.mnist.load_data() image_train, label_train = data_train image_test, label_test = data_test print("image_train의 구조:",image_train.shape) print("label_train의 구조:",label_train.shape) print("image_test의 구조:",image_test.shape) print("label_test의 구조:",label_test.shape) colcnt = len(image_train[0]) rowcnt = le..

import pandas as pd from sklearn.cluster import KMeans import matplotlib.pyplot as plt import seaborn as sns df = pd.DataFrame(columns=['x','y']) df.loc[0] = [1,4] df.loc[1] = [1,3] df.loc[2] = [2,5] df.loc[3] = [2,2] df.loc[4] = [1,12] df.loc[5] = [2,13] df.loc[6] = [3,12] df.loc[7] = [4,6] df.loc[8] = [4,8] df.loc[9] = [5,7] print(df) sns.lmplot('x','y',data=df,fit_reg=False,scatter_kws={"s":2..

소스 코드 #분류와 (선형)회귀 import pandas as pd from sklearn import svm from sklearn.linear_model import LinearRegression #y = 2x+1 data = [[0],[2],[5],[7]] label = [1,5,11,15] example = [[1],[4]] print("원하는 결과: 3, 9") clf = svm.SVC() clf.fit(data,label) result = clf.predict(example) print(result) lr = LinearRegression() lr.fit(data,label) result = lr.predict(example) print(result) csv = pd.read_csv('iris..

소스 코드 #손글씨 파일 위치: https://k.kakaocdn.net/dn/8iBYV/btqEn8soGlt/EqRKeRjvBIbPyxXenOEWVk/Handwriting.zip?attach=1&knm=tfile.zip import pandas as pd from sklearn import svm, metrics def read_data(fname): mr = pd.read_csv(fname,header=None) label=[] data=[] for row_index,row in mr.iterrows(): label.append(row.loc[400]) other_data=[] for v in row.loc[0:399]: other_data.append(v) data.append(other_data)..

사이킷 런의 svm.SVC 사용 및 흉내내어 만들어보기 안녕하세요. 기계 학습을 시작할 때 많은 개발자들 사이킷 런(scikit-learn) 라이브러리를 사용하죠. 그리고 사이킷 런을 사용하는 출발점인 svm.SVC 객체의 fit 메서드와 predict 메서드를 사용합니다. 그런데 우리가 사용하는 svm.SVC 클래스 내부에서는 어떠한 일들을 할까요? 내부를 좀 더 이해하기 위해 비슷하게 동작하는 클래스를 만들어 보았습니다. 기계학습하는 알고리즘은 극악한 품질 수준을 갖습니다. 알고리즘을 기대하시는 분들은 Pass~ = 다루는 내용 = 사이킷 런의 svm.SVC 사용 흉내내기 - TinySVC 클래스 외형 정의 초기화 메서드 정의 가중치와 임계치 설정 메서드 정의 판별 메서드 정의 특정 가중치와 임계치 ..

소스 코드를 만든 이유를 이해하기 위한 Intro 동영상 강의입니다. 소스 코드 # http://ehpub.co.kr # 머신 러닝 with pYTHON # 선형 퍼셉트론 구하기 - 라이브러리 의존도 0% w1,w2,b=0,0,0 #가중치1,2와 임계치 def setwb(wt1,wt2,bt): #가중치, 임계치 설정 함수 global w1,w2,b w1,w2,b = wt1,wt2,bt def discriminate(x1,x2): #판별 함수 if(w1*x1+w2*x2+b