빅데이터 소스

소스 코드 #손글씨 파일 위치: https://k.kakaocdn.net/dn/8iBYV/btqEn8soGlt/EqRKeRjvBIbPyxXenOEWVk/Handwriting.zip?attach=1&knm=tfile.zip import pandas as pd from sklearn import svm, metrics def read_data(fname): mr = pd.read_csv(fname,header=None) label=[] data=[] for row_index,row in mr.iterrows(): label.append(row.loc[400]) other_data=[] for v in row.loc[0:399]: other_data.append(v) data.append(other_data)..

사이킷 런의 svm.SVC 사용 및 흉내내어 만들어보기 안녕하세요. 기계 학습을 시작할 때 많은 개발자들 사이킷 런(scikit-learn) 라이브러리를 사용하죠. 그리고 사이킷 런을 사용하는 출발점인 svm.SVC 객체의 fit 메서드와 predict 메서드를 사용합니다. 그런데 우리가 사용하는 svm.SVC 클래스 내부에서는 어떠한 일들을 할까요? 내부를 좀 더 이해하기 위해 비슷하게 동작하는 클래스를 만들어 보았습니다. 기계학습하는 알고리즘은 극악한 품질 수준을 갖습니다. 알고리즘을 기대하시는 분들은 Pass~ = 다루는 내용 = 사이킷 런의 svm.SVC 사용 흉내내기 - TinySVC 클래스 외형 정의 초기화 메서드 정의 가중치와 임계치 설정 메서드 정의 판별 메서드 정의 특정 가중치와 임계치 ..

원격제어 프로그램 만들기에서 구현한 이미지 송수신 부분을 라이브러리로 만들고 이를 이용하여 클라이언트와 서버 응용을 만드는 실습입니다. ImageClient.cs //http://ehpub.co.kr //원격 제어 프로그램 //7. 이미지 전송 클라이언트 using System; using System.Drawing; using System.Drawing.Imaging; using System.IO; using System.Net; using System.Net.Sockets; namespace 원격제어_프로그램 { /// /// 이미지 전송 클라이언트 /// public class ImageClient { Socket sock; /// /// 연결 메서드 /// /// 연결할 서버 측 IP주소 /// ..

원격 제어 컨트롤러에서는 호스트 화면을 주기적으로 수신하여 이를 폼에 뿌려주어야 합니다. 이를 위해 화면을 수신하는 서버 클래스의 소스 코드입니다. 소스 코드 ImageServer.cs //ImageServer.cs using System.Net.Sockets; using System.Threading; using System.Net; using System.Drawing; using System.IO; using System; namespace 원격제어기 { /// /// 이미지 수신 서버 /// public class ImageServer { Socket lis_sock; //Listening 소켓 Thread accept_thread = null; /// /// 이미지 수신 이벤트 /// publi..

이미지 수신 서버에서 이미지를 수신할 때마다 폼에 이를 알려주어야 합니다. 이를 위해 이벤트 처리하기 위한 대리자와 이벤트 인자 클래스를 정의합니다. 소스 코드 RecvImageEventArgs.cs //RecvImageEventArgs.cs using System; using System.Net; using System.Drawing; namespace 원격제어기 { /// /// 이미지 수신 이벤트 인자 클래스 /// public class RecvImageEventArgs : EventArgs { /// /// IP 단말 - 가져오기 /// public IPEndPoint IPEndPoint { get; private set; } /// /// IP 주소 - 가져오기 /// public IPAddr..

원격 제어를 허용한 호스트의 전체 화면을 제어하는 컨트롤러에게 주기적인 화면을 전송해 주어야 합니다. 다음은 화면을 주기적으로 전송하는 클라이언트 소스 코드입니다. 소스 코드 ImageClient.cs //ImageClient.cs using System; using System.Net.Sockets; using System.Net; using System.IO; using System.Drawing.Imaging; using System.Windows.Forms; using System.Drawing; namespace 원격제어기 { /// /// 이미지 전송 클라이언트 /// public class ImageClient { Socket sock; /// /// 생성자 /// /// 컨트롤러의 IP 주..

원격 제어 요청을 수신하는 서버 클래스를 구현합니다. 현재까지 작성한 원격 제어 요청 클라이언트와 서버 및 이벤트 인자 형식을 이용하여 테스트를 수행합니다. 테스트는 원격 제어 요청을 정상적으로 전달하고 상대측에서 요청 클라이언트의 IP와 PORT 정보를 정상적으로 수신하고 폼에 전달하는지 확인합니다. 소스 코드 SetupServer.cs //SetupServer.cs using System.Net.Sockets; using System.Threading; using System.Net; namespace 원격제어기 { /// /// 연결 요청 수신 서버 클래스 - 정적 클래스 /// public static class SetupServer { static Socket lis_sock; //연결 요청 수..

네이버 뉴스를 크롤링 해 온 것은 Open API를 이용한 것이라 XML Document로 파싱할 수 있었습니다. 웹 페이지를 크롤링 해 오려면 HTML 파서를 요구합니다. WebBrowser 컨트롤의 HtmlDocument를 사용할 수 있지만 웹 로봇에는 적합하지 않습니다. Back Ground에서 동작하는 서비스에서 WebBrowser 컨트롤의 HtmlDocument는 동작하지 않습니다. 이러한 이유로 서비스에서 동작 가능한 HTML Parser인 HtmlAgilityPack을 설치할 것입니다. 그리고 이를 이용하여 HTML Body 내용을 얻어오는 실습을 진행합니다. /* http://ehpub.co.kr * 데이터분석 with C# * 웹 사이트 body 내용 얻어오기 * 개발 전 해야 할 일: ..

이전 강의에서 작성한 뉴스 크롤링 라이브러리를 참조 추가합니다. 그리고 이번 강의에서는 형태소를 분석하여 구현합니다. 참고로 2020년 5월 4일 저녁 7시 30분에 "스포츠"로 검색하였습니다. 1100개의 뉴스의 앞부분을 분석한 BEST50입니다. (한 글자이며 의미없는 것은 필터링하였습니다.) 50. 스포티비뉴스:33 49. KBO:33 48. 손진아:33 47. 첫:34 46. 예정:34 45. 최고:35 44. 활동:35 43. 트랙스:35 42. 교육기부:36 41. 모델:38 40. 72개월:38 39. 스포츠마케팅:39 38. 한도:40 37. 대표적인:40 36. 후원:42 35. 관계자:43 34. 개막전:45 33. 5일:46 32. 사진:47 31. SUV:47 30. 개막:49 29..

이전 강의에서 만든 뉴스 크롤링 부분을 라이브러리로 변환하는 작업입니다. 소스 코드는 바뀐 부분이 없으며 XML 주석은 추가로 달았습니다. 소스 코드 News.cs using System; using System.Xml; namespace 네이버_뉴스_크롤링_라이브러리_제작 { /// /// News 클래스 /// public class News { /// /// 기사 제목 /// public string Title { get; private set; } /// /// 기사 url /// public string OriginalLink { get; private set; } /// /// 네이버 사이트 기사 url /// public string Link { get; private set; } /// /..