[핸즈온 머신러닝2][리뷰] Chapter 2 머신러닝 프로젝트 처음부터 끝까지 (모델링 부분) 1. 모델 정하기 이 책에서는 모델의 개념적인 부분 보다는 사이킷런을 통해서 활용하는 부분에 집중을 하기 때문에 구체적인 모델의 개념 및 정의는 다른 블로그들을 참고하는 것이 좋을 것 같다. from sklearn.linear_model import LinearRegression lin_reg = LinearRegression() lin_reg.fit(housing_prepared, housing_labels) # 훈련 샘플 몇 개를 사용해 전체 파이프라인을 적용해 보겠습니다 some_data = housing.iloc[:5] some_labels = housing_labels.iloc[:5] some_data_prepared = full_pipeline.transform(some_data) print(.. 2021. 1. 11. [핸즈온 머신러닝2][리뷰] Chapter 2 머신러닝 프로젝트 처음부터 끝까지 (데이터 전처리 부분) CHAPTER 씩 공부를 하면서 복습 겸 나중에 참고 할 수 있도록 정리를 해보려고 합니다. 1. OS, 데이터 다운로드 , 압축, 풀기 데이터를 분석할때 다운로드를 해서 파일에 저장하고 그냥 read_csv 등으로 읽어오는 경우가 많았다. 매번 다운로드 폴더를 지정하고 압축을 풀어줘야하는 번거로움이 발생한다. 또한, 다른 컴퓨터로 옮겨서 작업할때 경로 등의 문제로 셋팅에 신경을 써줘야 하지만 이렇게 파이썬에서 제공하는 함수들을 이용하면 앞으로도 편리 할 것 같다. import os import tarfile # 압축 파일과 관련 import urllib # url로 접근 시 활용 DOWNLOAD_ROOT = "https://raw.githubusercontent.com/rickiepark/handson.. 2021. 1. 9. ABOUT 학부는 전자전기공학을 전공했지만 반도체 공정과정에서 나오는 데이터들, 다양한 IOT 제품들의 센서들에서 나오는 데이터들을 분석하는 연구를 하고 싶어서 산업공학 분야로 대학원에 진학하게 되었습니다. https://github.com/hyeonggulim Education MS: Industrial engineering, Yonsei University, 2021~ (current) BS: Electronic And electrical engineering, Hongik University,2015~2021 서울 창업허브 "웹 코딩 교육" 104 시간 이수 2018 5 ~ 2018 08 Awards & Competition [연간 데이콘] 인공지능 비트 트레이더 경진대회 시즌 2 6위 수상(TOP 5%)(2.. 2021. 1. 7. [이상탐지] 이상탐지 모음 유용한 github github.com/hoya012/awesome-anomaly-detection#time-series-anomaly-detection hoya012/awesome-anomaly-detection A curated list of awesome anomaly detection resources - hoya012/awesome-anomaly-detection github.com 2020. 10. 21. [Bus Classification] ① 주제 선정하기 딥러닝을 처음 공부하면서 가장 많이 다뤘던 CNN을 활용한 프로젝트를 진행 해보고 싶었다. 이미지 분류에서 좋은 성능을 보인다는 CNN을 어떤 산업 혹은 어디에 적용시키면 좋을 지 많이 생각해 보았다. "이미지 분류" 는 앞을 볼 수 있는 평범한 우리 보다 앞을 볼 수 없는 시각장애인들에게 도움이 될 것이라고 생각했다. 시각 장애인들의 불편함을 위주로 검색한 결과 대중교통을 이용할 때, 특히 버스를 이용할 때 가장 큰 불편함을 느끼는 것을 파악할 수 있었디. 시각장애인이 버스 정류장에서 비슷한 버스들을 여러대가 동시에 오는 상황에서 , 어떤 버스를 어느 타이밍에 타야하는지 정확히 파악하는 것은 정말 어려운 일이였던 것이다. 이러한 버스 정류장에서 시각 장애인들이 겪는 불편함을 해소해보고자 CNN을 활용한.. 2020. 7. 11. [케라스 실습] MNIST CNN신경망 다뤄보기 여기 내용까지 지난번에 했던 과제를 올리느라 png파일 입니다. 다음 부터는 코드를 쉽게 볼 수 있도록 정리하려고 노력해보겠습니다. 2020. 7. 4. [케라스 실습] MNIST ANN 신경망 spyder 환경에서 파이썬으로 ANN 을 실행해보다가 keras로 ANN을 작성하니 천국이 따로 없었습니다. 코드의 길이가 10배는 줄어든것 같습니다. 2020. 7. 4. [딥러닝 실습] MNIST backpropagation 최고 성능 찾아보기 (learning rate, epoch 편) 이번 과제는 정해진 2-layer에서 learning rate과 epoch를 어떻게 조절하면 가장 높은 결과가 나오는지 실험해보고 성능을 최대로 하는 epoch와 learning rate을 찾는 것 이였습니다. 사실 과제를 할 당시에는 노가다라고 생각했으며, 과연 도움이 될까를 생각하며 1주일 내내 컴퓨터를 돌려봤는데 과제를 수행하고 나서 달라진 점은 있는 것 같습니다. epoch와 learning rate을 어떻게 해야 적당할까?? 라는 질문에 "음.... 조금씩 키워보거나 작게 해보면 되겠지" 에서 "x만큼 정도 키워보거나 x만큼 변화를 줘보자" 로 비슷한거 같지만 조금이나마 어떤 값들로 움직여야 하는지 감을 잡을 수 있었습니다. 2020. 7. 4. [CS231n] 2강 이미지 처리는 어떻게 해야할까? 이 강의에서 말하려는 핵심은 "이미지 처리를 하는데 어려웠다." 하지만 해결책으로 "Linear Classification" 을 활용한다. [1] Nearest Neighbor 모든 데이터와 라벨을 입력시키고, 이와 유사한 라벨을 찾아 (분산,표준편차의 개념을 활용) 가까운 쪽이 정답이라고 말하는 방법이다. 한계)) 학습을 하는것은 매우 빨랐다. 하지만 예측을 하는것이 오래걸렸다. 이유는 데이터 마다 뺴고 제곱을 해주는 계산을 해줘야하는데, 하나 예측하는데 너무 많은 시간이 걸린다. 사실, 학습시키는것은 오래걸려도 상관없다. 하지만 예측이 오래걸리는것은 의미가 없는 일이다. [2] K-Nearest Neighbors (향후 추가) 전체 데이터가 아닌 일부 근처에 있는 데이터를 활용하는것 같다. 하지만, .. 2020. 4. 3. 이전 1 2 3 4 다음
