kt aivle school

[ 배운 내용 ] 1. 실습 - 캘리포니아 주택, 와인 데이터 실습 2. Connection - Locally Connected - Concatenate - Locally Connected - Add Connection 딥러닝의 내부에서 어떤 동작이 이루어지는지는 사실 우리가 정확하게 알 수 없다. 이 때문에 딥러닝은 Black Box 구조를 갖고 있다고도 한다. 이를 설명하기 위해 노력하는 Explainable AI라는 학문도 있다고 한다. 하지만 딥러닝의 Artificial Neural Network구조에서 연결을 어떻게 하느냐에 따라서는 우리가 해석을 시도해 볼 여지가 있다 iris 데이터를 예시로 살펴보자 이전에 해본 모델링은 인풋, 아웃풋, 히든레이어의 모든 노드들이 서로 연결된 Fully Co..

[ 배운 내용 ] 1. Hidden Layer (은닉층) - Hidden Layer를 추가하여 모델링 : 선형회귀, 이진분류, 멀티클래스분류 - MNIST 분류 실습 딥러닝의 지도학습에서 "학습"이란? -> Error(오차)를 줄여나가는 방향으로 W(가중치)를 업데이트 해주는 것 (update : 기존의 것을 고쳐줌 = 개선) ===> 이 과정을 [ Gradient descent ] 라고 한다. Gradient descent 진행 시 기존의 가중치를 우리가 원하는 최적의 가중치로 점점 업데이트하게 된다. 이 때, 가중치 대비 에러값의 변화량에 learning rate를 곱한 값을 기존의 가중치에서 빼며 업데이트 하는데, 이 learning rate 값이 적절해야 우리가 원하는 가중치를 향해 점점 갱신될 ..

[ 배운 내용 ] 1. Tensorflow + Keras 2.x 버전 코드로 구현 (1) 선형회귀 - Sequential API 방식 모델링 - Functional API 방식 모델링 (2) 로지스틱회귀 (이진분류) - Sequential API 방식 모델링 - Functional API 방식 모델링 (3) 멀티클래스 분류 (iris 데이터) - Sequential API 방식 모델링 - Functional API 방식 모델링 Tensorflow & Keras 2.x Keras : Tensorflow(텐서플로우)에 내장되어 있는 유저친화적 API (수업에서는 2.x버전으로 사용). 딥러닝을 처음 공부할 때 Tensorflow + Keras 만한 프레임워크가 없다. 연구단 쪽에서는 Pytorch 현업에서는..

[ 오늘 배운 내용 ] 1. 회귀, 분류 알고리즘 : KNN (K-Nearest Neighbors) - Scaling (스케일링) - knn의 거리 계산법 2. 분류 알고리즘 : Logistic Regression (로지스틱 회귀) - 회귀계수 해석 3. 분류 모델의 평가 방법 - 교차표 (Confusion Matrix) - 성능지표 - 전체 관점 : Accuracy (정분류율) - 특정 class 관점 : Recall (재현율), Precision (정밀도), F1_Score 1. KNN (K-Nearest Neighbor) KNN 알고리즘은 분류와 회귀 문제에서 모두 사용 가능한 알고리즘으로 거리를 계산하여 예측하는 기본적인 알고리즘이다. [ KNN 알고리즘의 과정 ] 예측해야 할 데이터(x_val)..

교육을 듣기 시작하고 처음으로 미니프로젝트를 했다. 그냥 그동안 배운 내용들을 바탕으로 강사님께서 제공해주신 데이터를 불러와서 각자의 방식으로 가설을 세워서 분석해보고 가설을 검증해보는 것 등을 해보았다. 대부분 내용에 가이드라인을 제시해주셨고, 데이터도 어려운 구성이 아니었던 편인 것 같다. '서울시 버스 수요 분석'과 '서울시 따릉이 수요 분석'의 총 2개의 주제를 가지고 진행되었는데, 처음 3일동안은 서울시 버스 수요 분석, 마지막 4일차는 하룻동안 서울시 따릉이 수요 분석을 주제로 프로젝트를 진행했다. 1일차에는 강사님의 설명을 듣고 강사님의 가이드에 따라 각자 데이터의 단변량 분석 및 가설을 세우고 이변량 분석을 통해 검증해보는 시간을 가져보았다. 2일차에는 조별토론방법론에 대해 두시간 정도 배..

[ 오늘 배운 내용 ] 1. G마켓 이미지 데이터 수집 실습 2. 셀레니움(Selenium) - 간단한 머신러닝 실습 - TED talks 영상들의 한국어 제목 데이터 수집 - Headless하게 셀레니움 사용하기 3. 네이버 중고나라 게시글 데이터 수집 (iframe태그) 4. xpath - 네이버 연관검색어 수집 (scrapy프레임워크 사용) 5. iterator와 generator (yield 사용) 6. scrapy 프레임워크 - G마켓 베스트셀러 상품 데이터 수집 동적페이지와 정적페이지의 차이에 대해서는 강사님께서 매일 몇번씩 설명해주셨기 때문에 완벽하게 이해가 된 것 같다. 데이터 크롤링에 있어서 상당히 중요한 개념이라는 생각이 들었다. 먼저 G마켓의 상품 데이터가 들어있는 csv파일을 불러와..

[ 오늘 배운 내용 ] 01 네이버 검색어 트렌드 크롤링 (동적페이지) 02 직방 원룸 데이터 크롤링 (동적페이지) 03 다음 금융 사이트 환율 데이터 크롤링 (동적페이지) [정적페이지 크롤링] 04 html 05 css selector 06 네이버 연관검색어 키워드 크롤링 (정적페이지) 07 지마켓 베스트셀러 데이터 크롤링 (정적페이지) 실습을 시작하기 전에 robots.txt를 확인해서 TED 사이트의 크롤링 정책을 확인해보았다. 크롤링을 잘못 하게 되면 나중에 문제가 될 수 있으니 되도록이면 크롤링 하기 전 해당 사이트의 크롤링 정책을 확인하는 것이 좋을 것 같다. 오늘은 지난 시간에 발급받은 네이버에 등록한 내 앱 key로 네이버 데이터랩의 API를 사용해서 트위터,페이스북,인스타그램 각 키워드의..

[ 오늘 배운 내용 ] 1. 웹(Web) 관련 지식 간단 정리 - 웹페이지 종류 - 웹크롤링 절차 2. 네이버 증권 데이터 크롤링 (동적페이지) - 최근 60일치의 KOSPI, KOSDAQ 데이터 + 원-달러 환율 데이터 크롤링 - copy(), apply, lambda 함수 - 데이터의 상관관계 분석 3. 네이버 파파고 API 사용 실습 오늘부터 3일동안 웹크롤링 수업을 진행하시는 강사님께서 웹 크롤링을 시작하기 전에 웹에 대한 여러 내용들을 알려 주셨다. 서버-클라이언트의 웹 서비스 구조와 URL의 구성요소, 서버와 클라이언트가 Get 또는 Post 방식으로 데이터를 요청하여 주고받는 과정을 그림을 그려가며 설명해주셨다. 그 밖에 인터넷과 OSI 7계층, 쿠키,세션,캐시, HTTP status cod..

[ 오늘 배운 내용 ] 1. 분석할 수 있는 데이터의 종류 & 분석을 위한 데이터의 구조 2. Numpy - 넘파이 배열 만들기 - 넘파이 배열 데이터 조회 - 넘파이 배열 연산 3. Pandas - 데이터프레임 - 데이터프레임 정보 확인 - 데이터프레임 조회 - 데이터프레임 집계 - 데이터프레임 변경 4. matploilib 지난 수업 내용을 간단하게 리뷰하면서 시작했는데 데이터프레임과 시리즈의 차이에 대해 더 자세히 설명을 해 주셨고, 데이터프레임에서 특정 열을 조회하는 방법을 실습해보았다. 특히 칼럼을 지정할 때 ['column']과 [['column']]과 같이 리스트로 한번 더 감싸주냐 마느냐에 따라 조회되는 데이터의 형식이 시리즈와 데이터프레임으로 갈린다는 부분이 신기했다. 그리고 학교에서 인..

[ 오늘 배운 내용 ] 1. 분석할 수 있는 데이터의 종류 & 분석을 위한 데이터의 구조 2. Numpy - 넘파이 배열 만들기 - 넘파이 배열 데이터 조회 - 넘파이 배열 연산 3. Pandas - 데이터프레임 - 데이터프레임 정보 확인 - 데이터프레임 조회 - 데이터프레임 집계 - 데이터프레임 변경 4. matploilib 되게 친숙하게 수업해주시는 강사님이 이번 강의를 진행해주셨다. 덕분에 편한 분위기에서 수업을 들을 수 있었던 것 같다. 이번 수업에서는 데이터 분석에서 가장 많이 쓰이는 파이썬 라이브러리인 Numpy와 pandas, 그리고 matplotlib 라이브러리에 대해 배웠다. 시작하기에 앞서 데이터 분석 프로세스의 가장 기본적인 그림이라고 하시는 CRISP-DM 구조를 보고 나서 범주형과..