에이블스쿨

[ 오늘 배운 내용 ] 1. G마켓 이미지 데이터 수집 실습 2. 셀레니움(Selenium) - 간단한 머신러닝 실습 - TED talks 영상들의 한국어 제목 데이터 수집 - Headless하게 셀레니움 사용하기 3. 네이버 중고나라 게시글 데이터 수집 (iframe태그) 4. xpath - 네이버 연관검색어 수집 (scrapy프레임워크 사용) 5. iterator와 generator (yield 사용) 6. scrapy 프레임워크 - G마켓 베스트셀러 상품 데이터 수집 동적페이지와 정적페이지의 차이에 대해서는 강사님께서 매일 몇번씩 설명해주셨기 때문에 완벽하게 이해가 된 것 같다. 데이터 크롤링에 있어서 상당히 중요한 개념이라는 생각이 들었다. 먼저 G마켓의 상품 데이터가 들어있는 csv파일을 불러와..

[ 오늘 배운 내용 ] 01 네이버 검색어 트렌드 크롤링 (동적페이지) 02 직방 원룸 데이터 크롤링 (동적페이지) 03 다음 금융 사이트 환율 데이터 크롤링 (동적페이지) [정적페이지 크롤링] 04 html 05 css selector 06 네이버 연관검색어 키워드 크롤링 (정적페이지) 07 지마켓 베스트셀러 데이터 크롤링 (정적페이지) 실습을 시작하기 전에 robots.txt를 확인해서 TED 사이트의 크롤링 정책을 확인해보았다. 크롤링을 잘못 하게 되면 나중에 문제가 될 수 있으니 되도록이면 크롤링 하기 전 해당 사이트의 크롤링 정책을 확인하는 것이 좋을 것 같다. 오늘은 지난 시간에 발급받은 네이버에 등록한 내 앱 key로 네이버 데이터랩의 API를 사용해서 트위터,페이스북,인스타그램 각 키워드의..

[ 오늘 배운 내용 ] 1. 웹(Web) 관련 지식 간단 정리 - 웹페이지 종류 - 웹크롤링 절차 2. 네이버 증권 데이터 크롤링 (동적페이지) - 최근 60일치의 KOSPI, KOSDAQ 데이터 + 원-달러 환율 데이터 크롤링 - copy(), apply, lambda 함수 - 데이터의 상관관계 분석 3. 네이버 파파고 API 사용 실습 오늘부터 3일동안 웹크롤링 수업을 진행하시는 강사님께서 웹 크롤링을 시작하기 전에 웹에 대한 여러 내용들을 알려 주셨다. 서버-클라이언트의 웹 서비스 구조와 URL의 구성요소, 서버와 클라이언트가 Get 또는 Post 방식으로 데이터를 요청하여 주고받는 과정을 그림을 그려가며 설명해주셨다. 그 밖에 인터넷과 OSI 7계층, 쿠키,세션,캐시, HTTP status cod..

[ 오늘 배운 내용 ] 1. 분석할 수 있는 데이터의 종류 & 분석을 위한 데이터의 구조 2. Numpy - 넘파이 배열 만들기 - 넘파이 배열 데이터 조회 - 넘파이 배열 연산 3. Pandas - 데이터프레임 - 데이터프레임 정보 확인 - 데이터프레임 조회 - 데이터프레임 집계 - 데이터프레임 변경 4. matploilib 지난 수업 내용을 간단하게 리뷰하면서 시작했는데 데이터프레임과 시리즈의 차이에 대해 더 자세히 설명을 해 주셨고, 데이터프레임에서 특정 열을 조회하는 방법을 실습해보았다. 특히 칼럼을 지정할 때 ['column']과 [['column']]과 같이 리스트로 한번 더 감싸주냐 마느냐에 따라 조회되는 데이터의 형식이 시리즈와 데이터프레임으로 갈린다는 부분이 신기했다. 그리고 학교에서 인..

[ 오늘 배운 내용 ] 1. 분석할 수 있는 데이터의 종류 & 분석을 위한 데이터의 구조 2. Numpy - 넘파이 배열 만들기 - 넘파이 배열 데이터 조회 - 넘파이 배열 연산 3. Pandas - 데이터프레임 - 데이터프레임 정보 확인 - 데이터프레임 조회 - 데이터프레임 집계 - 데이터프레임 변경 4. matploilib 되게 친숙하게 수업해주시는 강사님이 이번 강의를 진행해주셨다. 덕분에 편한 분위기에서 수업을 들을 수 있었던 것 같다. 이번 수업에서는 데이터 분석에서 가장 많이 쓰이는 파이썬 라이브러리인 Numpy와 pandas, 그리고 matplotlib 라이브러리에 대해 배웠다. 시작하기에 앞서 데이터 분석 프로세스의 가장 기본적인 그림이라고 하시는 CRISP-DM 구조를 보고 나서 범주형과..

git 수업에 이어서 이틀간 파이썬을 가볍게 다루어보았다. 코딩테스트 공부를 파이썬으로 했었기에 전반적으로 가볍게 들을 수 있는 내용들이었지만 중간중간 아무 생각 없이 사용하던 함수 등의 정확한 기능 및 나도 몰랐던 유용한 파이썬의 기능들도 알아갈 수 있었다. 코딩테스트 공부를 할 때 많이 사용한 input함수, end=''를 사용한 줄바꿈 방지, f스트링 사용, continue와 break 등은 이상하게 오랜만에 파이썬 코딩을 하면 제대로 기억이 안 나서 구글링으로 다시 찾아보곤 했는데 이번 수업 때 계속 코드를 입력해보면서 손에 익게 된 것 같다. 무엇보다 나는 항상 for문 만을 사용했었는데 이번 수업에서 enumerate도 계속 사용해보다 보니 알고도 잘 몰라서 안썼던 enumerate도 제대로 ..

오늘은 첫 수업으로 git에 대해 배웠다. 강사님으로는 코딩 공부를 해본 사람이라면 모르는 사람이 없을 상당히 유명하신 분이 오셨다. 직전학기 때 소프트웨어공학 수업을 들으면서 git을 어느 정도 알고는 있었지만 이번 수업을 듣고 나서는 더 제대로 git을 이해할 수 있게 된 것 같다. 버전 관리의 필요성과 git에 대해 간단한 설명을 듣고 난 뒤 폴더를 생성해서 git 저장소로 선언하고 안의 파일들을 수정한 뒤 add와 commit을 해 보며 git log와 git status, 그 밖의 자잘한 git 커맨드들을 알려 주셨다. 학교 수업을 들을 때 HEAD와 master의 개념이 잘 이해가 가지 않았는데 이번 시간에 그림을 그려 가면서 이 둘의 차이를 잘 설명해주셨다. checkout을 그냥 브랜치를 ..