01. 데이터 과학 입문

데이터 활용 프로세스

- 데이터 수집 및 처리

- 분석(통계 기반의 분석, 머신러닝/딥러닝)

- 의사 결정과 개발까지 연결

 

 

배경지식

- 수학

- 알고리즘

- 하드웨어 지식

- 프로그래밍 스킬

- 통계학

- 머신러닝

- 비즈니스 과제 연결

 

 

데이터 과학 수행의 흐름(Workflow)

 

01) 가설 수립

 

02) 데이터 수집

데이터 수집 방법 | 오픈데이터
- 오픈 데이터: 누구나 활용할 수 있도록 공개된 데이터
- 오픈 데이터 사례: 한국 국가통계 포털(https://kosis.kr)

데이터 수집 방법 | API
- Web API(Application Programming Interface)
- 시스템이 보유한 데이터를 다른 시스템도 활용할 수 있도록 공개하는 기술
- API 사례: 대학 정보공시(https://www.data.go.kr/data/15037507/openapi.do)

데이터 수집 방법 | 웹 스크래핑
- 웹 스크래핑: 페이지에서 특정 정보를 검색하여 추출하거나 새로운 형태로 가공
- 웹 크롤링: 검색 엔진 등에서 많이 사용하며 인덱싱을 위해 페이지의 복사본을 만드는 것과 비슷한 동작을 수행

 

03) 분석

데이터 탐색(기술통계, 상관, 회귀), 판별, 예측, 비지도학습 등의 수행
전통적 통계분석, 머신러닝, 딥러닝

 

04) 피드백