데싸3 준비 도움되는 PAGE
datascienceschool datascienceschool 실전 강의 해당 repo 상위단으로 가면 실습 관련 repo들이 있음 github 잘 정리된 블로그들 블로그1
dataScience
데이터사이언스 유튜브(김성범교수)
김성범 교수 유튜브 회사 데이터사이언트 레벨3 이론 교육 관련해서 설명이 잘 되어 있다고해서 ^^; 핵심 확률통계, 핵심 머신러닝은 쭉 봐야 겠다. https://www.youtube.com/@user-yu5qs4ct2b
데이터 스케쥴 관리 - airflow
airflow가 뭐지? 빅데이터 처리를 할때 주기적으로 해야 하는 업무 들이 있는데 이걸 해주는 솔루션(?) 정도로 생각하면 될듯하다. 예전에는 우분투 서버에 crontab을 이용해서 주기적으로 실행 했었는데 이게 귀찮았는지.. ㅋㅋㅋ 도커에서 돌려서 공유 하다가… 이제는 이...
BigQuery
1. bigquery 구조 https://cloud.google.com/bigquery/docs/resource-hierarchy?hl=ko project dataset table partitioned table view
경도 정보로 시간 표준시간대로 변경하기
경도 데이터에서 표준시간 뽑아내기 경도별 GPS 데이터와 각 사용 시간대가 있는 pandas DataFrame에서 시간을 각 경도별 시간대로 변경하려면 pytz 라이브러리를 사용하여 시간대 정보를 얻고 tz_localize 및 tz_convert 메서드를 사용하여 시간을 변경할 ...
주소를 위도 경도로 바꾸기
python을 이용해서 지도를 표현할때 위도와 경도가 필요한데 주소지 만을 가지고 표현하려면 해당 주소기를 위도와 경도로 바꿔줘야 한다. 해당 솔루션이 아래에 이번에 언급하는 geopy이다. 주소를 지도로 바꾸는 방법 geopy download link geopy doc ...
판다스에서 지도그리기
위도 경도 데이터로 지도 그리기 판다스에서 위도 경도 데이터를 세계지도에 맞춰서 그리기 위해서는 folium 라이브러리를 사용할 수 있습니다. folium 라이브러리는 지도 시각화를 위한 파이썬 라이브러리로, 지도 위에 마커, 원, 선 등을 그릴 수 있습니다. folium lin...
pandas csv file 읽을때 저장된 시간 알아내기
pandas csv file 저장 시간 확인 pandas에서 csv 파일을 읽어올 때 해당 파일의 생성 날짜를 알고 싶으시다면, 다음과 같이 하시면 됩니다. import os.path, time file_path = '파일 경로' print("파일 생성 시간 : ", time....
google cloud bigquery
google cloud bigquery doc link 정리 예정 python에서 동작 정리
kaggle intro sql
1. Getting Started With SQL and BigQuery Learn the workflow for handling big datasets with BigQuery and SQL from google.cloud import bigquery # Create ...
kaggle에서 data visualization 학습 (using seabon)
1. Hello. Seaborn import pandas as pd pd.plotting.register_matplotlib_converters() import matplotlib.pyplot as plt %matplotlib inline import seaborn as sns...
Pandas-Bokeh
pandas 그림 그리는 솔루션 (Pandas-Bokeh) user guide package github kaggle tutorial
scikit-learn
scikit-learn (Machine Learning in Python) scikit-learn
pandas 10분 완성
실제로 10분완성인지는 모르지만 정식 사이트 문서 ^^; 10 minutes to pandas 판다스 10분완성 책 추천 : “Hands-On Exploratory Data Analysis with Python: Perform EDA techniques to understand...
pandas cheat sheat
PANDAS CHEAT SHEET pandas cheat sheet 1 pandas cheat sheet 2
python으로 그래프 그리기
python plot 그리기 참고 site matplotlib site matplotlib seaborn seaborn import seaborn as sns sns.set() #시각화 기본 테마 설정 sns.name_of_graph(x축 리스트, y축 리스트, n...
superset이란?
superset이란. Apache Superset is a modern data exploration and visualization platform. superset link
[S][데싸]python array to dataframe
minmax 정규화 이후 array type를 dataframe type으로 바꾸는 방법 training data set을 만들고 학습데이터를 쓰기 위해서는 dataframe이 있어야 해서임. #train, test set만들기 from sklearn.model_selectio...
[S][데싸]머신러닝 함수들
데이터 정렬 및 변환 pandas - crosstab() - 두 변수의 원소 조합 빈도 확인(normalize 인자 설정시 비율을 손쉽게 계산 pandas - sort_valus() - 특정 변수를 기준으로 정렬 pandas - melt() - wide form ->...
[S][데싸]pandas 전처리
link Filtering and sorting 24번 문제 item_price컬럼의 달러 표시를 제거하고 float 타입으로 저장하여 new_price 칼럼에 저장하라. $표시는 숫자 제일 앞에 있다. df['new_price'] = df['item_price'].str[1:...
시계열 예측모델
시계열 예측 모델 prophet 예측 모델 설명 meta prophet prophet kaggle link 참고자료 참고자료
bigquery에서 쓰는 SQL 기본 문법
SELECT DISTINCT – 하나씩만 보여줌 FROM WHERE LIKE AND, OR ORDER BY GROUP BY SELECT xxx -- 원하는 column FROM xxx -- file이름 WHERE LIKE '%blog%' -- 조건 GROUP BY x...
Data Science 준비
training site trainig site link pandas data 전처리 100 문제 — 분석 패키지 sklearn scipy statemodels —