meta sam - m1 test 하기
meta sam 환경 설정 miniconda로 환경 설정 ``` conda create -n sam python=3.10 conda activate sam pip install torch torchvision torchaudio –index-url https://downlo...
dataScience
우분투에서 콘다를 사용해서 jupyter notebook 실행
unbuntu에서 쥬피터 노트북을 설정하고 데싸 공부하려는데.. python 버젼 관리랑 시험장 버젼을 맞추기 위해 conda로 가상환경을 꾸며서 돌리려고 한다. conda 설치 pip install conda jupyter notebook 설치 sudo apt install...
데이터사이언스 유튜브(김성범교수)
김성범 교수 유튜브 회사 데이터사이언트 레벨3 이론 교육 관련해서 설명이 잘 되어 있다고해서 ^^; 핵심 확률통계, 핵심 머신러닝은 쭉 봐야 겠다. https://www.youtube.com/@user-yu5qs4ct2b
데이터 스케쥴 관리 - airflow
airflow가 뭐지? 빅데이터 처리를 할때 주기적으로 해야 하는 업무 들이 있는데 이걸 해주는 솔루션(?) 정도로 생각하면 될듯하다. 예전에는 우분투 서버에 crontab을 이용해서 주기적으로 실행 했었는데 이게 귀찮았는지.. ㅋㅋㅋ 도커에서 돌려서 공유 하다가… 이제는 이...
BigQuery
1. bigquery 구조 https://cloud.google.com/bigquery/docs/resource-hierarchy?hl=ko project dataset table partitioned table view
경도 정보로 시간 표준시간대로 변경하기
경도 데이터에서 표준시간 뽑아내기 경도별 GPS 데이터와 각 사용 시간대가 있는 pandas DataFrame에서 시간을 각 경도별 시간대로 변경하려면 pytz 라이브러리를 사용하여 시간대 정보를 얻고 tz_localize 및 tz_convert 메서드를 사용하여 시간을 변경할 ...
주소를 위도 경도로 바꾸기
python을 이용해서 지도를 표현할때 위도와 경도가 필요한데 주소지 만을 가지고 표현하려면 해당 주소기를 위도와 경도로 바꿔줘야 한다. 해당 솔루션이 아래에 이번에 언급하는 geopy이다. 주소를 지도로 바꾸는 방법 geopy download link geopy doc ...
pandas csv file 읽을때 저장된 시간 알아내기
pandas csv file 저장 시간 확인 pandas에서 csv 파일을 읽어올 때 해당 파일의 생성 날짜를 알고 싶으시다면, 다음과 같이 하시면 됩니다. import os.path, time file_path = '파일 경로' print("파일 생성 시간 : ", time....
google cloud bigquery
google cloud bigquery doc link 정리 예정 python에서 동작 정리
kaggle intro sql
1. Getting Started With SQL and BigQuery Learn the workflow for handling big datasets with BigQuery and SQL from google.cloud import bigquery # Create ...
kaggle에서 data visualization 학습 (using seabon)
1. Hello. Seaborn import pandas as pd pd.plotting.register_matplotlib_converters() import matplotlib.pyplot as plt %matplotlib inline import seaborn as sns...
Pandas-Bokeh
pandas 그림 그리는 솔루션 (Pandas-Bokeh) user guide package github kaggle tutorial
scikit-learn
scikit-learn (Machine Learning in Python) scikit-learn
pandas 10분 완성
실제로 10분완성인지는 모르지만 정식 사이트 문서 ^^; 10 minutes to pandas 판다스 10분완성 책 추천 : “Hands-On Exploratory Data Analysis with Python: Perform EDA techniques to understand...
pandas cheat sheat
PANDAS CHEAT SHEET pandas cheat sheet 1 pandas cheat sheet 2
python으로 그래프 그리기
python plot 그리기 참고 site matplotlib site matplotlib seaborn seaborn import seaborn as sns sns.set() #시각화 기본 테마 설정 sns.name_of_graph(x축 리스트, y축 리스트, n...
superset이란?
superset이란. Apache Superset is a modern data exploration and visualization platform. superset link
[S][데싸]python array to dataframe
minmax 정규화 이후 array type를 dataframe type으로 바꾸는 방법 training data set을 만들고 학습데이터를 쓰기 위해서는 dataframe이 있어야 해서임. #train, test set만들기 from sklearn.model_selectio...
[S][데싸]pandas 전처리
link Filtering and sorting 24번 문제 item_price컬럼의 달러 표시를 제거하고 float 타입으로 저장하여 new_price 칼럼에 저장하라. $표시는 숫자 제일 앞에 있다. df['new_price'] = df['item_price'].str[1:...
bigquery에서 쓰는 SQL 기본 문법
SELECT DISTINCT – 하나씩만 보여줌 FROM WHERE LIKE AND, OR ORDER BY GROUP BY SELECT xxx -- 원하는 column FROM xxx -- file이름 WHERE LIKE '%blog%' -- 조건 GROUP BY x...
Data Science 준비
training site trainig site link pandas data 전처리 100 문제 — 분석 패키지 sklearn scipy statemodels —
jupyter notebook - pandas
ex : Pandas groupby() and count() with Examples - Spark By {Examples} (sparkbyexamples.com) #pandas function import pandas as pd import numpy as np df = ...
jupyter notebook 설치 및 원격 접속
우분투에 jupyter notebook 설치 $sudo apt install python3-pip $pip install jupyter 설치후 외부 포트 접속 방법 추가\ ref: