전체 글

이번주 SQL 공부한 것들 정리해본다. 계속 우선순위에 밀리고 밀려 SQL 공부에 사실은 집중을 하지 못했다. 1. 쉬운코드 유튜브 백엔드 개발자분께서 재능기부를 하신 것 같은데, 놓치고 있던 기본 개념을 다시 정리하기에 좋았다. 특히 서브쿼리편 - 1부 : https://youtu.be/dTBwgWMUguE - 2부 : https://youtu.be/lwmwlA2WhFc - 3부 : https://youtu.be/y_7rOoOodCY - 4부 : https://youtu.be/E-khvKjjVv4 - 5부 : https://youtu.be/rG8yQ7yKGTE 2-1. NULL의 의미 unknown, unavailable or withheld, not applicable NULL은 IS, IS NOT ..

군집화란 유사한 속성들을 갖는 관측치들을 묶어서 전체 데이터를 몇 개의 군집으로 나누는 것 군집화의 기준 동일한 군집에 소속된 관측치들은 유사할 수록 좋다 상이한 군집에 소속된 관측치들은 서로 다를 수록 좋다 군집화 수행시 주요 고려사항 어떤 거리 척도를 사용해서 유사도를 측정할 것인가? 유클리디안 거리 맨하탄 거리 마할라노비스 거리 상관계수 거리 어떤 군집화 알고리즘을 사용할 것인가? 계층적 군집화 : 개별 개체간의 순차적 구분 분리형 군집화 : 특정 기준에 의해 동시에 구분 자기조직화 지도 분포 기반 군집화 어떻게 최적의 군집 수를 결정할 것인가? Elbow Point 어떻게 군집화 결과를 측정하고 평가할 것인가? 1. 계층적 군집화 (Hierarchical Clustering) 개별 개체들의 순차적..

배울 것 깃 : 버전 관리를 도와주는 소프트웨어 소스트리 : 명령어만으로 동작하는 깃을 사용자 입장에서 더 편리하게 사용할 수 있도록 만든 클라이언트 프로그램 깃허브 : 원격 저장소 호스팅 서비스 맥에서 깃 다운로드 받는 법 https://www.inflearn.com/course/모두의-깃-깃허브 Terminal에서 기본 설정 git config --global user.name '' git config --global user.email '' 폴더 지정 #폴더 지정 cd /Users/hollyyoon/AIS8 #해당 경로로 이동 git init git add git add --all #모든 변경사항을 staging area로 옮겨라 git add . #특정 파일만 git으로 관리하겠다는 의미 git ..

1. 중요한 지표 비즈니스의 전략 : 회원가입에 집중? 돈을 쓰는 고객에 집중? 신규 고객 유치에 집중? 서비스별 전략 : 구독 서비스라면 "이탈률"이 중요한 지표가 될 수 있음 고객 분석, 재고 관리, 가격 설정, 추천 시스템, 사기탐지 2. 코호트 분석 앱 가입 날짜, 첫 구매 월, 위치, 획득 채널(유기 사용자, 공연 마케팅에서 오는 것 등) 등과 같은 공통점을 공유하는 사람들의 그룹을 시간 경과에 따라 추적하여 몇 가지 일반적인 패턴 또는 행동을 식별하는 분석법 현 상황을 보다 정확하게 이해하여 이를 의사결정에 활용하기 위해 '특정 기간에 특정 특성/경험을 공유하는 사용자 집단(코호트)' 간의 행동 패턴을 비교, 분석 분석 전 데이터 세트의 데이터를 관련 그룹으로 나누어 분석할 수 있다. 시간 집..

storage, memory 사이즈를 줄여야하는 이유 “데이터를 저장하는 것” 자체가 “비용”이기 때문에 데이터가 누적이 될수록 파일 사이즈는 증가하기 때문에 주고 받기 편하게 하기 위해서 시간, 메모리 사용량 , 비용 등등 자원 절약을 위해 ex) 노트북을 구매하기 위해 용량을 1T, 2T 등을 고민할 수 있는데 용량에 따라 비용이 20~30만원까지 차이가 납니다. 기업에서는 Log를 쌓을 때 데이터 엔지니어는 시간 단위로 파일을 저장할 것인지 , 어떤 기준, 어떤 도구로 데이터를 저장할 것인지를 고민하게 된다. Parquet을 쓰자 csv는 행 단위로 저장하지만, parquet은 컬럼단위로 저장을 한다. 동일한 데이터 타입을 할 때, 압축&저장에 유리하다. Parquet로 저장하고, 사이즈 비교해보기..

💡 선형회귀 모델 연습 설명 : 선형회귀 모델을 구축하여 통계적으로 해석 예측 : 새로운 입력 데이터(X) → 미래 반응변수 값(Y) 예측 및 평가 회귀모델의 검정 (참고 자료) why? 생성된 모델이 선형회귀의 기본 가정을 따르는지 아닌지는 체크해야한다. 가정을 따르지 않는데 데이터를 선형회귀에 끼워맞춘 결과값은 엉망진창쓰. (확률오차란? 확률오차(잔차) = 타겟값 - 예측값) 확률오차의 정규성 확인 (오차는 정규분포를 따른다는 가정) 확률오차의 등분산성 확인 (오차의 모든 분산이 동일하다는 가정) 독립성 (예측값~잔차 독립성, 독립변수~잔차 독립성, 잔차의 자기 상관성) 설명 결정계수 (R-squared) : 모형의 성능 평가 coef(ghlrnlrPtn) P-value가 0.05(유의수준)이하일 때..

* 책 를 공부하여 정리한 내용입니다. 영문 버전은 무료로 볼 수 있어요. (문서 링크) 11. 비율데이터 내포 형태로 시각화 내포 파이 차트 : 2차 변수를 하나의 셀로 뽑기보다, 색을 달리해서 보여주는 것이 시각적으로 낫다 평행 집합 도표 (Parallel Sets Plot) : 범주형 변수가 둘 이상인 비율 데이터를 시각화할 때 활용 (Pathfinder같이 생겼다..) 색을 활용하는 것이 보기에 좋다. → plotly library link 12. 여러 정량 변수의 관계 시각화 변수 둘 이상을 도표 하나에 나타낼 때는 버블 차트, 산점도, 상관곡선을 사용한다. 변수가 많은 고차원 데이터셋은 주성분 분석 같은 기법으로 차원을 축소한다. 산점도 매트릭스 : 버블 차트의 단..

이번주엔 데이터 시각화를 중심으로 matplotlib, seaborn, plotly등을 배웠다. 강사님이 seaborn튜토리얼을 쭉 읽어보면서 공부해보면, 어떤 라이브러리를 쓰더라도 가장 중심이 되는 뼈대를 이해할 수 있다라고 추천해주셨다. 그래서 시작해본다! Introduction to seaborn Seaborn은 파이썬에서 사용할 수 있는 통계 그래픽 라이브러리. matplotlib 기반으로 만들어졌다. Seaborn 사용법 # seaborn 불러오기 import seaborn as sns # 기본 테마를 세팅 sns.set_theme() # 예제 데이터 불러오기 tips = sns.load_dataset("tips") # 시각화 만들기 sns.relplot( data=tips, x="total_b..

파이썬 라이브러리 pandas : 파이썬에서 사용하는 데이터분석 라이브러리, 행과 열로 이루어진 데이터 객체를 만들어 다룰 수 있음 numpy : 다차원의 연산 → 수식계산 지원 matplotlib : MATLAB과 비슷하게 명령어 스타일로 동작하는 함수의 모음 매서드체이닝하면 도움말이 잘 작동 안할 때 #?-도움말, ??-소스코드 보기, help() df.sort_index? 히스토그램의 장점 끊어진 수치 데이터를 볼 수 있음 → 범주형 데이터 변수의 빈도수를 알 수 있고, 전체적인 분포를 알 수 있음 데이터의 대칭성, 시간 경과에 따른 변화를 분석할 수 있음 0301-실습 기준선 넣기 gu_count.plot.bar() plt.axhline(5000, c="k", ls=":") # r->red, b-..

전반적으로 쉽게 읽힌다. 만화일 줄 몰랐는데, 중간에 만화가 있다. 교양입문 수준의 책이라 기대한 내용과 거리가 멀었지만, 그럼에도 불구 도움이 될만한 내용들도 있었던지라 블로그에 요약글도 남겨본다. 1/상관관계와 인과관계 사람들은 무분별한 정보 사이에서 패턴을 찾고, 거기에 의미를 부여하는데 능하다. 많은 경우 비정보성 데이터에도 큰 의미를 부여하고 오히려 혼란을 일으키기도 한다. 자신에게 어떤 편향을 가지고 있는 경우 그런 현상이 더하고, 자신에게 유리한데에 있어서는 패턴탐색 및 의미 부여 능력을 오용하기도 한다. 그리고 이런 오용에 대표적으로 활용되는 지식이 과한 상관관계 부여와 상관관계와 인과관계의 혼용이다. 개인이 성과를 내세울 때도, 자신이 속한 집단의 정당성을 주장할 때도, 언론이 사람들에게..

1. Ipynb 파일확장자란? iPython notebook의 약자 Jupyter로 이름이 변경됨 (더 많은 언어를 포용하겠다는 의지로) iPython으로 쓰여진 대표적인 책 > Python Data Science Handbook .py 파일 편집은 파이썬 내장 IDE, 메모장, VScode, PyCharm, 서브라임 텍스트, VI편집기등 사용해도 됨 파일 경로 확인하기 %pwd import os os.getcwd() 자동완성 (tab키) %config Completer.use_jedi = False 2. 자주 쓰는 단축키 실행모드 (ESC) : a(위에 셀 생성) b(아래에 셀 생성) dd(삭제) m(마크다운셀로 변경) m(마크다운 셀) y(코드 셀) 편집모드 (Enter) : shift+enter(셀..

이상한 문자 만들기(문제 링크) 문제 : 문자열 s는 한 개 이상의 단어로 구성되어 있습니다. 각 단어는 하나 이상의 공백문자로 구분되어 있습니다. 각 단어의 짝수번째 알파벳은 대문자로, 홀수번째 알파벳은 소문자로 바꾼 문자열을 리턴하는 함수, solution을 완성하세요. 풀이 : split() : 빈칸 기준으로 단어를 쪼개서 list에 넣어부자 upper()/lower() : for문으로 넣어진 string의 index값을 비교해서 대소문자를 만들어주자 def solution(s): result = '' answers = s.split(' ') for answer in answers: for i in range(len(answer)): if i%2 ==0: result += answer[i].uppe..