TIL

이번주 SQL 공부한 것들 정리해본다. 계속 우선순위에 밀리고 밀려 SQL 공부에 사실은 집중을 하지 못했다. 1. 쉬운코드 유튜브 백엔드 개발자분께서 재능기부를 하신 것 같은데, 놓치고 있던 기본 개념을 다시 정리하기에 좋았다. 특히 서브쿼리편 - 1부 : https://youtu.be/dTBwgWMUguE - 2부 : https://youtu.be/lwmwlA2WhFc - 3부 : https://youtu.be/y_7rOoOodCY - 4부 : https://youtu.be/E-khvKjjVv4 - 5부 : https://youtu.be/rG8yQ7yKGTE 2-1. NULL의 의미 unknown, unavailable or withheld, not applicable NULL은 IS, IS NOT ..

배울 것 깃 : 버전 관리를 도와주는 소프트웨어 소스트리 : 명령어만으로 동작하는 깃을 사용자 입장에서 더 편리하게 사용할 수 있도록 만든 클라이언트 프로그램 깃허브 : 원격 저장소 호스팅 서비스 맥에서 깃 다운로드 받는 법 https://www.inflearn.com/course/모두의-깃-깃허브 Terminal에서 기본 설정 git config --global user.name '' git config --global user.email '' 폴더 지정 #폴더 지정 cd /Users/hollyyoon/AIS8 #해당 경로로 이동 git init git add git add --all #모든 변경사항을 staging area로 옮겨라 git add . #특정 파일만 git으로 관리하겠다는 의미 git ..

1. 중요한 지표 비즈니스의 전략 : 회원가입에 집중? 돈을 쓰는 고객에 집중? 신규 고객 유치에 집중? 서비스별 전략 : 구독 서비스라면 "이탈률"이 중요한 지표가 될 수 있음 고객 분석, 재고 관리, 가격 설정, 추천 시스템, 사기탐지 2. 코호트 분석 앱 가입 날짜, 첫 구매 월, 위치, 획득 채널(유기 사용자, 공연 마케팅에서 오는 것 등) 등과 같은 공통점을 공유하는 사람들의 그룹을 시간 경과에 따라 추적하여 몇 가지 일반적인 패턴 또는 행동을 식별하는 분석법 현 상황을 보다 정확하게 이해하여 이를 의사결정에 활용하기 위해 '특정 기간에 특정 특성/경험을 공유하는 사용자 집단(코호트)' 간의 행동 패턴을 비교, 분석 분석 전 데이터 세트의 데이터를 관련 그룹으로 나누어 분석할 수 있다. 시간 집..

storage, memory 사이즈를 줄여야하는 이유 “데이터를 저장하는 것” 자체가 “비용”이기 때문에 데이터가 누적이 될수록 파일 사이즈는 증가하기 때문에 주고 받기 편하게 하기 위해서 시간, 메모리 사용량 , 비용 등등 자원 절약을 위해 ex) 노트북을 구매하기 위해 용량을 1T, 2T 등을 고민할 수 있는데 용량에 따라 비용이 20~30만원까지 차이가 납니다. 기업에서는 Log를 쌓을 때 데이터 엔지니어는 시간 단위로 파일을 저장할 것인지 , 어떤 기준, 어떤 도구로 데이터를 저장할 것인지를 고민하게 된다. Parquet을 쓰자 csv는 행 단위로 저장하지만, parquet은 컬럼단위로 저장을 한다. 동일한 데이터 타입을 할 때, 압축&저장에 유리하다. Parquet로 저장하고, 사이즈 비교해보기..

1. Ipynb 파일확장자란? iPython notebook의 약자 Jupyter로 이름이 변경됨 (더 많은 언어를 포용하겠다는 의지로) iPython으로 쓰여진 대표적인 책 > Python Data Science Handbook .py 파일 편집은 파이썬 내장 IDE, 메모장, VScode, PyCharm, 서브라임 텍스트, VI편집기등 사용해도 됨 파일 경로 확인하기 %pwd import os os.getcwd() 자동완성 (tab키) %config Completer.use_jedi = False 2. 자주 쓰는 단축키 실행모드 (ESC) : a(위에 셀 생성) b(아래에 셀 생성) dd(삭제) m(마크다운셀로 변경) m(마크다운 셀) y(코드 셀) 편집모드 (Enter) : shift+enter(셀..

필요한 라이브러리 불러오기 # requests, bs4, pandas 불러오기 import requests from bs4 import BeautifulSoup as bs import pandas as pd 네이버 종목토론실에서 게시글의 정보(제목, 링크)를 불러오기 board_url : 종목토론실의 url은 code_no, page_no으로 구성되어있으며, 해당 정보는 pagination을 클릭하여 network탭에서 확인할 수 있다. str.replace() : 게시글의 url을 수집하기 위해서 a태그의 title attribute를 이용하려고 합니다. 이를 위해서는 제목 상의 '[덧글갯수]' 해당 부분을 삭제해주어야한다. 정규식을 사용한다 (\s* : space 존재 \d+ : 여러개의 숫자가 옴)..

1. request를 사용해야 하는 경우 기존의 pd.read_html(url)은 url 을 통해 requests 로 요청을 보내서 html 소스코드를 받아옴 > html 소스코드에서 table 태그가 있는지 찾음 > table 태그가 있다면 데이터프레임으로 변환해서 리스트 형태로 반환하는 형태로 동작한다. 그러나, pd.read_html 로는 수집이 안 될 때, requests 도구를 사용해서 > HTTP 요청을 보내서 응답을 받아와야 한다. requests 는 작은 브라우저 이기 때문에 html 문서를 반환한다. API를 호출한다면 JSON, XML 등의 문서를 받을 수도 있다. 2. 셀레니움을 사용해야하는 경우 로그인이 필요할 때, URL 만으로는 수집이 불가할 때, 웹에서 HTML이 아니라 AJA..

1. DB저장과 File저장의 차이 데이터베이스에는 주로 실시간으로 관리할 데이터를 저장합니다. 예) 회원정보, 장바구니 정보, 위시리스트, 게시판, 댓글, 캐릭터 정보, 인벤토리 정보, Status 관리가 필요한 정보 파일로 저장을 할 때는 주로 로그데이터 등을 저장하게 됩니다. 한 시간에 1G이상씩 쌓이는 로그성 데이터라면 보통 파일로 저장하는 편입니다. 예) 어떤 페이지를 누가 언제 방문했었는지, 게임에서 서버에 접속해서 어떤 액션을 취했는지 작은 액션 단위로 로그를 저장하고자 할 때 2. SQL과 파이썬의 용도 차이 SQL은 관계형 데이터베이스를 다루는데 특화된 언어이다. 파이썬은 다양한 목적에 사용되는 프로그래밍 언어로, 데이터 정제/시각화/ML등 다양한 용도에 활용할 수 있는 라이브러리를 제공..

1. 클래스 연습 - 스타크래프트 예제 Marine : health(40), attack_pow(5), attack(상대체력감소) Medic : health(60), heal_pow(6), heal(상대체력회복) Marine과 Medic Class를 각각 정의해주세요. attach(), heal() 은 각각 target변수를 넣으면 상대방의 체력이 증가/감소 하도록 만들어주세요. 체력의 경계를 정해주세요. (0~max_health) class Marine: def __init__(self, health=40, attack_pow=5): self.health = self.max_health = health self.attack_pow = attack_pow def attack(self, target): t..

1. 클래스 변수, 함수를 묶어서 코드를 작성하는 방법으로 객체 지향을 구현하는 문법 클래스 사용법 : 클래스 선언(코드 작성) > 객체 생성(메모리 사용) > 메서드 실행(코드 실행) 식별자 컨벤션 : (변수, 함수) snake_case, (클래스) PascalCase, UpperCamelCase 데이타를 표현하는 속성(attribute)과 행위를 표현하는 메서드(method)를 포함하는 논리적인 컨테이너 # 클래스선언 : 코드작성 # 계산기 설계 : Calculator : number1, number2, plus(), minus() class Calculator: number1, number2 = 1, 2 def plus(self): return self.number1 + self.number2 de..

1. 함수 로또를 출력하는 함수를 만들어보자. 숫자 범위, 갯수를 argument를 설정해서 함수를 호출하게 한다. parameter가 없으면 default값은 1~45, 6개로 한다. # display_lotto를 호출할때 파라미터가 없으면 1 ~ 45까지 6개의 숫자를 출력 def display_lotto(count=6,end=45): # count : parameter lotto = [] while True: random_number = random.randint(1, end) lotto.append(random_number) lotto = list(set(lotto)) if len(lotto) >= count: break lotto.sort() print(lotto) display_lotto() ..

1. 데이터 규모에 따른 도구들 엑셀 : 사용이 간편, 데이터 100만개, 만들어진 기능만 사용할 수 있다. 속도가 느리다. 파이썬 : 파이썬 문법을 따르며, 데이터 RAM 용량만큼 사용할 수 있다.(가상 메모리 DASK 라이브러리 사용할 수도 있음) 기능을 만들어서 사용가능하며, 속도가 빠르다. 데이터베이스 : SQL문법을 따르며, 데이터 SSD(HDD) 용량만큼 사용할 수 있다. 속도가 빠르다. 빅데이터 : 여러 대의 컴퓨터를 1대의 컴퓨터처럼 사용하는 것. SPARK를 사용하며 scala언어를 배워야한다. 2. 연산자 산술 : +, - < * / // % < ** ; 루트를 표현하기 위해서 **0.5 사용 # 나이를 입력받아 연령대로 출력하는 코드 작성 age = 49 ages = age // 10..