이것저것 담는 블로그

데이터과학자로 일하다보면 데이터를 처리하는 과정은 어느 정도 정형화된 부분이 있다. 앞으로 항상 하게 될 일이라서 머릿 속에 framework을 잡는다는 생각으로 과정을 정리하였다. 다른 데이터분석가/데이터과학자 분들의 업무 프로세스도 유사할 것이라 생각한다. 1. 데이터 추출 - ANSI SQL, HiveQL, Sybase, Python Step 1. 원하는 테이블과 컬럼 값 찾기 메타데이터시스템 활용 자주 활용하는 도메인 명칭과 datatype 등을 기억해두면 일처리 속도가 매우 빨라진다. 원하는 데이터가 없다면, 분석용 주제영역에만 없는 데이터인 경우, 인프라 쪽에 적재 요청 어디에도 없다면, API/크롤링 등으로 외부로부터 데이터 긁어서 적재 API는 Parameter나 정책이 종종 바뀌기도 하기..

부동소수점을 반올림할때 쓰는게 ROUND 해당 컬럼과 몇번째 이하 소수점에서 반올림할지 써준다. ROUND(총자산수익률, 2) 데이터 타입을 변환해야할때 (type cast) 쓰는게 CAST 어떤 컬럼을 어떤 데이터 타입으로 변환할지 적어준다. 기본 문법은 CAST 컬럼명 AS 데이터타입명 CAST(ROUND(총자산수익률, 2)) AS DECIMAL(18,1) 결측치 처리할 때 쓰는게 ISNULL 보유한 상품개수가 null 이면 0으로 대체한다. ISNULL(보유한상품개수, 0) Select한 걸 새로운 테이블에 넣고 싶을 때 쓰는 INTO SELECT C1, C2 INTO NEW_TABLE FROM ORIGINAL_TABLE 컬럼으로 조건을 줘서 새로운 컬럼 만들고 싶을 땐 CASE문 기본 문법은 CA..