이것저것 담는 블로그

* 현업에서 많이 있는 문제들과 해결법[Forecast]시계열 deepAR타겟변수와 상관관계가 높은 변수를 활용 [Recommendation]나랑 비슷한 취향의 사람을 찾아주는 것 Collaborative Filtering 기업에서 많이 사용함비슷한 컨텐츠는 Content based Filtering현실은 희소성 문제 때문에 알고리즘 적용이 어려움-> Matrix Factorization, Factorization Machine이 대표적으로 시도되는 방법 [Anomaly Detection]Outlier detection, Out of Distribution, One class classficiation [Image processing]1 Classficiaton 2 Localization 3 Object..

* pgAdmin쿼리 tool, 이번 교육을 위해 새로 설치해봄 * AGViewerGDB 시각화 도구 * GDB queryGDB = 노드 + 엣지 MATCH ... RETURN ...; MATCH문은 특정 노드를 변수명으로 선언하는 역할이고 return이 기존 select 문 같은 역할을 함 * 데이터 조회MATCH(a:person) return distinct key(a);person 테이블의 모든 컬럼을 조회 = SQL의 describe와 유사MATCH(a:person) WHERE a.name in ['Keanu Reeves', 'Tom Cruise']] return a.born, a.name;이름이 Keanu Reeves, Tom Cruise 중 하나인 person을 a라 하였을 때, a의 출생연도..

파이썬의 내장 메서드인 any()와 all() 대해 알아보자. 어떤 iterable에서 True, False 값을 반환할 때 True가 하나라도 있는지 알고 싶다면 any() 모두 True인지 알고 싶다면 all() 메서드를 사용한다. any([True, True, False]) >> True all([True, True, False]) >> False all([True, True, True]) >> True string 값에 어떤 특정 문자열들이 포함되어 있는지 확인할 때 유용하게 활용할 수 있다. test_char에는 faith가 모두 소문자이지만, char_list의 Faith는 앞의 대문자가 있어 다른 문자이기 때문에 all 메서드에서는 False를 반환한다. char_list = ['Faith'..

데이터과학자로 일하다보면 데이터를 처리하는 과정은 어느 정도 정형화된 부분이 있다. 앞으로 항상 하게 될 일이라서 머릿 속에 framework을 잡는다는 생각으로 과정을 정리하였다. 다른 데이터분석가/데이터과학자 분들의 업무 프로세스도 유사할 것이라 생각한다. 1. 데이터 추출 - ANSI SQL, HiveQL, Sybase, Python Step 1. 원하는 테이블과 컬럼 값 찾기 메타데이터시스템 활용 자주 활용하는 도메인 명칭과 datatype 등을 기억해두면 일처리 속도가 매우 빨라진다. 원하는 데이터가 없다면, 분석용 주제영역에만 없는 데이터인 경우, 인프라 쪽에 적재 요청 어디에도 없다면, API/크롤링 등으로 외부로부터 데이터 긁어서 적재 API는 Parameter나 정책이 종종 바뀌기도 하기..

Multi arm bandit 은 쉽게 말해 slot machine이 한 개인 것 Contextual bandits은 machine이 여러 개라서 상태가 여러 개임 강화학습과의 다른 점은 에이전트가 환경을 바꾸지 못한다 즉 state 가 변하지 않는 환경임 단순 MAB는 state/context 등 환경에 대한 정보를 전혀 고려하지 않으며, CB는 환경에 대한 정보를 일컬어 state 대신 context라고 한다. Action이 환경을 바꿀 수 있는가?로 용어을 구분한 것 같다. Slot 한 개가 bandit 이라고 불리고 Machine이 가진 arm이 실제로 수행되는 각각의 action임 contextual bandits 의 GitHub repo 중에 가장 눈에 띄는 vowpal wabbit인데 온라인..

부동소수점을 반올림할때 쓰는게 ROUND 해당 컬럼과 몇번째 이하 소수점에서 반올림할지 써준다. ROUND(총자산수익률, 2) 데이터 타입을 변환해야할때 (type cast) 쓰는게 CAST 어떤 컬럼을 어떤 데이터 타입으로 변환할지 적어준다. 기본 문법은 CAST 컬럼명 AS 데이터타입명 CAST(ROUND(총자산수익률, 2)) AS DECIMAL(18,1) 결측치 처리할 때 쓰는게 ISNULL 보유한 상품개수가 null 이면 0으로 대체한다. ISNULL(보유한상품개수, 0) Select한 걸 새로운 테이블에 넣고 싶을 때 쓰는 INTO SELECT C1, C2 INTO NEW_TABLE FROM ORIGINAL_TABLE 컬럼으로 조건을 줘서 새로운 컬럼 만들고 싶을 땐 CASE문 기본 문법은 CA..

조만간 Kafka를 쓸 일이 생길 것 같아 MQ(Message Queue)와 Kafka에 대해 간단히 정리하고자 한다. 1️⃣ MQ MQ는 어떤 프로세스에 대한 메시지를 저장하는 큐를 말한다. windows 시스템의 모든 스레드에 메시지 큐가 있다고 한다. 예를 들어서 사용자가 마우스를 움직이면 WM_MOUSEMOVE라는 이벤트가 메시지 큐에 저장되어서 프로그램이 메시지 루프를 통해서 이 이벤트/명령을 수행하게 된다고 한다. [1] 보통 분산환경일 때 Kafka 등으로 MQ를 구현하는 경우가 많다고 들었다. 지금 하고 있는 프로젝트에서 실시간성으로 대규모 데이터 업데이트가 많이 생길 예정인데 그 데이터를 우리 쪽 엔진과 WEB/APP 쪽에 모두 흘려보내 줘야 하는 이슈가 있어서 Kafka를 고려하게 되었..

에러 원인 SettingWithCopyWarning : a value is trying to be set on a copy of a slice from a dataframe SettingWithCopyWarning은 데이터프레임의 복사본에서 값을 바꾸려할 때 나타난다. 보통 iterrows()로 데이터프레임을 조회하다가 거기서 아래처럼 값을 바꾸려하면 발생한다. for idx, row in sample_df.iterrows(): row['score'] = 100 row는 sample_df의 하나의 레코드로 시리즈 타입인데 여기서는 그 시리즈에 있는 값을 바꾼다고 읽어서 실제 sample_df의 값은 바뀌지 않는다. 해결방법 데이터프레임의 loc을 활용하면 값을 변경할 수 있다. for idx, row i..

개발 협업을 하다보면 git에서 branch 관리는 필수적이다. 최상위 master 말고 특정 branch를 clone 해오고 싶을 땐 아래와 같이 활용한다. git clone -b {branch name} --single-branch {repository URL} repository의 URL 은 .git으로 끝나는데 원격저장소의 주소라고 보면 된다. branch name에 해당 branch 이름만 넣으면 된다!

코딩테스트 연습 - 메뉴 리뉴얼 레스토랑을 운영하던 스카피는 코로나19로 인한 불경기를 극복하고자 메뉴를 새로 구성하려고 고민하고 있습니다. 기존에는 단품으로만 제공하던 메뉴를 조합해서 코스요리 형태로 재구성해서 programmers.co.kr 문제 설명 레스토랑을 운영하던 스카피는 코로나19로 인한 불경기를 극복하고자 메뉴를 새로 구성하려고 고민하고 있습니다. 기존에는 단품으로만 제공하던 메뉴를 조합해서 코스요리 형태로 재구성해서 새로운 메뉴를 제공하기로 결정했습니다. 어떤 단품메뉴들을 조합해서 코스요리 메뉴로 구성하면 좋을 지 고민하던 "스카피"는 이전에 각 손님들이 주문할 때 가장 많이 함께 주문한 단품메뉴들을 코스요리 메뉴로 구성하기로 했습니다. 단, 코스요리 메뉴는 최소 2가지 이상의 단품메뉴로..