이것저것 담는 블로그

파이썬의 내장 메서드인 any()와 all() 대해 알아보자. 어떤 iterable에서 True, False 값을 반환할 때 True가 하나라도 있는지 알고 싶다면 any() 모두 True인지 알고 싶다면 all() 메서드를 사용한다. any([True, True, False]) >> True all([True, True, False]) >> False all([True, True, True]) >> True string 값에 어떤 특정 문자열들이 포함되어 있는지 확인할 때 유용하게 활용할 수 있다. test_char에는 faith가 모두 소문자이지만, char_list의 Faith는 앞의 대문자가 있어 다른 문자이기 때문에 all 메서드에서는 False를 반환한다. char_list = ['Faith'..

데이터과학자로 일하다보면 데이터를 처리하는 과정은 어느 정도 정형화된 부분이 있다. 앞으로 항상 하게 될 일이라서 머릿 속에 framework을 잡는다는 생각으로 과정을 정리하였다. 다른 데이터분석가/데이터과학자 분들의 업무 프로세스도 유사할 것이라 생각한다. 1. 데이터 추출 - ANSI SQL, HiveQL, Sybase, Python Step 1. 원하는 테이블과 컬럼 값 찾기 메타데이터시스템 활용 자주 활용하는 도메인 명칭과 datatype 등을 기억해두면 일처리 속도가 매우 빨라진다. 원하는 데이터가 없다면, 분석용 주제영역에만 없는 데이터인 경우, 인프라 쪽에 적재 요청 어디에도 없다면, API/크롤링 등으로 외부로부터 데이터 긁어서 적재 API는 Parameter나 정책이 종종 바뀌기도 하기..

기술적 분석 = 차트 리딩 = 과거의 흐름을 통해 향후 주가를 예측하는 방법 도표의 종류 미국식 : 고가, 저가, 종가만 있음, 시세 강약 판별 힘듦 일본식 : 고가, 저가, 시가, 종가 4개 / 시가 종가의 차이 기준으로 붉은색 봉, 푸른색 다우 이론 평균주가 개념이 전체 주가흐름을 정확히 반영한다는 가정 장기 추세 진행 과정 강세국면 : 매집국면(강세 제1국면) -> 상승국면 (강세 제2국면) -> 과열국면 (강세 제3국면) 약세국면 : 분산국면(약세 제1국면) -> 공포국면 (약세 제2국면) -> 침체국면 (약세 제3국면) 상승국면에서 기술적 분석가의 수익률이 가장 크다 일반투자자는 매집 상승 국면에 공포, 과열 분산 공포 국면에 확신, 침체 국면에 공포를 느낀다. 전문투자자는 상승 국면에 점차 매..

* 주식평가모형과 할인율 할인율 = 자본비용 = 요구수익률 = 기대수익률 = 무위험수익률 + 위험프리미엄 기대수익률 = 배당수익률 + 배당성장률 = D1/P0 + (1 - 배당성향) * ROE * PER (Price Earnings Ratio) 평가모형 PER = 주가 / 주당순이익 즉, PER은 기업의 단위 당 수익력에 대한 상대적 주가 수준, 주식의 내재가치 P(주가) = PER * EPS PER = 배당성향* (1 + g)/(k - g) = 기대배당성향 / (k - g) g : 기대성장률, k: 요구수익률 * PBR(Price Book-value Ratio) 평가모형 PBR = 주당시장가치 / 주당장부가치 = PER * ROE = 자기자본순이익률 * P / E = (순이익/매출액) * (매출액/총자..

Multi arm bandit 은 쉽게 말해 slot machine이 한 개인 것 Contextual bandits은 machine이 여러 개라서 상태가 여러 개임 강화학습과의 다른 점은 에이전트가 환경을 바꾸지 못한다 즉 state 가 변하지 않는 환경임 단순 MAB는 state/context 등 환경에 대한 정보를 전혀 고려하지 않으며, CB는 환경에 대한 정보를 일컬어 state 대신 context라고 한다. Action이 환경을 바꿀 수 있는가?로 용어을 구분한 것 같다. Slot 한 개가 bandit 이라고 불리고 Machine이 가진 arm이 실제로 수행되는 각각의 action임 contextual bandits 의 GitHub repo 중에 가장 눈에 띄는 vowpal wabbit인데 온라인..

부동소수점을 반올림할때 쓰는게 ROUND 해당 컬럼과 몇번째 이하 소수점에서 반올림할지 써준다. ROUND(총자산수익률, 2) 데이터 타입을 변환해야할때 (type cast) 쓰는게 CAST 어떤 컬럼을 어떤 데이터 타입으로 변환할지 적어준다. 기본 문법은 CAST 컬럼명 AS 데이터타입명 CAST(ROUND(총자산수익률, 2)) AS DECIMAL(18,1) 결측치 처리할 때 쓰는게 ISNULL 보유한 상품개수가 null 이면 0으로 대체한다. ISNULL(보유한상품개수, 0) Select한 걸 새로운 테이블에 넣고 싶을 때 쓰는 INTO SELECT C1, C2 INTO NEW_TABLE FROM ORIGINAL_TABLE 컬럼으로 조건을 줘서 새로운 컬럼 만들고 싶을 땐 CASE문 기본 문법은 CA..

조만간 Kafka를 쓸 일이 생길 것 같아 MQ(Message Queue)와 Kafka에 대해 간단히 정리하고자 한다. 1️⃣ MQ MQ는 어떤 프로세스에 대한 메시지를 저장하는 큐를 말한다. windows 시스템의 모든 스레드에 메시지 큐가 있다고 한다. 예를 들어서 사용자가 마우스를 움직이면 WM_MOUSEMOVE라는 이벤트가 메시지 큐에 저장되어서 프로그램이 메시지 루프를 통해서 이 이벤트/명령을 수행하게 된다고 한다. [1] 보통 분산환경일 때 Kafka 등으로 MQ를 구현하는 경우가 많다고 들었다. 지금 하고 있는 프로젝트에서 실시간성으로 대규모 데이터 업데이트가 많이 생길 예정인데 그 데이터를 우리 쪽 엔진과 WEB/APP 쪽에 모두 흘려보내 줘야 하는 이슈가 있어서 Kafka를 고려하게 되었..

🚨 모든 투자의 책임은 본인에게 있습니다. 참고자료로만 읽어주세요 🚨 1️⃣ Intro. 요즘 유튜브에서 자주 나오셔서 재테크 조언을 많이 해주시는 홍춘욱 박사의 신간입니다. 경제를 거시적으로 보면 분명 어떤 흐름이 있는 것 같은데 종잡기 어렵다고 느끼시는 분들, 불황이 오기 전 어떻게 미리 알 수 있는지, 어떻게 대비를 하면 좋을지 궁금하신 분들에게 추천드리고 싶은 책입니다. 수십 년의 투자 경험을 거치면서 어떻게 전략적으로 흐름을 타야 하는지 소개해주십니다. 특히 마지막 챕터는 홍춘욱 박사의 일대기를 거친 '재테크 분투기'를 담았기 때문에 장기적인 재테크 플랜의 좋은 레퍼런스가 될 것 같습니다. 저는 2030 독자로서 저희 세대들에게 도움이 될 만한 내용 위주로 정리해봤습니다. 같이 보시죠. 2️⃣ ..

에러 원인 SettingWithCopyWarning : a value is trying to be set on a copy of a slice from a dataframe SettingWithCopyWarning은 데이터프레임의 복사본에서 값을 바꾸려할 때 나타난다. 보통 iterrows()로 데이터프레임을 조회하다가 거기서 아래처럼 값을 바꾸려하면 발생한다. for idx, row in sample_df.iterrows(): row['score'] = 100 row는 sample_df의 하나의 레코드로 시리즈 타입인데 여기서는 그 시리즈에 있는 값을 바꾼다고 읽어서 실제 sample_df의 값은 바뀌지 않는다. 해결방법 데이터프레임의 loc을 활용하면 값을 변경할 수 있다. for idx, row i..

개발 협업을 하다보면 git에서 branch 관리는 필수적이다. 최상위 master 말고 특정 branch를 clone 해오고 싶을 땐 아래와 같이 활용한다. git clone -b {branch name} --single-branch {repository URL} repository의 URL 은 .git으로 끝나는데 원격저장소의 주소라고 보면 된다. branch name에 해당 branch 이름만 넣으면 된다!