이것저것 담는 블로그

파이썬의 내장 메서드인 any()와 all() 대해 알아보자. 어떤 iterable에서 True, False 값을 반환할 때 True가 하나라도 있는지 알고 싶다면 any() 모두 True인지 알고 싶다면 all() 메서드를 사용한다. any([True, True, False]) >> True all([True, True, False]) >> False all([True, True, True]) >> True string 값에 어떤 특정 문자열들이 포함되어 있는지 확인할 때 유용하게 활용할 수 있다. test_char에는 faith가 모두 소문자이지만, char_list의 Faith는 앞의 대문자가 있어 다른 문자이기 때문에 all 메서드에서는 False를 반환한다. char_list = ['Faith'..

데이터과학자로 일하다보면 데이터를 처리하는 과정은 어느 정도 정형화된 부분이 있다. 앞으로 항상 하게 될 일이라서 머릿 속에 framework을 잡는다는 생각으로 과정을 정리하였다. 다른 데이터분석가/데이터과학자 분들의 업무 프로세스도 유사할 것이라 생각한다. 1. 데이터 추출 - ANSI SQL, HiveQL, Sybase, Python Step 1. 원하는 테이블과 컬럼 값 찾기 메타데이터시스템 활용 자주 활용하는 도메인 명칭과 datatype 등을 기억해두면 일처리 속도가 매우 빨라진다. 원하는 데이터가 없다면, 분석용 주제영역에만 없는 데이터인 경우, 인프라 쪽에 적재 요청 어디에도 없다면, API/크롤링 등으로 외부로부터 데이터 긁어서 적재 API는 Parameter나 정책이 종종 바뀌기도 하기..

에러 원인 SettingWithCopyWarning : a value is trying to be set on a copy of a slice from a dataframe SettingWithCopyWarning은 데이터프레임의 복사본에서 값을 바꾸려할 때 나타난다. 보통 iterrows()로 데이터프레임을 조회하다가 거기서 아래처럼 값을 바꾸려하면 발생한다. for idx, row in sample_df.iterrows(): row['score'] = 100 row는 sample_df의 하나의 레코드로 시리즈 타입인데 여기서는 그 시리즈에 있는 값을 바꾼다고 읽어서 실제 sample_df의 값은 바뀌지 않는다. 해결방법 데이터프레임의 loc을 활용하면 값을 변경할 수 있다. for idx, row i..

코딩테스트 연습 - 메뉴 리뉴얼 레스토랑을 운영하던 스카피는 코로나19로 인한 불경기를 극복하고자 메뉴를 새로 구성하려고 고민하고 있습니다. 기존에는 단품으로만 제공하던 메뉴를 조합해서 코스요리 형태로 재구성해서 programmers.co.kr 문제 설명 레스토랑을 운영하던 스카피는 코로나19로 인한 불경기를 극복하고자 메뉴를 새로 구성하려고 고민하고 있습니다. 기존에는 단품으로만 제공하던 메뉴를 조합해서 코스요리 형태로 재구성해서 새로운 메뉴를 제공하기로 결정했습니다. 어떤 단품메뉴들을 조합해서 코스요리 메뉴로 구성하면 좋을 지 고민하던 "스카피"는 이전에 각 손님들이 주문할 때 가장 많이 함께 주문한 단품메뉴들을 코스요리 메뉴로 구성하기로 했습니다. 단, 코스요리 메뉴는 최소 2가지 이상의 단품메뉴로..

코딩테스트 연습 - 신규 아이디 추천 카카오에 입사한 신입 개발자 네오는 "카카오계정개발팀"에 배치되어, 카카오 서비스에 가입하는 유저들의 아이디를 생성하는 업무를 담당하게 되었습니다. "네오"에게 주어진 첫 업무는 새로 programmers.co.kr 문제 설명 카카오에 입사한 신입 개발자 네오는 "카카오계정개발팀"에 배치되어, 카카오 서비스에 가입하는 유저들의 아이디를 생성하는 업무를 담당하게 되었습니다. "네오"에게 주어진 첫 업무는 새로 가입하는 유저들이 카카오 아이디 규칙에 맞지 않는 아이디를 입력했을 때, 입력된 아이디와 유사하면서 규칙에 맞는 아이디를 추천해주는 프로그램을 개발하는 것입니다. 다음은 카카오 아이디의 규칙입니다. 아이디의 길이는 3자 이상 15자 이하여야 합니다. 아이디는 알파..

필자는 pandas를 쓰면서 dataframe의 행을 순서대로 조회할때 df.iterrows() 메서드를 가장 많이 사용한다. iterrows()를 쓰다보면 헷갈리는 것들이 조금 있어서 정리하고자 한다. 우선 아래와 같은 dataframe을 정의해보자. import pandas as pd sample_df = pd.DataFrame([100, 90], index=['나나', '모모'], columns=['점수']) 이 dataframe을 조회하기 위해 두가지 방법으로 iterrows() 메서드를 사용할 수 있다. 1. 인덱스와 행을 같이 가져올 때 for idx, row in sample_df.iterrows(): print(idx, row) print(type(row)) print(row['점수']) ..

Python으로 데이터 시각화 및 분석을 하다보면 특정한 값이나 경로를 지도 위에 표시하고 싶을 때가 있다. 이 때 활용할 수 있는 라이브러리는 Folium(포리움)이나 Geopandas(지오판다스)등이 대표적이다. 이번 포스트는 Geopandas를 설치하는 방법을 알아보자. Geopandas는 설치하기전에 미리 설치해둬야하는 라이브러리들이 있어서 각각의 dependency가 맞는지 꼭 확인이 필요하다. (무턱대고 pip install하면 import가 안될 가능성이 높다..) 필자는 Python 3.6.3 버전을 쓰고 있기 때문에 이를 기준으로 각 라이브러리를 설치했다. Pyproj, Shapely, GDAL, Fiona, geopandas 이 순서로 설치하는 것이 안전하다. 버전을 정리하면 아래와 같..