아재도 하는 데이터분석

들어가며 지난 1,2편을 통해서 부산 남구 아파트의 실거래가 데이터를 가지고 특징을 살펴보았습니다. 이제 실거래가 데이터를 가지고서 간단하게 '거래금액'을 예측하는 모델을 만들어서 확인해보겠습니다. 여러가지 머신러닝 기법들이 있는데 가장 직관적인 회귀모형(Linear Regression), 의사결정나무(Decison Tree)기반의 RandomForest, 의사결정나무 같은 학습법을 추가로 학습하는 Gradient Boosting  기반의 XgBoost, Gradient Boosting 을 더 개선한 LightGbm 모델, 그리고 Elastic Net, Ranger, SVR 등으로 예측모델을 만들어서 비교를 해보도록 하겠습니다. 학습용 데이터셋 정리머신러닝 기법은 기본적으로 데이터셋이 학습에 적합하도록 ..

들어가며 탐색적데이터분석(EDA)은 잘 모르는 데이터 셋을 살펴보는 유용한 방법입니다. 분석의 방향이 잡히지 않을때 데이터셋의 통계량과 관계, 특징을 살펴봄으로써 또다른 인사이트를 얻을수 있습니다. 지난 1편에 이어  실거래가 데이터를 좀더 자세히 살펴보겠습니다. 년도별 동별거래량 살펴보기부산 남구는 6개의 법정동으로 이루어져 있습니다. 대연동, 용호동, 문현동, 감만동, 우암동, 용당동입니다. 2020년~2023년 동별 아파트 거래건수용호동이 2101건의 거래로 가장 높았고, 대연동 역시 2056건으로 2000건이 넘는 거래가 있던 해였습니다. 그외 문현동, 감만동, 용당동, 우암동 순이었습니다. 아파트 거래량의 경우 해당 동에 있는 아파트 단지 수와 세대수에 따른 차이도 있으니 그부분을 감안해서 보셔..

들어가며왜 부산 남구 아파트 실거래 데이터를 분석해야 할까?아파트 실거래 데이터를 기반으로 가격 예측모형을 만들때 우선 고려할 요소는 부동산의 특성입니다. 상대적 입지와 비교에 대한 상품인 부동산의 경우, 특정 지역에 한정되는 특성이 있습니다. 세부적으로 보면 어떤 특정 동의 특정 지역에 한정할 수도 있습니다. 그렇다고 시 전체의 데이터를 가지고 하면, 넓은 지역의 특징이 모두 평균적으로 반영되어 개별 아파트의 가격 예측의 정확성이 떨어질 수 밖에 없습니다.  그래서 구 단위의 데이터를 가지고, 구 단위의 예측모델을 만드는게 목표입니다. 부산의 13개의 구,군이 있습니다. 이중에서 제가 살고 있는 부산남구의 데이터를 가지고 예측모델을 만들어보고, 다음에는 해운대구, 수영구, 동래구 등으로 개별 모델을 만..

제가 예전에 2019년 말에 스타벅스 매장이 많은 동네가 어디인지 궁금해서 한번 분석을 해본 적이 있습니다. 스타벅스 상권의 특성이 조금은 특이한 면이 있어서, 매년 조금씩 매장 정보를 수집하곤 했었는데요. https://uincity.tistory.com/267 [데이터분석] 스타벅스 매장이 가장 많은 동네는? feat by R & QGIS (300원)저의 요즘 관심사는 부동산 입지 분석입니다. 부동산 입지 분석을 할때 상권 관련된 용어로 '스세권'이란 말이 있습니다. 스타벅스 상권을 부르는 얘기이지요. 그래서 전국의 스타벅스 매장 주uincity.tistory.com 2023년 스타벅스 매장 현황현재 일자(2023.06.15.) 기준으로 매장정보를 수집해보았습니다. 현재 스타벅스 총 1,826개의 매..

오늘은 지난번 포스팅에 이어 두 번째로 식품섭취량 조사 DB를 가지고 데이터 탐색을 해보겠습니다. 지난번 포스팅을 못 보신 분들은 먼저 보시면 됩니다. [데이터소개] 국민건강영양조사 1편 [데이터 소개] 국민건강영양조사 1편(Feat. 질병관리본부 KCDC) 들어가며 코로나-19(COVID-19) 사태로 대한민국에서 가장 바쁜신 분들이 바로 질병관리본부 직원들이지 않을까 싶습니다. (국민의 한사람으로서 이 자리를 빌어 감사의 인사를 전합니다.) 오늘은 �� uincity.tistory.com 식품섭취조사(hn18_24rc) 데이터 탐색 DataExplorer 패키지로 살펴보기 해당 파일은 509,819개의 데이터(rows)와 114개의 변수(columns)로 되어 있습니다. 1 2 > dim(df_hn1..

들어가며 코로나-19(COVID-19) 사태로 대한민국에서 가장 바쁜신 분들이 바로 질병관리본부 직원들이지 않을까 싶습니다. (국민의 한사람으로서 이 자리를 빌어 감사의 인사를 전합니다.) 오늘은 그 질병관리본부에서 관리하고 조사하는 '국민건강영양조사'라는 데이터를 소개해 볼까 합니다. 제목에서 느껴지시겠지만 건강과 영양섭취에 대한 우리나라 국가 통계입니다. 아래 최근 기사를 보시면 국민건강영양조사를 통해 코로나19의 면역여부를 체크해보겠다는 내용같습니다. 코로나19 집단면역 조사한다... 당국 "국민영양조사 통해 확인" - 연합뉴스 2020-04-30 코로나19 집단면역 조사한다…당국 "국민영양조사 통해 확인"(종합) | 연합뉴스 코로나19 집단면역 조사한다…당국 "국민영양조사 통해 확인"(종합), 신..

들어가며 간만에 돌아왔습니다. 오늘은 한우 사육량 데이터를 가지고 데이터 시각화를 통해서(쉬운 말로 그림과 도표를 잘 그려서) 인사이트(Insight)를 도출해보도록 하겠습니다. (데이터에서 어떤 의미를 알아내어 보자) R에서는 기본적인 plot 외에도 ggplot2라는 막강한 패키지가 데이터 시각화를 주도하고 있습니다. ggplot의 gg의 의미가 grammar of Graphics라는 의미로 그래픽을 문법(텍스트 명령어)으로 나타낸다는 의미입니다. 그래서 각종 명령어와 함수를 익혀놓으면 강력한 시각화가 가능합니다만, 역시 익숙해지기 전까지는 어려운 영역이기도 합니다. 제가 전에 포스팅했던 대부분의 데이터 분석 포스팅에도 미약하지만 ggplot을 대부분 사용했었습니다. 그만큼 필수적이기도 합니다. 데이..

이번 시간에는 전국 시군구별로 일자리가 얼마나 많은지 한번 알아보겠습니다. 일자리에 관련 통계도 여러 가지가 있을 수 있겠지만, 이번에는 제가 최근에 읽었던 너나위님의 책 "월급쟁이 부자로 은퇴하라"에서 알려주신 국세통계의 연말정산 신고현황 자료를 가지고 해 보았습니다. 일자리 수 파악은 부동산 공부를 할 때 수요 측면에서 많이 참고해야 할 자료이지요. 서울 같은 경우 오피스 밀집 지역인 강남(GBD), 여의도(YBD), 시청과 광화문(CBD)이 직장이 많은 지역으로 이미 유명하죠. 최근에는 가산디지털단지와 마곡지구에 일자리가 늘었다는 뉴스도 접했습니다. 수도권에서는 4차 산업혁명의 근원지이자 한국의 실리콘밸리라 불리는 판교지역이 역시 일자리가 많다고 하고요. ​ 부산은 어떨까요? 산업단지가 많이 밀집된..

지난번 스타벅스 위치 분석에 이어 이번엔 파리바게뜨입니다. 두 프랜차이즈의 성격은 확실이 차이가 나 보입니다. 스타벅스는 20대이후부터 40대까지 직장인을 타겟으로 특성상 오피스타운(일자리 집중된)위치에 매장 자체가 꽤 높은 집적도를 보이는 구조이구요. 파리바게뜨의 경우는 어린아이부터 할아버지, 할머니까지 모든 세대를 아우르는 반드시 필요한 매장이지요. ​ 파리바게뜨 하면 뚜레쥬르와 함께 동네 빵집의 대표주자이지요. 제가 살고 있는 부산은 상대적으로 동네 로컬 빵집도 많긴 하지만 파리 바게뜨 역시 꽤 눈에 띄는편입니다. ​ 각설하고 이제 조금 자세히 들어가보겠습니다. ​ 0.데이터 수집 매장 주소는 파리바게뜨 홈페이지에서 가져왔습니다. 따끈따끈한 2020년 1월 6일기준입니다. (최초 소상공인진흥공단에서..

들어가며 ​ 오늘은 부산지역 데이터를 가지고 분석하는 4번째 분석 포스팅입니다. 최근에 부동산 입지 관련 공부를 하면서 학군에 꽂혀서, 이것저것 보다가 심정섭 님의 '심정섭의 대한민국 학군 지도' 란 책을 보게 되었습니다. 학군에 관심이 많고 자녀 교육에 관심이 많으신 분이시라면 필독해도 좋을 책입니다. 거기다가 부동산에 관심이 많으신 분들도 역시 읽으시면 좋지 않을까 생각합니다. 이번 분석의 아이디어는 책 초반부에 있는 '학교 재학생 수로 해당 지역 학군의 미래를 보는 법' 과 '신도시 신생 학군의 성장 가능성을 알아보는 법' 이란 두 가지 섹션에서 가져왔습니다. ​ 저출산 시대에 학생 수 역시 감소하고 있습니다. 부산 시내에서도 어떤 학교들은 재학생 수가 줄어서 폐교하거나 통폐합할 학교들도 있고, 또..