열심남의 데이터분석과 가치투자

지난 포스팅에서는 데이터 분석을 하기 전에 제공된 데이터셋의 유효성 체크를 하고 약간의 보정을 했었습니다. 이제 본격적으로 원하는 데이터를 만들어보겠습니다. 참 우리가 원하는 데이터는 바로 역별 1일 평균 이용객수이지요. 기본적으로 시간대별로 나누어져 있으니 이걸 합하고, 승/하차 구분이 되어 있으니 이것 역시 합해서 평균을 내주는 방식으로 접근하면 될 것 같습니다. 중요하건 365일에 대한 데이터이니 이걸 일평균으로 다시 한번 해줘야 하고요. 이제 차근차근 진행해 보겠습니다. 1. 우선 시간대별 되어 있는 이용객수를 합(sum)해서 '합계'라는 컬럼을 추가해 보겠습니다. 2. 여기서 우리가 필요한 컬럼만 다시 가져와서 새로운 데이터 프레임에 저장합니다. 사실 우린 합계만 필요하니 아래처럼 필요한 컬럼만..

이번 포스팅에서는 가져온 Raw 데이터를 분석에 필요한 형태로 정리하고 가공하는 부분을 간단히 소개하겠습니다. 앞선 포스트에서 가져온 데이터가 역별/승하차별/시간대별 로 세분화된 이용객 수가 나온 상태라 우리가 궁금한 일평균 이용객수를 보기 위해서 몇 가지 작업이 필요해 보입니다. python에서 몇가지를 직접 체크를 해봐도 되겠지만, 직관적으로 데이터 이상 여부를 보려고 엑셀에서 csv파일을 열어서 몇 가지 체크를 해봅니다. 물론 데이터 정리 작업 역시 엑셀에서 직접 하고 다시 저장해서 처리해도 무방합니다만 그게 건수가 몇 건 안될 때는 가능하지만 데이터량이 많을 때는 불가능하겠죠. 그래서 전 데이터 변경이나 정리하는 작업은 모두 파이썬에서 직접 처리했습니다. 데이터 변경 내용 살펴보기 1. 역명의 공..

얼마 전에 주문한 샤오미 습도계가 도착했습니다. 귀엽고 깜찍한 아이콘이 있다고 해서 끌렸던 녀석인데 정말 받아보니 깜찍한 사이즈에 귀엽네요. 시인성(?) 가시성이라고 해야 하나요. e-ink방식이 맞는지 모르겠는데 상당히 잘 보입니다. 정확도는 잘 모르겠습니다 나중에 체크를 해봐야겠어요. 그나저나 밤 11시에 실내온도 저거 실화임??? 습도 72%... 이게 오기전에 썼던 아날로그 습도계는 60% 정도로 보였는데.... 음... 아무래도 이 습도계가 맞는 거겠죠. 건조기의 습도 정보랑 나중에 한번 비교해봐야겠네요. 구성품은 아주 단순합니다. 습도계와 스탠드 그리고 자석 접착 패드와 양면 접착테이프~(그래도 3M 거네요) 이방 저 방 필요할 것 같아서 2개 주문했습니다. 뭐 습도계 생겼다고 시원하고 건조해..

아재도 하는 데이터 분석 첫 번째 포스팅입니다. 여름방학 특강으로 들었던 개인 프로젝트에서 사용했던 데이터 파일에 대한 부분입니다. 요즘은 공공데이터 개방을 많이 하는 추세라 정부를 비롯해 많은 공공기관에서도 보유한 데이터들을 제공하고 있답니다. 그중에서 공공데이터 포털(https://www.data.go.kr/)을 통해서 내가 필요한 데이터셋을 찾아볼 수 있으니 자주 가봐야겠습니다. 프로젝트 시간에 분석하고 싶었던 데이터는 부산 도시철도 역별 이용객수를 확인해보고 싶은 거였습니다. 공공데이터 포털에서 찾을 수도 있지만 일단 부산 지하철을 운용하는 부산교통공사 홈페이지(https://www.humetro.busan.kr/default/main.do)에 가봤습니다. 여기서 정보공개-공공데이터 개방에 갔더니..

90년생이 온다. 80년대 생이 쓴 90년대생에 대한 이야기. 나는 70년대생이다. 어느덧 회사에서는 중간자적 입장에 놓인 나이가 돼버린, 뒤늦게 대학원 공부하느라 간 곳은 역시 90년생들이 장악하고 있다. 80년대생만 해도 여기 엄청난 노땅이다. 회사에서도 2013~2014년도 이후 들어온 신입직원들부터 분위기가 조금씩 다르다는걸 감지하곤 했었는데, 확실이 직장생활을 처음 하는 90년 대생들은 달랐다. 80년 대생들만 해도 공감대가 좀 있었는데 말이다. 이는 비단 나만 느꼈던 건 아니것 같다. 공무원 생활을 하고 있는 동창과 대기업에 남아 있는 대학교 동기들이 요즘 들어온 친구들에 대해 얘기할 때면 공통적으로 느끼는 뭔가가 있었다. 요즘 어린 친구들은 공무원 시험을 혹은 공기업 직원이 되기 위한 공시족..

학교에서 방학 동안 잠깐 해주는 python 특강을 들었습니다. 통계학과 학생이라면 요즘 기본적으로 R을 많이 사용하는데, 전반적으로 Python도 데이터 분석을 하는데 많이 사용하는 것 같아서 꼭 들어보고 싶었습니다. 일단 통계학과 학생 대상이라 주제는 역시 데이터 분석. 강의 제목은 '데이터분석을 위한 Python특강'이었습니다. 하루 3시간씩 주 4일 2주 동안 총 8일이었고 시간상으로 3 * 8 = 24H 이나 되었네요. 예전에도 python을 살짝 공부했었는데 ㅋㅋ 수업은 기본적인 문법과 데이터 타입들을 공부하고 나머지 대부분은 Pandas패키지를 활용해서 데이터를 불러오고 데이터를 조작(?)하고 시각화 하는데에 집중했습니다. 수업을 듣고 나니 역시 Dataframe으로 대변되는 이 데이터셋을 ..

나이가 들어서 인가? 대금 악보에서 보인 "쑥대머리"란 노래를 찾아보다가 이 동영상을 발견했다. 국악인 박애리씨가 부른 쑥대머리. 원래 이곡은 판소리 춘향가에서 나온 곡이 오리지널인데, 박애리 님의 버전은 창작댄스 뮤지컬 Kiss the 춘향 이란 곡에서 사용된 편곡 버전인것 같다. 가사를 한번 찾아보았다. 쑥대머리 귀신형용 적막옥방의 찬 자리여 생각나는 것은 임뿐이라 보고지고 보고지고 보고지고 손가락 피를 내어 사정으로 님을 찾아볼까 간장의 썩은 눈물로 님의 화상을 그려볼까 계궁항아 추월같이 번듯이 솟아서 비취고저 전전반측 잠 못 이뤄 호접몽을 어이 꿀 수 있나 내가 만일 님 못 본채 옥중고혼이 되거들면 무덤 앞에 섯난 돌은 망부석이 될 것이요 무덤 근처 선 나무는 상사목이 될 것이니 생전사후 이 원통..

얼마만의 블로그인지, 2019년에 들어 제 개인적으로 나름 큰 변화가 생겼습니다. 직장인 생활이 만 18년이 지난 시점에 다시 학교에 가서 공부를 하게 된 것이지요. 돌고 돌아 공부하러 다시 간 곳에서 통계학 공부를 시작했습니다. 사실 학부 전공과목에서도 배웠던 기억만 있던 바로 그 통계학이란 것이죠. (학교 다닐 때 통계 관련 과목들은 참 싫어했습니다.) IT를 업으로 하면서, 데이터를 여러 관점에서 핸들링하면서, 데이터 분석에 관심을 갖기 시작하면서 다시 통계학이란 용어에 접근하게 되었습니다. 컴퓨터과학이 아닌 통계학으로 다시 방향을 정한 이유가 바로 이 이유이기도 하지요. 사진의 책들이 바로 통계 공부를 하면서 산 책들입니다. 부끄럽게도 통계학의 '통'도 모르던 '통알못'으로 살아왔는데, 다시 통계..

오늘은 온누리상품권에 대해서 간단히 팁을 공유하려고 합니다. 온누리상품권은 소상공인시장진흥공단에서 발행하는 상품권입니다. 보통 우리가 아는 전통(재래)시장에서 사용가능한 상품권이지요.온누리상품권 소개(소상공인시장진흥공단) 백화점 상품권에 비해서 선호도가 떨어지기도 한데 꽤 매력적인 부분도 있더라구요.저도 막연하게 가끔 회사에서 지급되거나 상품으로 받은적이 있었는데, 그냥 시장가서 막연하게 써야지 하면서 제대로 사용도 못하고 해서그냥 중고 거래로 팔기도 했었는데요. 이번에 새로운 팁을 알게 되었습니다.바로 시장지역에 있는 특정 가게에서 사용하는건데 저같은 경우 이번에 가구 구입을 할때 사용하게 되었습니다. 제가 지금 사는 부산에서 좌천동 가구거리가 있습니다. 그곳에 여러 브랜드 가구점들이 많은데요. 그곳이..

요즘 나의 관심사를 키워드로 잠깐 정리해보았다. #대금 #단소 #턱걸이 #스피닝 #통계 #데이터분석 #데이터마이닝#재태크 #주식 #부동산 #아파트 #인테리어 #조명 #필립스휴 #독서 #넷플릭스 적어 놓고 보니 뭔가를 하고 있는게 많다. 그리고 여전히 관심사는 많다.관심사가 많다는건 아직 열정이 있다는 뜻이고, 열정이 있음은 아직 젊다(?)고 말하고 싶다. 그동안 꽤 오랫동안 글쓰는걸 멀리 했는데 다시 조금씩 해볼수 있을까? 자신할 순 없지만 다시 해보련다. 티스토리~!