판다스

0916_Ch02. 고객별 연간 지출액 예측 - 09. 파이썬 Tip 2. Pandas Indexing 하나의 데이터를 불러오는 것은 쉽다. data['Yearly Amount Spent'] 이것처럼. 하지만 두개 이상 되었을땐, data['Time on App', 'Time on Website'] 이렇게 쓰면 에러가 난다. 왜냐하면 이 대괄호[]의 안에 들어갈 요소는 하나여야 한다. 판다스 데이터 프레임의 인덱싱을 위한 대괄호 안에는 하나의 요소만. 그래서 두개의 요소를 넣으면 작동을 하지 않는다. 아래를 보면 넘파이, 판다스 설명할때 썼던 리스트 형태이다. 두개의 텍스트 덩어리가 들어있는 하나의 리스트가 되는 것이다. 따라서 하나의 리스트이기 때문에 두개가 들어있어도 리스트가 하나여서 판다스 데이터 ..

Ch02. 고객별 연간 지출액 예측 - 09. 파이썬 Tip 1. Numpy와 Pandas 넘파이 설명. 넘파이, 판다스 모두 데이터를 다루기 위한 모듈. 리스트 개념. 대괄호로 묶여 있는 일련의 데이터 집합. 쉼표로 나눈다. ''를 쓰기도 한다. 넘파이에서 리스트 데이터를 불러와 보면, 또는 이렇게 된다. 넘파이를 넘파이 어레이라는 형태로 불러오는게 일반적이다. 명령어는 np.array다. 넘파이 어레이라는 데이터 타입으로 변형이 된 것이다. 보기에는 같지만 앞의 리스트와 넘파이 어레이는 전혀 다른 형태이다. a, b를 어레이로 불러오면 두개의 리스트를 감싸고 있는 형태를 볼 수 있다. 넘파이는 2차원 행렬을 굳이 이렇게 표현을 해준다. 가독성은 떨어지지만, 넘파이 어레이의 가장 큰 장점은 연산이 굉장..

예측한 데이타값과 실제 데이터 값을 비교하면 대충 이런 그래프가 나온다. 주황색 삼각형은 X_test 값을 나올때 나오는 예측값이다. 파란색은 테스트 데이터 셋이다. 예를 들어 X test 값이 1이면 실제 Y test 값은 3인데 우리의 예측값(주황색 삼각형)은 7이다. X test 값이 2일때 Y test 값이 10이다. 하지만 예측값은 8이 나왔다. 2만큼의 갭이 있다. 예측치와 실제값과의 차이 즉 에러다. 당연히 에러값은 낮을 수록 좋다. 이걸 MSE(Min Squared Error, 평균 제곱 오차 또는 편차)라는 방법으로 풀어볼 것이다. 그런데 오차를 낼때 방향성의 차이가 있다. 예측치에서 실제값을 빼느냐, 실제값에서 예측치를 빼느냐. 양수와 음수 차이 구분을 없애기 위해 절대값을 쓰거나 제곱..

Ch02. 고객별 연간 지출액 예측 - 06. 리니어 리그레션 모델 만들기 linear regression을 하는 모델링을 불러와서 할 것이다. 모델링을 하는 파트는 그렇게 많은 코드를 요구하지 않는다. 모델링을 이해하는 데 많은 시간이 필요하다. 오히려. 여러 모듈이 있는데 그 중 statsmodels을 불러온다. statsmodels안에 많은 펑션이 있는데 그 중 OLS가 linear regression을 만든다. OLS 에 먼저 train을 넣어준다. 특이하게 y값을 먼저 넣는다. 이렇게 하면 linear regression을 돌리기 위한 준비가 끝난다. OLS 펑션안에 y_train, X_train이라는 데이터를 가지고 지정해 주었다. 이것을 트레이닝을 시키기 위해 'fit'을 사용한다. 이렇게 ..

Ch02. 고객별 연간 지출액 예측 - 05. Train Test Split 가지고 있는 데이터 중에 일부를 떼어내서 테스트를 위한 데이타로 사용하고 남은 데이타를 가지고 모델을 트레이닝 한다는 것. X는 독립변수, y는 종속변수. 머신러닝을 돌려서 linear regression을 만들어 낸다고 하면 이 테이터의 분포를 가장 잘 나타내는 선을 하나 컴퓨터가 긋는다. 과연 새로운 데이터를 만났을때 이 노란색 선이 그 데이터를 가장 설명해 줄 수 있는 선이 될 것인가? 빨간 삼각형이 새로운 데이터라고 했을때 이 녹색선이 모든 데이터를 아울러서 가장 잘 표현해 줄 수 있는 선이 될 것이다. 파란색 데이터는 노란색 선이 가장 잘 나타내 주지만 빨간 삼각형 데이터와 함께 있을 때 노란색 선은 잘 설명해 줄 수 ..

Ch02. 고객별 연간 지출액 예측 - 01. 분석의 목적, 02. 모듈 및 데이터 로딩, 03. 데이터 특성 확인하기 01. 분석의 목적 Linear Regression 을 사용하여 E-Commerce 고객별 연간 지출액을 예측 고객의 연간 지출액, 서비스를 웹에서 사용한 시간, 앱에서 사용한 시간, 멤버십 등의 자료가 있다. 이 데이터를 머신러닝 알고리즘을 통해 학습을 시킨 뒤 이 고객이 연간 얼마를 지출할 지 예측한다. x값과 y값의 선형 상관관계를 나타내는 것이 Linear Regression 이다. 02. 모듈 및 데이터 로딩 되도록이면 파일을 같은 폴더에 집어 넣어서 정리하는게 좋다. 업로드 버튼을 눌러서 파일을 폴더에 불러온다. 1. 가장 먼저 해야할 것. 파이썬 모듈을 불러와야 한다. 모듈..

Ch01. Intro-03. Jupyter Notebook 설치 및 기본 사용법 아나콘다 설치 www.anaconda.com 로 들어가면 다운받을 수 있다. 아나콘다는 파이썬/R 데이터 사이언스와 머신 러닝을 수행하는 가장 쉬운 방법을 제공한다고 나와 있다. 개인용은 Indiviisual Edition에서 다운로드 한다.맥, 윈도우, 리눅스에서 실행 가능하다. Anaconda | The World's Most Popular Data Science Platform Anaconda is the birthplace of Python data science. We are a movement of data scientists, data-driven enterprises, and open source communi..

● Ch01. Intro-02.머신 러닝이란. 전통적인 프로그래밍은 프로그래머가 빨간원(함수부분)을 만든다. 머신러닝은 인풋과 아웃풋을 던져주면 중간의 함수를 만든다. 내 생각엔 역발상이라고 말하고 싶다. 이것을 Supervised Learning이라고 한다. 1. Supervised Learning(지도학습) 답(y값, 종속변수)을 알고 있을때 사용하면 좋은 머신러닝 기법. 기대하려는 답을 알고 있을때, 이를 테면 귤이라는 기대하는 값이 있을때 2. Unsupervised Learning(비지도 학습) 답을 모르고 있을때 알고리즘 적용. 가장 대표적인 기법 Clustering(클러스터링). 클러스터링을 비슷한 데이터끼리 묶어주는 알고리즘. 이 15개의 과일을 집어넣었을때 이것들을 비슷한 것끼리 묶어준다..