데이터 과학과 경제학 PhD

Andrew Ng 교수님의 Coursera 머신 러닝 수업 중 Octave 를 사용하는 튜토리얼 내용을 정리중이다. 오늘은 다른 프로그래밍 언어에서도 참고할만한 vectorization 개념과 Octave 코드에 대해서 다루어보도록 하겠다. 파이썬 코드는 다음 포스팅에 마련해두어야겠다. Octave 관련 내용 목차: (1) Basic Operations (2) Moving Data Around (3) Computing Data (4) Plotting Data (5) Control Statements: for, while, if statement [Octave 관련 이전 포스팅, (1-5) 바로가기 링크] (6) Vectorization (이번 포스트) (6) Vectorization (numerical)..

2주차 Machine Learning (by Andrew Ng) 교수님의 Coursera 강의의 중요 내용을 요약하고, 관련 알고리즘을 직접 파이썬으로 생성해보았습니다. 관련 ipython 코드는 구글 colab 링크에 담아두었습니다. 가설: $h_{\theta} (x) = \theta_0 + \theta_1 x$ 에서 $\theta_0, \theta_1$ 을 선택합니다. 이 때, cost function 인 $J(\theta_0, \theta_1) = \frac{1}{m} \sum_{i=1}^m \Big( h_\theta (x_i )- y_i \Big)^2$ 을 최소화하는 $\theta_0, \theta_1$ 을 찾습니다. $$\min_{\theta_0, \theta_1} \frac{1}{m} \sum..

(1주차) 파이썬 라이브러리를 이용해서 머신 러닝 모델을 실행한다. 이를 통해서 결과를 예측하거나 그룹을 나누거나 추천 시스템을 만든다. regression, classification, clustering, scikit learn, scipy. + anomaly detection, sequence mining, dimension reduction (PCA), recommendation systems. 파이썬 라이브러리: numpy (계산), scipy (optimization, statistics 등), matplotlib (시각화), pandas, scikit-learn (ML) scikit-earn: clssification, regression, clustering algorithms (with ..

드디어 4주차이다. 4주차에서는 - Reading Files with Open - Pandas - Numpy in Python 을 공부한다. Reading Files with Open 시작하기 전에, 구글 드라이브와 구글 colab 을 연동하는 방법을 해봐야겠다. External data: Local Files, Drive, Sheets, and Cloud Storage 링크를 참고했다. from google.colab import drive drive.mount('/content/drive') 를 시행하면, Mounted at /content/drive 라고 확인이 된다. 테스트로 다음 코드를 시행해보자. with open('/content/drive/My Drive/foo.txt', 'w') as f..

3주차에서는 다음 5가지 주제를 하는데, 이번 포스팅에서는 나머지 2가지에 대해서 적어보겠다. - Conditions and Branching - Loops - Functions - Exception Handling - Objects and Classes 구글 colab ipython 링크에 3주차 내용을 수록해두었다. Exception Handling 예: 문자만 넣어야 하는데 숫자를 넣는 경우, 파일을 열고자 하는데 실패하는 경우. try: ... except IOError: ... else: ... ZeroDivisionError, NameError, IndexError Exception Handling x=2 try: y=int(input("number you want to divide by x"..

3주차에서는 다음 5가지 주제를 하는데, 이번 포스팅에서는 처음 3가지에 대해서 적어보겠다. - Conditions and Branching - Loops - Functions - Exception Handling - Objects and Classes 구글 colab ipython 링크에 3주차 내용을 수록해두었다. Conditions and Branching Conditions x=6, y=7 을 정한 후 x==y 를 입력하면 False 가 출력된다. x < y 를 입력하면 True 가 출력된다. x!=y 를 입력하면 True 가 출력된다. "Ed Sheeren"=="Justin Bieber" 는 False 를 출력하고 "Ed Sheeren" != "Justin Bieber"는 True 를 출력한다...

2주차 이번 강의는 내가 원하던 기본적인 명령어들이 많아서 좋다. 평소에 막힐 때 마다 검색해서 귀찮았는데, 이번에 한 번에 정리해두는 것 같아서 좋다. 아래 2주차 내용도 구글 colab 의 ipython 링크에 저장해두었다. 아래 메모는 "치트시트" 처럼 눈으로 훑으면서 전체적인 내용을 파악하는데 도움이 된다. 정확히 파악하려면 ipython 연습 코드를 참조할 필요가 있다. Lists and Tuples Tuples 콤마와 괄호로 이루어져있다. 예: score = (5, 4, 3, 5, 2, 4, 3, 5) tup = ('dance', 5, 2.4) type(tup) = tuple tup[0]: 'dance' tup[2]: 2.4 tup[-2]:5 new_tup = tup + ('sing', 3.5..

데이터 과학을 위한 파이썬 (Python for Data Science, AI & Development) [한글 제목을 영문에 가깝게 지었다고 생각했는데 AI & Development 를 빼먹었다. 아마 적다가 순간 깜빡했나보다] 1주차를 끝냈다. 총 5주차까지 있다. 파이썬하면서 타입이 무척 헷갈렸는데 정리할 기회가 될 것 같다. 데이터 프레임 다루는 것도 하면 좋을 것 같다. 구글 Colab 에 나의 ipython 연습 코드를 올려두었다. 아래 메모는 "치트시트" 처럼 눈으로 훑으면서 전체적인 내용을 파악하는데 도움이 된다. 정확히 파악하려면 ipython 연습 코드를 참조할 필요가 있다. 1주차 Types 파이썬의 다양한 종류의 타입 예: 21 : int (정수) 31.123 : float (실수)..

데이터 과학의 전체적은 흐름을 조망한다. 사회과학적인 연구를 하면 흐름이 익숙하다. 1주차 From Problem to Approach From Requirements to Collection 2주차 From Understanding to Preparation From Modeling to Evaluation Evaluation - ROC Curve, False Positive, True positive. 3주차 From Deployment to Feedback 직접 경험해보면서 느끼는 내용들이라 강의만으로는 크게 와닿지는 않는 것 같다. 운전면허연습장 교육 영상을 보는 느낌이 강하다. 슬라이드 훑어있으면서 문제 풀어보고 하면 대략적인 내용들이 눈에 들어온다. 3주차 과제 중에 동료 검토가 있다.

2주차: 총 00시간 이번 시간에는 본격적으로 주피터 노트북 실습이 있어서 기대가 된다. 주피터 노트북과 주피터 랩 주피터 노트북 서론 데이터 관련 실험을 저장할 수 있다. 텍스트나 pdf 형태로도 출력할 수 있다. 구글 colab 에서도 작동한다. $pip install jupyterlab (IBM 의 skills network 로 사용할 수 있다고 하지만, 나는 구글 colab 으로 해야겠다.) 주피터 시작 텍스트도 가능하고 라이브러리에서 불러와서 사용이 가능하다. ipython 이다. 주피터 커널 이미 저장된 커널이 존재한다. 예를 들어, 파이썬 커널이다. 구글 colab 은 기본적으로 파이썬 커널인듯한데 R 커널도 사용할 수 있는 방법이 있는지 더 찾아봐야겠다. 주피터 구조 client 의 요청을..