데이터 과학과 경제학 PhD

2주차 이번 강의는 내가 원하던 기본적인 명령어들이 많아서 좋다. 평소에 막힐 때 마다 검색해서 귀찮았는데, 이번에 한 번에 정리해두는 것 같아서 좋다. 아래 2주차 내용도 구글 colab 의 ipython 링크에 저장해두었다. 아래 메모는 "치트시트" 처럼 눈으로 훑으면서 전체적인 내용을 파악하는데 도움이 된다. 정확히 파악하려면 ipython 연습 코드를 참조할 필요가 있다. Lists and Tuples Tuples 콤마와 괄호로 이루어져있다. 예: score = (5, 4, 3, 5, 2, 4, 3, 5) tup = ('dance', 5, 2.4) type(tup) = tuple tup[0]: 'dance' tup[2]: 2.4 tup[-2]:5 new_tup = tup + ('sing', 3.5..

데이터 과학을 위한 파이썬 (Python for Data Science, AI & Development) [한글 제목을 영문에 가깝게 지었다고 생각했는데 AI & Development 를 빼먹었다. 아마 적다가 순간 깜빡했나보다] 1주차를 끝냈다. 총 5주차까지 있다. 파이썬하면서 타입이 무척 헷갈렸는데 정리할 기회가 될 것 같다. 데이터 프레임 다루는 것도 하면 좋을 것 같다. 구글 Colab 에 나의 ipython 연습 코드를 올려두었다. 아래 메모는 "치트시트" 처럼 눈으로 훑으면서 전체적인 내용을 파악하는데 도움이 된다. 정확히 파악하려면 ipython 연습 코드를 참조할 필요가 있다. 1주차 Types 파이썬의 다양한 종류의 타입 예: 21 : int (정수) 31.123 : float (실수)..

데이터 과학의 전체적은 흐름을 조망한다. 사회과학적인 연구를 하면 흐름이 익숙하다. 1주차 From Problem to Approach From Requirements to Collection 2주차 From Understanding to Preparation From Modeling to Evaluation Evaluation - ROC Curve, False Positive, True positive. 3주차 From Deployment to Feedback 직접 경험해보면서 느끼는 내용들이라 강의만으로는 크게 와닿지는 않는 것 같다. 운전면허연습장 교육 영상을 보는 느낌이 강하다. 슬라이드 훑어있으면서 문제 풀어보고 하면 대략적인 내용들이 눈에 들어온다. 3주차 과제 중에 동료 검토가 있다.

2주차: 총 00시간 이번 시간에는 본격적으로 주피터 노트북 실습이 있어서 기대가 된다. 주피터 노트북과 주피터 랩 주피터 노트북 서론 데이터 관련 실험을 저장할 수 있다. 텍스트나 pdf 형태로도 출력할 수 있다. 구글 colab 에서도 작동한다. $pip install jupyterlab (IBM 의 skills network 로 사용할 수 있다고 하지만, 나는 구글 colab 으로 해야겠다.) 주피터 시작 텍스트도 가능하고 라이브러리에서 불러와서 사용이 가능하다. ipython 이다. 주피터 커널 이미 저장된 커널이 존재한다. 예를 들어, 파이썬 커널이다. 구글 colab 은 기본적으로 파이썬 커널인듯한데 R 커널도 사용할 수 있는 방법이 있는지 더 찾아봐야겠다. 주피터 구조 client 의 요청을..

시작하며 새로운 프로덕트 런칭 등의 효과를 분석하는 일에는 A/B 테스팅과 같은 실험 방법론이 효과적이지만 윤리적인 문제나 기간적인 문제 또는 리소스 부족 등의 문제로 인해 도입하기 어려운 상황이 발생합니다. 이러한 상황에서 PSM (성향점수 매칭)), 이중차분, 회귀단절, 도구변수 등의 인과추론 방법론들을 고려해볼 수 있는데요, 이번 포스팅에서는 PSM 에 대해서 다루어보도록 하겠습니다. PSM 은 성향점수 매칭 방법은 유저(또는 일반적으로 관측치)가 정책(프로덕트 런칭 등)의 treatment 그룹에 속할 확률을 기반으로 treatment 그룹과 control 그룹을 나누는 방법입니다. 예를 들어, 새로운 음악 추천 서비스의 음악 소비에 대한 효과를 추정하고 싶다고 한다면, 새로운 음악을 들을 확률이..

1주차 : 총 2시간 데이터 과학의 언어 수업 서론 데이터 과학자는 데이터를 변환하고 시각화하는 능력이 필요하다. 이를 위해서는 관련 프로그래밍 능력과 프레임워크에 대한 이해가 필요하다. 클라우드에 대한 이해도 필요하다. 데이터 과학의 언어 파이썬, R, SQL 은 기본적인 언어이다. 이외에 Scala, Java, C++, Julia 도 유명하다. JS, php, Go, Ruby 도 특별한 능력이 있다. 본인이 풀고자 하는 문제에 따라서 필요한 프로그래밍 언어가 달라진다. 파이썬 서론 파이썬은 매우 유명합니다. 배우기 쉽고, 다큐멘트가 많으며, AI, ML , web 개발 등 여러 기능을 가지고 있으며, 여러 조직에서 사용하고 있습니다. 또한 라이버리가 다양합니다. 데이터 과학자에게는 특히 Pandas,..

1주차에 이어서 2주차이다. 3주차는 (일단) 패스하도록 하겠다. 2주차: 총 3시간 빅 데이터와 데이터 마이닝 빅데이터 기초 비즈니스 인사이트를 위한 수집된 대량의 정보를 의미한다. 빅데이터는 엄청난 속도 (velocity) 로 수집된다. 빅데이터의 스케일 (volume) 은 어마어마하다. 빅데이터에는 종류가 다양하다 (variety). 사진, 텍스트 등 다양한 소스에서부터 비롯된다. 데이터의 신빙성 (veracity) 도 높다. 데이터의 가치 (value) 는 고객, 직원, 헬스 등 다양한 분야에서 가치를 가진다. ApacheSpark, Hadoop 은 빅데이터를 분석할 툴이다. 하둡이란 무엇인가? 매우매우 대량의 데이터를 잘게 나누어서 서로 다른 컴퓨터(서버)에 전송한 후에 각자 계산을 한 결과를 ..

IBM Data Scientist 과정을 구독했다. 10개의 강의가 있다. 7일 무료 이용이고 이후 월 $39를 지급해야 한다. 완료 시 수료증을 발급받는다. 구독은 어렵지 않다. 클릭하고 신용카드 정보를 기입한다. 나는 이전에 MySQL 과정을 하면서 등록해둔 정보가 있어서 바로 시작되었다. 1월 26일에 총알같이 완료했는데, 수료증받고 구독 취소하는 법을 몰라서 과금이 두 번 되었다... 수료증을 받더라도 구독 취소를 눌러야 하는가 그랬던 것 같다 (한 번은 그렇다 하더라도 두 번은 좀 그렇다...). 이번에는 누구보다빠르게 번개같이 수료증받고 구독취소를 해야겠다. 그래도 "돈"을 걸면 더 열심히 하게 된다. 물론 그렇다고 무조건 빠르게 하는 것만이 중요한 건 아니다. MySQL 때 일단 답 찾는 일..

들어가며 캐나다 데이터 과학자인 Greg Hogg 라는 유튜버의 Coursera ML 로드맵인데, 구성이 괜찮아 보여서 따라 해봐야지 하고 있다. 데이터 과학자 분들의 링크딘 프로필의 자격증란 (Licenses & certifications) 를 눈팅하는 편인데, 어떤 순서로 강의들을 들어야하나 고민이 있었다. Greg Hogg 의 영상에서 스텝-바이-스텝으로 강의를 추천해줘서 좋은 것 같다. 방학을 계기로 하루에 몰아서 시간을 하루에 4-5시간씩 몰아서 듣고자 한다. 이전에 MySQL 수업 들을 때 일주일 동안 무료였던 걸로 기억한다. 나는 이 방식이 좋았던 것이 "금전적인 인센티브"가 생겨서 기간 안에 수업을 끝낼 수 있는 것 같다. 물론, 그 때 "취소"버튼을 누르지 않아서 결재를 했지만... 이번..

습관 별 상세 페이지를 만들고, 이를 수정할 수 있도록 하려고 한다. 예를 들어, 위의 사진처럼 습관 링크를 클릭하면, 아래 사진과 같이 세부 습관을 일자별로 나타낸다. 먼저, index.html 을 일부 수정해야 한다. script 태그를 다음과 같이 변경한다. 제목을 a href 태그로 감쌀 때, document 의 아이디로 링크를 이동시켜준다. const db = firebase.firestore(); db.collection('habit').get().then((result)=>{ result.forEach((doc)=>{ console.log(doc.data()) var dateHabit = new Date(doc.data().date.seconds*1000) var dateHabit = "Da..