데이터 과학과 경제학 PhD

firebase 관련 문제가 있어서 다른 컴퓨터에 재설치를 했다. flutter doctor 을 하는데, 문제 가 있어서 검색해보았다. Java 관련 문제이다.      PS C:\Users\admin> flutter doctorDoctor summary (to see all details, run flutter doctor -v):[√] Flutter (Channel stable, 2.8.0, on Microsoft Windows [Version 10.0.22631.3737], locale ko-KR)[√] Android toolchain - develop for Android devices (Android SDK version 35.0.0)[√] Chrome - develop for the web[!..

PyFixest 오픈 소스 프로젝트 관련, 어제 오픈소스 모임장인 알렉스랑 첫미팅을 했다. 환경설정이랑 코드 오버뷰였다. 나는 포아송 회귀식 (Poisson Regression) 관련 코드를 빠르게 하는 파트를 하기로 했다. 설명 중에 import pdb 가 디버깅할 때 요긴하게 사용된다고 하는데, 개념이 새로워서 공부 겸 ChatGPT 에게 물었던 내용을 메모해둔다.   (질문) import pdb 가 무엇이니?  (ChatGPT) import pdb는 Python 프로그램에서 디버깅을 하기 위해 Python Debugger (PDB) 모듈을 가져오는 데 사용되는 구문입니다. PDB 모듈은 인터랙티브 디버깅 환경을 제공하여 개발자가 브레이크포인트를 설정하고, 코드를 단계별로 실행하며, 변수를 검사하고,..

AWS에 익숙해지고 싶을 때 접근하기 좋은 AWS Amplify의 연습을 다시 시작했다.   비트코인의 현재 가격을 미국 동부 시간(EST)와 한국 시간(KST)로 보여주는 연습용 웹사이트이다. 오늘은 업데이트된 코드를 다시 복습했다.  연습용 웹사이트 링크: https://bitplot.d2zlom88f9f14y.amplifyapp.com/비트코인 현재 가격만 현재 나오고 있는데,유저가 (가입 후) 본인이 구매했던 가격과 구매 시점을 입력하면, 수익률을 계산해주는 계산기를 만들어볼까 생각중이다.   비트코인은 관련 API가 찾기 쉬워서 했는데, 나중에는 본인이 구매한 미국 주식, 매도한 미국 주식 등을 입력하면 간단하게 계산해주는 걸 만들어볼까 생각중이기도 하다. 미국 주식 키움으로 보고 있는데 간단한..

제목: Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making 저자: Yunfeng Zhang, Q. Vera Liao, Rachel K. E. Bellamy 논문에 따르면, 인공지능 제품의 정확도가 높다고 해서 해당 인공지능 제품에 대한 믿음이 높다는 것을 의미하지는 않는다. 인공지능 제품은 확률적이기 때문에 에러가 발생할 수 있기 때문이다. 인공지능 제품의 정확도에 대한 점수를 표기할 수 있을 때 사람들의 인공지능 제품에 대한 신뢰가 상승할지를 실험을 통해 보여준다. - Note. 인공지능 '제품'이라는 표현을 내가 만들어냈는데, 인공지능의 도움을 받아서 의사결정을 하는 가상..

논문 관련 시작 포스팅으로 어떤 토픽을 공부하고 공부 목적에 대해서 간략히 기술하겠다. 공부하고자 하는 주요 토픽은 경매 (auction), 이면시장 (two-sided market), 검색 (search), 추천 시스템 (recommendation system) 이다. 경매는 디지털 광고 관련해서 많은 기업들이 자동 경매를 도입하고 있어서 관심을 갖게 되었다. 빅테크 기업인 구글과 메타는 주요 BM 이 디지털 광고이고 최근에는 아마존도 이 분야를 확장시키고 있다. 국내에서는 네이버는 광고 관련 매출이 크고 쿠팡도 매출에서 광고의 비중이 커지고 있다. 경제학 중에서 산업계에 가장 요즘 유용한 분야인듯하다. 이면시장은 대부분의 플랫폼들은 공급자와 수요자가 존재하는 이면시장의 형태를 띄고 있다. 이 분야에 ..

데이터 분석이란 무엇이고 데이터 분석가란 무슨 일을 하는 사람일까요? 분석가의 일의 범주는 어디까지일까요? 데이터 기반 의사 결정을 위해서 데이터 분석가나 데이터 과학자가 필요하다는 말은 자주 들어보지만 정작 내가 하는 일은 이에 부합하는지 고민스럽거나 분석 이전에 해결해야할 과제들이 산적해있기 마련입니다. 안녕하세요. 저는 현재 경제학 박사과정 졸업 예정입니다. 정책과 관련된 연구 논문은 정책 입안자를 설득하는 역할을 한다면 분석가의 분석은 회사와 관련된 이해관계자의 액션을 취하도록 설득하는 역할을 한다고 생각합니다. 이번 포스팅에서는 , , 에 대해서 다루어보도록 하겠습니다. 다른 경험을 가진 분들의 이야기와 대조를 해보면서 생각해보시면 좋을듯합니다. 의사결정에 근거가 되는 분석은 무엇일까요? 가설을..

"인과추론 관련 (나의) 글 링크 모음" 에서 인과추론에 관한 다양한 토픽을 접하실 수 있습니다. Instrumental Variable 설명 할인률이 결제액에 미치는 영향을 구하고 싶다고 가정합시다. 할인률 선택은 사람들의 특성에 따라서 다를 수 있습니다. 예를 들어서, 가격이 낮을 수록 소득이 낮은 학생은 수요량이 증가할 수 있으나 소득이 높은 직장인의 경우에는 가격에 크게 반응하지 않을 수 있습니다. 이러한 상황에서 할인률에 따라서 결제액에 미치는 영향을 구한다고 하면, 통제되지 않은 변수들이 인과추론에 영향을 줄 수 있습니다. 그렇다면, 어떻게 하면, 인과적인 추론이 가능할까요? 할인률 적용 프로그램과 관련된 안내 푸쉬 메세지를 앱 내에서 유저에게 랜덤으로 보낸다고 가정합시다. 안내를 받은 유저들..

이번 포스팅에서는 이중차분 (Difference-in-difference) 과 Synthetic Control 에 대해 간단한 가상의 사례를 바탕으로 개념을 간략히 설명하도록 하겠습니다. 이중차분 개념 설명 이중차분이란, 어떤 정책의 변화로 인해 연구자 (= 분석가) 가 궁금해하는 결과값의 두 집단 사이의 차이가 변하는지를 보는 것입니다. 예를 들어서, 앱을 운영하는 중에 새로운 기능의 효과를 검증한다고 합시다. 일인당 결제액은 아이폰 유저가 안드로이드 유저의 결제액에 비해 그동안 높았다고 가정합시다. 이 때, 임의로 안드로이드에서는 새로운 기능을 추가하고, 아이폰에는 기능을 추가하지 않았다고 합시다. 그 후로, 일인당 결제액의 차이가 감소했다면, 새로운 기능이 일인당 결제액에 부정적인 영향을 미쳤다고 ..

이번 포스팅에서는 데이터가 존재하는 논문을 바탕으로 2요인 고정효과 모형을 추정하는 구체적인 방법을 다룹니다. 그리고 계량경제학적인 수식을 살펴보고, AWS 에서 약 1GB 크기의 약 7백만 개의 관측치를 저장하고, 이를 SQL 을 통해서 추출한 후에 파이썬에서 직접 실습해볼 수 있도록 하는 가이드도 함께 제공합니다. [1] 논문의 사례 예시 (데이터와 함께) 데이터 분석가로서 이메일 등록이 고객 참여에 미치는 영향을 분석하는 임무가 주어졌습니다. 어떻게 분석을 해야 할까요? 이메일 등록은 유저마다 다른 시점에서 시작하기 때문에 점진적인 이중차분법 (staggered Difference-in-Difference) 을 적용할 수 있습니다. 점진적인 이중차분법에 대해 본격적으로 들어가기에 앞서, 이중차분법에..

이번 포스트는 2요인 고정효과 모형에 관해서 AWS 에서 직접 실습할 수 있도록 하는 포스트이다. US.Virginia 버젼으로 AWS S3, Glue, Athena 를 사용하고 있는데, Seoul 로 하면 인터페이스가 달라보인다. 그래도 주요 기능은 바뀌지 않을 것이라고 가정하고 포스팅해보겠다. AWS S3 에 나는 hyeok/paperabtest/ 폴더에 ab_data.csv 파일을 저장해두었다. AWS Glue 왼쪽 탭에서 Crawlers 를 클릭한다. 클릭하면, 이전에 실행했던 클롤러들에 관한 화면이 나온다. 우측에 "Create crawler" 를 클릭한다. 스텝 1, ... , 5 가 있는데, 설명대로 읽어주면 된다. 나는 paperabtest 라는 테이블에 저장을 했다. AWS Athena ..