데이터 과학과 경제학 PhD

이번 포스트는 2요인 고정효과 모형에 관해서 AWS 에서 직접 실습할 수 있도록 하는 포스트이다. US.Virginia 버젼으로 AWS S3, Glue, Athena 를 사용하고 있는데, Seoul 로 하면 인터페이스가 달라보인다. 그래도 주요 기능은 바뀌지 않을 것이라고 가정하고 포스팅해보겠다. AWS S3 에 나는 hyeok/paperabtest/ 폴더에 ab_data.csv 파일을 저장해두었다. AWS Glue 왼쪽 탭에서 Crawlers 를 클릭한다. 클릭하면, 이전에 실행했던 클롤러들에 관한 화면이 나온다. 우측에 "Create crawler" 를 클릭한다. 스텝 1, ... , 5 가 있는데, 설명대로 읽어주면 된다. 나는 paperabtest 라는 테이블에 저장을 했다. AWS Athena ..

2요인 고정효과 모형 (two-way fixed effect) 추정에서, de-meaning (그룹별로 각 평균을 빼주는 형태) 을 직접 하는 코드를 파이썬으로 작성했다. 계량경제학 과제 하는 느낌이긴 한데, 이렇게 연습하다보니 이해가 명확해지기는 한다. 그리고, 구글 Colab 으로 회귀식을 돌리는데, 고정효과 (fixed effect) 를 사용하는 회사 아이디 (firm_id) 가 2천8백여개가 되니까, 고정효과 사용하는 식들이 계속 안 돌아가서 원인을 아직 못 찾고 있다. 일단 2요인 고정효과 모형에서 이렇게 de-meaning 을 할 수 있다는 것을 이용하면, 보다 간단한 이중차분 (difference-in-difference) 에서도 de-meaning 이 가능할 것으로 이해하고 있다. 관련 코..

함수 속에 세 개의 파라미터로 문자, 함수, 함수를 넣어서, 문자를 넣으면 두 개의 함수가 역할을 해서 결과값을 출력해보고자 한다. 오늘도 나의 코딩 선생님이신 Chat GPT 님께 다음과 같이 공손히(?!) 영어로 물어봤다. [나] TypeScript에서, 문자열을 첫 번째 매개변수로, 함수를 두 번째 및 세 번째 매개변수로 가지는 함수 예제를 보여줄 수 있나요? 첫 번째 매개변수는 문자열, 두 번째 매개변수는 함수이며 문자열을 입력으로 받아 반환하는 함수, 세 번째 매개변수는 함수이며 문자열을 입력으로 받아 반환하는 함수입니다. 첫 번째 매개변수를 두 번째 매개변수(함수)의 입력 값으로 사용하고, 두 번째 매개변수(함수)에서 반환된 값을 세 번째 매개변수(함수)의 입력 값으로 사용한 후, 세 번째 매..

요즘 타입스크립트 공부하다 궁금한 개념이 있으면 ChatGPT 에 바로 물어본다. 콜백함수에 대해 물어봤더니, 비동기 처리와 관련된 작업에서도 자주 사용한다고 답해준다. 화면 띄울 때 주요 윤곽선 같은 것들만 먼저 띄우고, DB 에서 쿼리를 통해 데이터를 불러오거나 연산 등의 작업은 나중에 하도록 하면 좋을 것 같다. 콜백함수의 쉬운 예시를 보여달라고 하니, 다음과 같은 예시를 보여준다. function printResult(result: number) { console.log('Result is ' + result); } function add(a: number, b: number, callback: (result: number) => void) { const result = a + b; callbac..

이전 포스팅에서는 ChatGPT 에게 간단한 코드 개념을 물어봤었다. 이번 포스팅에서는 ChatGPT 에게 내 TypeScript 코드의 에러를 잡아달라고 부탁했다. 그러면, 설명과 함께 코드를 알려준다. The error in the code is in the for loop where copyX[i] :(number | string) = 1 is not a valid statement. It seems like you are trying to assign a value to an array element at index i, but i is not defined in the loop. To fix this error, you can replace copyX[i] :(number | string) = ..

코딩할 때는 질문만 잘 하면, ChatGPT 가 구글 검색보다는 훨씬 효율적인 것 같다. 예를 들어서, '2014' 과 같은 문자를 입력하면 4가 출력되고, 765 와 같은 숫자를 입력하면 3이 출력되는 함수를 만드는 숙제를 하다가, 글자 자릿수 세는 방법을 어떻게 찾는지 궁금해서 ChatGPT 에 다음과 같은 두 가지 질문을 해보았다. 질문 1. What is the code for counting the number of characters in JavaScript? 그러면, JavaScript 에서 `length` 를 이용하라면서 다음과 같은 예시 코드를 보여준다. const str = "Hello, world!"; const numChars = str.length; console.log(numCh..

11월은 추운 계절인가보다. 환절기라 더 추운건지 추울 거라 예상을 못한 상태에서 한파가 몰아치니 멘탈과 체력이 버티지 못하는 것 같다. 필자는 저는 미국 테크 회사를 갈 거에요!!!! 라고 노래를 부르고 온 동네방네 소문을 다 내던 1인으로서 지금 이 상황이 당황스럽기도 하고 앞으로 어떻게 해야하나 싶기도 하다. 11월 6일-8일 이 NABE 라는 미국 테크 경제학자들의 컨퍼런스가 있어 시애틀에 in-person 으로 다녀왔었고, 11월 19일-22일에는 SEA 라는 학계 학회가 있어서 다녀왔었다. (비슷한 시기에 경제학은 아니고 public policy 분야에 APPAM 이라는 학회가 있는데 나는 가지 않았으나 여기도 자주 가는 것 같다) NABE 가기 전에 PhD candidate 들이 자주 하는 ..

Photo OCR Problem Description and Pipeline Photo OCR 의 예시로는 사진에서 텍스트를 인식한 후 입력하는 것입니다. 텍스트를 인식한 후 영어 알파벳의 위치를 인식한 후, 각각의 알파벳을 분류합니다. 이러한 과정 (파이프라인)을 여러 엔지니어가 분업할 수 있습니다. Sliding Windows Photo OCR 의 텍스트 인식의 전체 과정을 이해하기 전에, 보행자 인식 과정을 먼저 생각해봅시다. Supervised learning 을 통해서 보행자 인식을 할 수 있습니다. 예를 들어, 82 x 36 pixel 크기의 패치 마다 보행자 여부를 인식할 수 있습니다. 패치를 조금씩 움직이면서 (슬라이딩 하면서) 보행자 여부를 인식합니다. 그리고 패치 사이즈를 변화시키면서 ..

Introduction 구글 벤처스에서 새로운 로봇을 테스트합니다. 호텔에서 자주 사용될 것이라 예측합니다. 팀의 걱정은 사람들이 로봇에 거부감이 있는지 였습니다. 5일 안에 문제를 검증해보기로 합니다. 칫솔을 가져다주는 로봇을 기획합니다. 해결책 후보를 정하고 가장 좋은 안을 결정내립니다. 소비자들을 인터뷰하는 과정에서 칫솔이 필요한 경우를 물어보고 로봇이 칫솔을 가져다주도록 합니다. 소비자들이 만족합니다. 1. Challenge 클라리넷 연주자 제임스는 은퇴 후 커피 전문점을 창업합니다. 그의 문제는 오프라인 사업을 온라인으로 확장하는 것이었습니다. 제임스는 팀에 소프투웨어 엔지니어, Chieft Operating Officer, 매니저 등을 투입합니다. 온라인 웹사이트 3가지 안이 제시되었습니다. ..

미국의 테크 회사에 데이터 관련 포지션에 취업하고 싶으나 어떠한 방식이 효율적이고, 내가 원하는 방식인가에 대해서는 고민중이다. Photo by Markus Winkler on Unsplash 인더스트리 취업의 관점에서도 박사 과정에서 하던 연구들을 완전히 버리는 것은 어렵다. 회사 입장에서 경제학 박사를 우대할 이유는 그 사람이 경제학적인 내용을 배웠기 때문이다. 그나마 인과추론(Causal Inference)은 계량경제학에서 워낙 많이 다루는 내용이라 아마존 Economist 외에도 필요로하는 경우가 있으나, AB 테스팅을 원하는 것 같다. 근데 AB 테스팅을 하기 위해서는 회사에 들어오는 방법 이외에는 개발경제학 전공에서 field experiment 를 하거나 간단한 field experiment..