Author: Keith

1

데이터 전처리란?

개발자 면접을 보다보면, 파비의 사업모델은 뭐냐, 기술 역량은 얼마나 뛰어나냐,  비지니스 철학은 뭐냐 같은 종류의 질문을 받는 경우가 있다. (더불어서 돈 많냐, 월급 떼어먹는거 아니냐 등등의 스타트업이 으레 받을법한 부끄러운 질문도 가끔 받는다ㅋㅋ 우리 돈 많다ㅋㅋ) 보안 이슈 때문에 이미 회사 홈피나 다른 블로그 글에 다 공개되어 있는 부분 이상으로 딱히 더 설명해 줄 부분은 없는데, 그래도 좋은 인재를 잡고...

7

데이터 컨설팅 프로젝트 발주자의 착각

데이터 컨설팅 요청을 받는 경우가 있다. 단순하게 주가 예측하는 알고리즘 만들어달라거나, 비트코인 가격 맞출 수 있게 해달라거나 하는 둥의 황당한 요청이야 단번에 거절하는데, 때때로 최소한 말은 되는 데이터 사이언스 급의 프로젝트를 들고 오시면 일단 답변은 드린다. 근데, 다들 생각하시는게 무슨 개발 프로젝트 발주하는 마인드인 것 같아서 황당할 때가 많다. 얼마전에 Android 개발자 포지션에 지원하신 분의 메일 내용 일부가 이 글의...

38

의학계와 데이터 사이언스

얼마전 의학 연구직으로 있는 학창 시절 친구를 만났다. 자기네가 데이터 작업을 하고 있는데, 여기에 머신러닝인지 인공지능인지라는걸 쓰면 뭔가 좀 더 획기적인 정보를 찾아낼 수 있냐고 묻더라. 논문을 한 번 읽고, 두 번 읽고, 세 번 읽고, 아무리 생각해봐도 별 대단할게 없는 사회학자들 데이터 리서치하는 수준의 정보들인데, 여기에 머신러닝을 어떻게 써보겠다는건지 잘 이해가 안 되더라. Pabii 수업 시간에 계속 주장하는대로, 데이터에...

3

여성차별하는 AI….일까?

아마존(Amazon.com)이 인공지능 인력 채용 프로그램을 폐기했다는 신문 기사가 떴다. 짜놓은 알고리즘을 따라가면 여성 지원자들을 안 뽑는 방식으로 결론이 나온단다. (Source: Reuters) 저 프로세스에 대한 기술적인 평가나 도덕적인 판단을 내리기 전에, 일반적인 서류 선별 (Resume screening) 작업을 한번 생각해보자. 대학 졸업반 시절에 B 모 전략컨설팅 회사에서 잠깐 인턴을 했던 적이 있다. 그만 둘 날짜가 며칠 안 남은 상황이었는데, 우리 팀 Associate...

13

[공고] 데이터 사이언티스트 채용

외부 요청에 따라 당사 데이터 사이언티스트 채용 관련 공고 중 방문자들에 대한 정보 제공의 성격이 있는 부분만 남겨놓고 삭제합니다. 데이터 사이언티스트 외 필요 인력 채용이 마무리되어 데이터 사이언티스트 채용도 더불어 종료합니다.   필수지식 (최소 9/10 항목 충족): 대학원 수준의 수리통계학 시계열 및 Sequence형 데이터 처리 (Autoregressive process, VAR, Kalman filtering, Fourier Transform 등) 패널 (Panel) 데이터 처리 (Bargava-Sargan, Arellano-Bond) 베이지안...

6

머신러닝, 딥러닝, 블록체인과 NVidia

미국에 교수로 있는 석/박사시절 친구 하나가 사무실에 놀러왔었다. 무슨 비트코인 어쩌고 하는 걸로 사업하는거 아니냐고 농담하길래, 내 성격 알면서, 사업을 안 했으면 안 했지 내가 그런 사기치겠냐고 웃고 넘어갔었다. 처음 코인 바람이 불었을 때부터 예상했던대로 코인에 대한 (투기적) 수요는 지난 1년간 빠르게 증발했고, 덕분에 “비트코인 가격 예측할 수 있는 인공지능 알고리즘 만드는 가격은 얼마냐?”고 묻는 무개념 전화를 안 받게 됐다ㅋㅋ...

10

타겟 마케팅 – 2.사기 클릭(Fraud Click) 찾아내기

Telltale이라는 영어단어가 있다. 남기고 간 흔적이 다 이야기해 준다는 뜻을 가진 단어다. 추리소설에서 자주 볼 수 있는 단어다. 그리고 빅데이터에 인공지능을 적용한다…. 는 비지니스에서 자주 등장해야하는 단어이기도 하다. (불행히도 많은 사람들이 “신경망 모델이라는거에 넣으면 그냥 척척 가르쳐주는거 아니야?”에 머물러 있긴 하지만) 비슷한 예시로, 주가 대폭락을 예측한다는 “인공지능” 모델이라는 것도 결국에는 특이하게 움직이는 변수 k개의 특정 조합을 보고 대폭락이 있을 것이라고...

40

데이터 사이언스 석사 – 필요한 기초 지식

아래는 New York University (NYU)의 Data Science 석사 프로그램에서 지원자에게 요구사항으로 제시해놓은 글을 바탕으로 했다. GRE, TOEFL, SOP, 추천서 등등의 상식적인 서류들은 다 제쳐놓고, Educational Prerequisites 라는 부분만 살펴보자.   듣고와야하는 과목 (Educational Prerequisites) 학부 전공을 보면 통계학, 컴퓨터 과학 (컴퓨터 공학 아니고), 수학, 공학, 경제학, 경영학, 생물학, 물리학, 심리학 등이다. 학점이 좋아야 한다는 말을 빼놓고 나면, 학부 전공에 관계없이...

37

데이터 분석? 데이터 과학?

첫 직장인 D모 투자은행의 Investment Banking Division (IBD, 속칭 i-Banking) 사람들이 가장 싫어하는 단어가 “컨설팅”이었다. i-Banking 업무 자체가 기업을 사고 파는 업무(M&A)를 “컨설팅”해주는 업무임에도 불구하고, 전략 컨설팅 회사들 (McKinsey, Bain & Compnay, Boston Consulting Group 등)이 “컨설팅”이라는 단어를 선점한 상태인데다,  i-Banker들은 컨설턴트들이 숫자 읽을 줄 모르고 그림만 그린다면서 매우 깔보고 무시했기 때문이다. (뭐… 무시해야할 이유가 그것뿐인건 아니지만…) 무시하는 사람들과 같은...

33

데이터 사이언스의 적폐(敵弊), (꼰대) 개발자들

매번 하는 이야기지만, 데이터 사이언스를 하기 위한 최고의 학부 전공은 통계학이고, 관련 내용을 충실하게 배운 컴퓨터 과학, 산업공학, 경제학 출신들이 좋은 성과를 낼 수 있는 토대를 쌓고 졸업한다. 같은 맥락에서, PPT 만들다가 졸업하는 경영학과나, 코드 치다가 졸업하는 컴퓨터 공학과는 데이터 사이언스와 별 관련 없는 전공들이다. 그런데 왜 오해들을 할까? Data “Science”가 데이터 “분석”이나 “해석”으로 곡해되어 있기도 하고, 아이디어를 체계화 하는...