Apache Tajo와 R을 연동한 빅데이터 분석

실무 환경의 데이터 규모가 점점 커지면서, R을 빅데이터 분석에 이용하는 방법에 대한 관심도 커지고 있다. 단일 머신으로 처리하기 힘든 대용량 데이터를 MapReduce, Hive, Tajo 등 외부 분산처리 시스템과 연동해 처리하는 방식도 자주 사용되고 있다. 이 세션에서는 고성능 빅데이터 분석 엔진 Tajo와 연동하여, R에서 SQL을 이용해 빅데이터를 처리하고 정제된 데이터를 고급 분석에 활용하는 방법을 예제 중심으로 설명한다.

분석 플랫폼으로서의 클라우드와 R, 그리고 Machine Learning

클라우드는 통계 분석 시스템을 위한 최선의 선택이다. Scalability를 통해 필요한 만큼 처리 환경 구성이 가능하며 다양한 데이터 저장/처리/ETL 환경을 제공한다. 이에 Microsoft Azure를 이용하는 방안과 Azure Machine Learning을 살펴본다.

R을 이용한 기상 데이터 시각화 및 활용

통계청의 행정구역 경계지도와 기상청의 AWS 데이터를 바탕으로, 자신이 원하는 지점의 기상정보를 추출하고 이 정보를 시각화 하는 방법에 대하여 소개한다. 그리고 기상청의 기상 빅데이터 소개와 더불어 활용 방안에 대한 고민을 함께 하고자 한다.

Using R with MongoDB

R을 이용한 빅데이터 분석 및 시각화에 대한 관심이 커짐에 따라, R과 타 오픈소스와의 연동이 활발히 이루어지고 있는 상황이다. 특히 분석 용도로 대량의 데이터를 쌓기 위해 사용되는 NoSQL과의 효과적인 연동은 그 중요성이 점차 커지고 있다. 해당 세션에서는 NoSQL중 하나인 MongoDB와 R의 연동, 그리고 이를 이용한 R 프로그래밍에 대해 발표하고자 한다.

R을 활용한 홈 데이터 분석 플랫폼

R을 이용한 텍스트 감정분석

사람들은 생각과 감정을 언어로 표현합니다. 뉴스 댓글, 상품평, 커뮤니티, SNS 등에 사람들이 남기는 텍스트를 모아서 분석해보면 기존의 방법론으로 알기 어려웠던 여러 가지 정보를 얻을 수 있습니다. 이 발표에서는 텍스트에 나타난 감정, 생각, 태도를 점수로 만드는 방법에 대하여 알아봅니다. 감정분석에 도움이 되는 R의 패키지들을 이용하여 기업에서 활용할 수 있는 텍스트 분석의 실제 사례를 살펴봅니다.

웹과 데이터 분석

웹 문서의 수는 기하급수적으로 증가하고 있다. 또, 많은 서비스가 웹에서 제공되기에 사용자가 웹을 어떻게 사용하는지에 대해 보다 깊이있게 이해하고자 하는 욕구도 커지고 있다. 이 세션에서는 웹 문서와 같은 대량 데이터 처리를 위한 여러가지 환경에대해서 살펴보고, 웹 사용자를 분석하는데 필요한 기본 개념들을 설명한다. R이 본질적으로 데이터 분석과 이해를 위한 플랫폼이기에 웹과 관련한 모든 분야에서 활용될 수 있다. 이 세션을 통해 웹 분석에서도 더 많은 R 사용자들이 새로운 도전 거리를 찾아 볼 수 있기를 바란다.

클라우드를 통한 새로운 통찰력의 확보

R을 비롯한 많은 분석용 언어와 도구들이 지향하는 부분인 데이터의 정확한 분석을 통한 통찰력 확보의 측면에서 클라우드가 어떤 기여를 할 수 있으며, 클라우드를 기반으로한 데이터 분석이 가져오는 새로운 통찰력 확보에 대한 내용에 대해서 설명 합니다. 마이크로소프트의 Revolution –R 의 인수의 배경과 그 효과를 살펴보고 향 후 R언어와 클라우드간의 조합을 통하여 새로운 통찰력에 대한 비전에 대해서 설명 합니다.

Neural Network의 변천사를 통해 바라본 R에서 Deep Neural Network 활용

현재 R에서 제공되고 있는 Deep Neural Network에 대한 Package를 통해 바라본 Neural Net에 변천사와 이를 바탕으로 향후 우리가 가고자 하는 방향성에 대해 공유해 보고자 한다.

기업에서의 데이터 사이언스, 그 실제 현실과 비전

기업 내부에서 벌어지는 데이터 사이언스의 실제 상황을 살펴보고자 한다.
- 어떤 사람들이 어떻게 일하는지
- 어떤 일들이 어떤 과정으로 진행되는지
- 어떤 이유로 많은 일들이 잘 진행되지 않는지
- 어떤 어려움과 한계가 있는지
- 어떤 왜곡과 오해들이 있는지
- 어떤 기쁨과 즐거움이 있는지
이러한 현실을 바탕으로 데이터 사이언스의 미래와 비전을 함께 나누고자 한다.
* 소속기관 정책상 발표자료를 공개하지 않습니다.

Stochastic Social Network Analysis in R (STATNET)

사회연결망을 이용한 연구 또는 프로젝트에 대한 관심이 늘어감에 따라 R을 이용한 소셜네트워크 분석에 대한 관심도 커지고 있다. 기존의 사회과학분야 연구에서 주로 UCINET, Netminer등의 상용 소프트웨어가 주로 이용되었으나 Stochastic and longitudinal social network analysis의 기법이 발전함에 따라 R을 사용한 Social network analysis의 수요도 증가할 것으로 예상된다. 때문에 이번 발표에서는 R을 사용한 기본적인 Social Network Analysis의 기법과 Stochastic social network analysis의 기법인 Exponential Random Graph Model을 소개하고 R에서의 사회연결망분석이 어떤 장점이 있는지를 논의하는것을 목적으로 한다.

데이터 분석의 철학과 과학성

데이터-정보-지식의 사이클에 대한 확고한 철학이 전제되지 않은 데이터분석은 모래밭에 집짓기와 같습니다. 이외에 모형과 데이터, 확률, 알고리즘의 개념은 데이터사이언티스트에겐 일생의 화두입니다. 데이터 혁명기인 지금은 데이터분석의 과학성에 대하여, 특히 재현성에 대한 재해석과 창의적 정의가 필요한 시점입니다. 신뢰구간과 검정, 빅데이터에 의한 추론에 대하여도 몇군데 맥을 짚어 논의하고자 합니다.

Spatiotemporal Epidemiology Using R