#election2012 | Explore Tumblr posts and blogs

bellisajean · 7 years ago

Text

BIG DATA

기업에 축적된 데이터를 분석하기 위해 데이터 웨어하우스와 데이터 마이닝이 90년대말, 활발히 도입되었다.

빅데이터란 Volume-Variety-Velocity의 3가지 특성으로 정의된다.

데이터 과학이란 통계학과 컴퓨터 과학 등 다양한 학문과 기술이 융합된 것이다.

빅데이터 시대에 필요한 기술 : 분산처리 기반의 데이터 가공 및 컴퓨터기술, 데이터 시각화, 실시간 대응�� 위한 관련 기술

인공지능 - IBM의 왓슨은 미국의 퀴즈프로에서 우승을 한바 있다, 인공지능은 자연어처리 및 인식 등에 활용된다, 딥러닝이라는 알고리즘이 전 세계의 관심을 받고 있다.

SNS기반의 연결된 사회 - 페이스북(facebook)은 친구들 혹은 같은 관심을 갖는 사람들을 연결해 준다, 트위터(tweeter)는 연결된 사람 혹은 기업들 간을 연결하여 소통을 가능하게 해 준다, 링크드인(linked-in)은 개인의 이력을 중심으로 전문가들 간의 관계망을 형성한다. 건전한 사회 실현을 위해 데이터 과학자가 하여할 일과 관련된 것은 자금세탁방지, 보험사기방지, 품질보증사기탐색

빅데이터 시대에 필요한 분석기술은 과거의 데이터 분석기술과 차별화된다.

데이터 과학자는 통계학이나 IT지식 외에 소통능력이나 시각화와 관련된 디자인 능력 등 다방면의 능력이 요구된다.

빅데이터 기반 학습 알고리즘으로 인공지능은 비약적으로 발전하고 있다.

새로운 개념의 협업 필터링 알고리즘을 탄생시킨 넷플릭스 경진대회는 데이터 과학자의 중요성을 알리는 계기가 되었다.

구글의 검색어 데이터를 활용하여 각종 예측이 가능하다.

착용 가능한 센서를 통해 건강관련 데이터를 모으고 분석하여 인간의 삶의 질을 향상시킬 수 있다.

데이터 과학자는 다양한 사기 등을 방지 혹은 탐지할 수 있다.

빅데이터는 데이터의 크기가 크고 형태가 비정형화 되어 있으며, 생성속도가 빠른 데이터이다.

빅데이터 분석을 통해 새롭게 알아내는 지식의 양은 적지만, 이를 통한 파급효과는 크다.

빅데이터 이용시 문제가 될 수 있는 부분이 사생활 침해와 관련된 문제들이 있다. 유럽과 미국정부에서 개인정보 이용 시 개인의 동의가 반드시 필요한 법률체계를 옵트인(Opt in)이라고 부른다.

옵트인 방식은 개인에게 개인정보 수집에 대해 사전에 동의를 받는 방식이며, 옵트아웃방식은 거부의사를 표시하지 않는 한 동의한 것으로 간주하는 방식이다.

빅데이터를 이용하는데 문제는 사생활 침해와 관련된 문제가 있다.

빅데이터를 분석을 하더라도 나온 결과를 어떤 식으로 해석하느냐가 중요하며 해석하는 것 역시 어려움이 있다.

사회 여러 가지 문제를 공공분야에서의 빅데이터 활용을 통해 해결한다.

특히 미국은 공공분야의 빅데이터를 이용하여 탈세방지 시스템, 범죄예방시스템 등을 구축하여 사회의 문제점들을 해결한다.

정부 3.0의 운영 계획 - 공공정보를 적극적으로 공개, ��민의 정부정책 참여 확대, 새로운 정보기술을 활용한 맞춤형 서비스 제공

서울시 심야버스 노선을 구축하기 위해 휴대전화 통화 이력데이터를 이용하였다.

한국의 경우에도 심야버스 노선을 휴대전화 통화 이력 데이터라는 빅데이터를 이용하여 별도의 재정지원을 최소화함으로써 심야경제활동 시민의 이동권 신장 및 편익을 증진한다.

산업별로 빅데이터의 특징은 크게 다르며 예를 들어 금융업은 데이터의 양에서, 그리고 정부 분야는 데이터의 다양성에서 다른 산업 분야와 크게 차이가 있음

사물 인터넷 등을 이용해 품질관리에 빅데이터의 활용이 증가하고 있는 분야는 제조업이다. 자동차 산업과 같은 제조업에서는 공정 각 단계에 센서를 부착해 이들로부터 수집된 데이터를 이용해 생산품 품질의 이상 징후를 파악하는 사례들이 증가함

산업별로 빅데이터의 특징은 각기 다르며 이에 따라 빅데이터를 활용하는 분야와 기술도 다양하다.

제조업에서는 생산성 향상을 목적으로 생산 프로세스 곳곳에 센서를 부착해 정밀한 데이터를 수집, 분석하여 불량률을 줄이는 것이 하나의 추세로 자리 잡고 있다.

금융업 중 카드업은 고객의 행태와 지출을 파악할 수 있는 결제 데이터의 증가로 빅데이터를 이용한 다양한 고객 맞춤 서비스 경쟁이 시작되고 있다.

국내 신한카드의 Sally는 결제 내역 데이터를 이용해 고객 맞춤 서비스를 제공하는 것이 특징이다. 실제 고객들이 결제한 내역을 분석해 이를 바탕으로 맞춤화된 할인 혜택을 제공하는 것이 특징이다.

빅데이터 시대가 되면서 고객이 만들어 내는 데이터 등 기업이 활용 가능한 데이터의 대부분(거의 90% 이상)이 기업 외부에서 발생한다.

지구상 데이터의 90%는 지난 2년간 만들어진 데이터일 정도로 최근 디지털화에 따라 기업의 경영 환경이 급변하고 있다.

인사이드(inside)는 오프라인 매장 내에서 방문객들의 동선과 관련된 데이터를 수집하고 분석해 매장 관리와 마케팅 관리를 지원하는 서비스를 제공한다.

리슨 로직(Listenlogic)이라는 기업은 SNS 데이터, 인터넷 상의 각종 댓글 등을 수집 분석해 기업의 위험관리를 대신해 주는 기업이다.

자사의 가치사슬에서 데이터의 흐름을 원활히 하는 부분에서 빅데이터가 차지하는 비중증가하고 있다.

이로 인해 데이터로 하던 것을 빅데이터로 더 잘하는 단계부터 안 하던 것을 빅데이터로 새롭게 제공하는 단계까지 빅데이터 활용의 성숙이 진행된다.

오프라인 점포 관리에서는 방문객의 점포 내 이동 경로를 파악하거나 위치에 따른 프로모션 및 정보 제공에 빅데이터를 활용하고 있다.

데이터, 플랫폼, 고객가치 등 3가지 요소로 구성된 빅데이터 비즈니스 모델들이 등장하고 있다.

빅데이터 기술 구성은 크게 인프라 기술, 분석 기술, 표현기법(시각화)로 나눌 수 있다. 예)흑포도에 들어있는 안토시안이라는 붉은 색 색소성분 덕분에 레드와인의 붉고 아��다운 색이 표현된다.

빅데이터 분석과 데이터 마이닝은 대용량의 데이터에서 알지 못했던 패턴을 찾아 분석 결과를 해석하는 과정으로서 지식 발견의 한 단계로서 유사하다.

데이터 마이닝은 통계적인 분석 기법을 활용한다.

빅데이터 분석은 정형, 비정형데이터를 분석한다.

빅데이터는 빅데이터인프라, 빅데이터분석, 시각화로 나눈다.

데이터 과학자의 역할은 쏟아지는 방대한 데이터 속에서 데이터를 수집, 정리, 조사, 분석, 시각화를 통해 의미를 발굴하고 그것을 비즈니스 가치로 연결하는 전문가이다.

성공적인 빅데이터 분석(데이터마이닝)을 위해서는 현업 담당자, 데이터 분석가, 데이터 처리 전문가 등 이 세 그룹의 협업과 소통이 중요하다.

빅데이터 분석기법은 회귀모형, 로지스틱회귀모형, 신경망모형, 의사결정나무, 군집분석, 연관성규칙, 이상치 탐지, 텍스트마이닝, 사회연결망분석이 있다.

거의 모든 산업현장에서 빅데이터 분석기법을 활용한다.

향후 빅데이터 분석은 점점 필요한 분야이다.

서로 다른 분야와의 협업과 소통이 중요하다.

데이터가 가장 좋은 선생이다.

인터넷 빅데이터는 인터넷 활동으로 발생되는 데이터로 검색데이터, 소셜데이터 등이 있다.

인터넷의 다양한 데이터들은 웹 스크래핑 또는 API를 통해 수집할 수 있다.

검색데이터는 이용자가 검색한 내역을 빈도수 정리한 데이터이며 네이버 트렌드 및 구글 트렌드를 통해 구할 수 있다. 검색 데이터를 통해 사람들의 관심의 시간적 흐름을 파악할 수 있다.

소셜 네트워크 데이터는 트위터, 페이스북, 블로그 등에 있는 데이터인데 API 등을 통해 인증 받은 후 이용할 수 있다. 소셜 데이터를 이용하여 사람들의 감정, 여론 등을 파악할 수 있다.

공공 데이터는 정부와 공공기관이 통계작성, 행정처리 등을 목적으로 수집한 데이터이며 API를 인증 받은 후 이용할 수 있다.

정보시각화는 엄청나게 많은 데이터와 의미를 찾는 과정을 도와준다.

정보는 목적에 따라 다양한 도구를 사용하여 시각화할 수 있는데, R, Processing, D3.js, Tableau와 같은 도구가 많이 사용된다.

시계열 데이터의 시각화를 통해 데이터의 경향성을 파악할 수 있다.

텍스트 정보는 숫자와 달리 명목데이터이기 때문에 몇 가지 전처리 과정을 통해 시각화 할 수 있으며, 태그클라우드와 같은 방법이 주로 사용된다.

소셜네트워크에서의 관계망을 파악하기 위해 네트워크 시각화 방법이 사용된다.

지리정보와 다른 빅데이터를 매시업하여 탐색적 데이터 분석을 한다.

다양한 디지털매체의 등장으로 콘텐츠의 공급이 급격하게 증가하였다.

개인 맞춤형 콘텐츠의 제공으로 콘텐츠의 효과적인 발견 가능성을 높일 수 있다.

콘텐츠 기획에서 빅데이터를 활용하여 사용자에게 인기를 얻을 수 있는 콘텐츠를 기획할 수 있다.

넷플릭스는 자체제작한 알고리즘을 통해 사용자의 취향과 영상 콘텐츠 소비 패턴을 분석하여 새로운 영상 콘텐츠를 성공적으로 기획, 제작하였다.

웹 로봇을 이용하여 조직 외부에 존재하는 데이터 중 인터넷에 공개되어 있는 HTML(HyperText Markup Language)에서 데이터를 수집하는 도구의 이름은 웹 크롤링(web crawling)이며 이를 통해 웹 ��이지를 읽고, 필요한 부분을 긁어온 후 HTML에서 필요한 데이터를 구분·저장하여 분석할 수 있다.

언론분야에서는 알고리즘이 빅데이터를 분석, 처리하여 기사를 자동으로 작성하는 로봇저널리즘이 등장하였다.

유전체란 생명의 모든 것을 결정할 수 있는 정보덩어리로서 태초에서 지금까지 생명의 모든 기록이 시간적으로 잘 보관되어 있는 정보 보관소이다. 인간의 경우 1000쪽 짜리 책 1000권 분량의 정보가 보관되어 있다.

유전체에 대한 연구는 1990년 10월 인간유전체의 전체서열을 규명하기 위해 인간유전체계획을 통해서 전장유전체분석을 시도하였다. 이 결과 약 10여년의 기간동안 25억달러의 비용을 투입하여 인간이라는 종의 유전체의 모든 서열을 밝힌 것이다. 1차 유전체 혁명에서 인류는 종으로서의 인간유전체의 서열분석이라는 목표를 달성하였다.

현생 인류의 조상은 약 10만년전 지금의 에티오피아지역에서 시작하여 아프리카 바깥으로 이주를 시작하게 된다. 서로 다른 환경에 적응한 각가의 인류집단은 서로 다른 유전자의 특성을 가지고 있다. 농경민은 녹말을 분해하는 효소인 아밀라제 유전자의 개수가 다른 집단에 비해 평균적으로 많다. 반면 유목민은 노인이 되어도 활성유지형인 유단 분해효소유전자를 가지고 있다.

유전체 변이 가운데 가장 활발히 연구되는 변이는 단기연기다형성(SNP)이다. 이는 개인특정 뉴클레오타이드가 다른 뉴클레오타이드로 치환된 것으로 서로 다른 두 사람의 30억 뉴클레오타이드 길이의 전체 유전체에서 평균적으로 약 350만개 정도의 SNP가 발견된다. 2000년대 중반 SNP와 다른 유전자가 복제수 변이(CNV)가 보고되었는데 이것은 사람의 모든 유전자가 1쌍 이라고 생각했던 기존의 가정과 달리 특정 유전자의 수는 사람마다 다르다는 것이다.

개개인이 자신의 유전체지도를 통해 유전적 변이를 정확히 앎으로써 암, 당뇨, 고혈압 등 특정 만성병의 발생에 대하여 미리 예측이 가능하게 되었다.

구글은 독감 관련 주제를 검색하는 사람의 수와 독감 증상이 있는 사람 수 간에 관계가 밀접함을 밝히고 독감검색과 관련해서 집계된 구글 검색 데이터를 사용하여 전 세계 독감 유행 수준을 실시간으로 예측한 결과를 보여주는 서비스이다.

트위터는 미국 대선 홈페이지(https://twitter.com/hashtag/election2012)를 개설하고 대선 관련 트윗을 분석해 트위터 정치지수를 작성하였다. 트위터 정치지수는 매일매일 올라오는 버락 오바마 민주당 후보와 밋 롬니 공화당 후보에 대한 트윗을 긍정과 부정으로 구별하여 지수화하여 여론의 흐름을 파악하는 지수이다.

정보시각화란 컴퓨터를 사용하여 인지를 넓힐 수 있도록 데이터를 상호작용이 가능한 시각적 형태로 만드는 것이다. 많이 사용되는 4가지 방법은 시간시각화, 텍스트 시각화, 네트워크 시각화, 지도 기반의 시각화의 네 종류가 있다. 또한 정보시각화에 많이 사용되는 도구�� R, Processing, D3.js, Tableau 등이 있다.

콘텐츠 분야에서 빅데이터를 활용할 방안 - 개인의 취향 분석을 통해 맞춤형 콘텐츠를 제작, 기획할 수 있다.

House of Cards의 성공 이유 - 자체 개발한 협업필터링, 내용기반필터링 알고리즘을 통해 회원들이 선호하는 영상콘텐츠가 무엇인지 파악하고 이를 기반으로 콘텐츠를 제작하였다.

인간의 유전체가 23쌍의 염색체라는 단위로 구성되어 있고 각 염색체가 A, G, C, T 네 가지 종류의 뉴클레오티드라는 알파벳으로 씌어진 DNA라는 긴 가닥으로 이루어져 있는데, 이 안에 생명의 정보가 암호화되어 뉴클레오티드 수로는 약 30억 개로 된 유전체 구성을 밝힌 결과는 유전체지도이다. 1990년 10월 시작된 유전체에 대한 연구는 인간유전체 서열을 규명하기 위해 인간유전체연구를 통해 10년간 25억 달러의 비용을 투입하여 인간이라는 종의 유전체의 모든 서열을 밝힌 결과이다.

단일염기다형성(Single nucleotide polymorphism, SNP) : 이는 개인 특정 뉴클레오티드가 다른 뉴클레오티드로 치환된 것으로서, 서로 다른 두 사람의 30억 뉴클레오티드 길이의 전체 유전체에서 평균적으로 약 350만 개 정도의 SNP가 발견된다. 유전자의 단위로보면, 한 개인은 전체 2만 5천개 유전자 가운데 약 5000개 정도가 다른 사람들과 다른 변이를 보이게 된다.

개인맞춤의학(Personalized medicine) : 각 개인별로 발생할 수 있는 질환을 예측하고 이를 예방, 진단, 처방 치료를 하는 일련의 의학 행위로 같은 환경에서 생활을 하고 동일하게 질병에 대한 위험인자에 노출된다고 하더라도 각 개인별로 질환이 발생할 가능성은 차이가 있을 수 있기 때문에, ‘맞춤 의학’은 각 개인별로 발생할 수 있는 질환의 가능성에 맞는 치료법과 예방법을 실시해야 한다는 것이다.

세계보건기구(World Health Organization)가 내린 건강의 정의는 “건강이란 개인의 심신상 어떤 질병이나 비정상적인 요소가 없을 뿐만 아니라 사회적 안정과 복지의 여건이 충족되어 있는 상태”

공중건강관리(Public Health)는 지역사회나 국가차원에서 국민건강의 수준을 파악하고 건강관리를 위한 사업이나 제도를 개발 수행하는 것

지역사회보건(Community Medicine)은 한마디로 의료사업의 제공자와 일반주민 사이의 역학적 과정이라 할 수 있으며 더 구체적으로는 의사와 기타 보건요원 및 지역사회의 자발적 상호작용을 통해서 지역사회 모든 주민에게 포괄적 의료를 마련하는 것”을 목적으로 하는 과학

건강정보학(Health Informatics)은 환자의 정보를 어떻게 조직적으로 관리하고 평가하느냐를 다루는 분야로 데이터가 어떻게 모아지고 추출되어 치료 및 예방 진단의 의사결정에 지원되느냐가 초점

보건정보학은 “Public Health Informatics is the systematic application of computer science, technology and information to public health prectices, research and learning.” 이러한 기능은 정보의 전달과 대화를 가동하는 시스템을 유지하고 구축하기 위해 기본적으로 요구되는 기능

보건정보학의 범위는 보건에 관련된 의견교환, 질병발생, 정보, 교육 등의 평가와 관리 개념화, 설계, 발전과 개발 및 유지의 기능들을 함축

보건 빅데이터의 분석을 위한 기술 - 통계학 : Lasso, 앙상블, SVM, 군집분석, 네트워크 분석, 분류

보건분야에서 빅데이터의 응용 - 미국국립보건원의 유전자 정보 공유 - 미국국립보건원의 Pillbox 프로젝트 - 건강보험회사 웰포인트 - EMR (Electronic Medical Record) 시스템

보건 빅데이터의 특징 - 외부자료(External), 시각화(Visulaization), 클라우드(Cloud)

빅데이터의 특징으로 데이터의 소스가 조직 외부에 있으며, 보건 데이터의 형태는 매우 비정형화되어 있으며, 시각화가 분석의 중요한 분야이고, 빅데이터의 저장 및 분석을 위한 기술 중에서 클라우드기술이 매우 중요하게 대두되고 있다.

현재 빅데이터의 관심이 고조되고 있는 이유는 과학기술 경쟁의 고조에 의한 새로운 지식 발견에 대한 중요성이 증가하고 있으며, 분산시스템과 분산처리 기술 등의 전산기술의 발달로 인한 빅데이터의 저장 및 가공, 분석이 가능해졌으며, 소셜네트워크 서비스와 모바일서비스로 대변되는 새로운 디지털 서비스로 인한 거대 자료의 획득이 가능해졌기 때문이다.

개인정보는 살아있는 개인에 관한 정보로서 성명, 주민등록번호 및 영상 등을 통해 개인을 알아볼 수 있는 정보(해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 것을 포함한다)를 말한다.

프라이버시는 개인의 사생활이나 사적인 일, 또는 그것을 남에게 알려지지 않거나 간섭받지 않을 권리로 정의된다.

빅데이터 시대에는 다양한 원천의 개인데이터가 수집되고 데이터마이닝 기술로 이들을 결합 분석하기 때문에 지금까지 소홀히 여겨왔던 비개인정보로 취급되었던 내용들로도 개인을 식별할 수 있게 되었다.

개인정보보호법은 개인정보의 수집·유출·오용·남용으로부터 사생활의 비밀 등을 보호함으로써 국민의 권리와 이익을 증진하고, 나아가 개인의 존엄과 가치를 구현하기 위하여 개인정보 처리에 관한 사항을 규정함을 목적으로 제정되었다.

개인정보보호 기술은 수집, 저장·관리, 이용·제공, 분석 그리고 파기 등 개인정보 수명주기에 따라 구분할 수 있다.

인류사회의 변천과정은 농경사회, 산업사회, 정보화사회로 발전하고 있으며, 빅데이터의 출현과 더불어 지식사회로 발전하리라 예상된다.

초기 통계학의 발전과 깊은 관계가 있는 것은 인구조사(Census), 정치 산술(Political Arithmetic), 국가 운영을 위한 세금 부과(taxation)이 있다.

통계학의 발전은 빅데이터의 가치를 극대화하는데 중요한 역할을 한다.

데이터 과학자는 통계학, 컴퓨터 과학, 경영학 등 다양한 학문과 기술이 융합된 것을 활용할 줄 아는 전문가이다.

빅데이터 시대에 필요한 분석기술은 과거의 데이터 분석기술과 차별화된다.

빅데이터는 미래 국가경쟁력의 중요한 요소이며, 사물인터넷, 스��트홈 등의 발전에도 기여할 것이다.

빅데이터는 우리나라가 지향하는 창조경제에도 큰 역할을 할 것이다.

#bigdata #빅데이터 #사물인터넷 #IOT #인공지능 #AI

0 notes