빅데이터로 성공하기 (서가명강 조성준 교수님 강의) 요약

빅데이터로 성공하기 1강 

10년전의 빅데이터 개념 은 3V이다 

• Volume - 소셜미디어가 아주 큰 빅데이터의 소스이다. 다음으로는 IoT 기기가 있다. 
• Velocity - 데이터의 생성 속도. 데이터를 받자마자 처리하고 알려줄 수 있어야 한다. 
• Variety - 데이터의 범주가 문서로 넘어갔다. 텍스트, 이미지, 소셜네트워크 -> 소셜 데이터의 등장 (사람과 사람 사이의 관계를 데이터화 한다. 이런 인간관계 데이터를 가지고 연구할 수 있다. )

 

• 데이터 + 명제 -> 데이터 분석 
• 데이터 + 귀납적 추론 -> 머신러닝 

 

빅데이터로 성공하기 2강

인스타, 유투브, 카톡이 공짜인 이유는 ?

우리가 암묵적으로 서비스를 무료로 사용하는 대신 대기업들에게 데이터를 제공하고 있기 때문이다. 

이는 불공정하다 ! 정보보호 규제때문에 외부로부터 데이터를 구매할 수 없기 때문이다. 
-> 그렇지만 공공기관들이 가지고 있는, 우리 세금으로 만든 공공데이터라는 것이 있다. 

 

빅데이터로 성공하기 3강

빅데이터를 알아야 돈을 벌 수 있다. 

기술 중심 : ex) 음성 기술을 만들고 나서 어떻게 팔지 ?

사용자 중심 : 니즈를 먼저 생각하고, 니즈에 대한 솔루션 제공 ex) 운전 중 핸드폰을 누르는 것이 불편하다 -> Siri 로 전화 연결 

Insight란 ? 키워드 중심으로 분석할 수 있다. 분석을 통해 문제 해결을 위한 액션을 고안 

아마존의 예측 배송 

1 대 1 로 데이터 분석을 통해 그 사용자가 사고 싶어하는 물건을 드론으로 배송시켜버리고 마음에 들지 않으면 반품하라고 한다 

 

빅데이터로 성공하기 4강

1. 제록스의 사례 

입사후 퇴사하는 사람들의 성향을 분석하고 싶다 -> 인성 검사, 이력서를 통해 데이터를 수집했다. 

결과로는 교통수단이 애매한 사람들, 소셜 네트워크가 너무 많거나 너무 적은 경우, 궁금한게 많은 타입, 공감을 '너무' 많이 해주는 사람 , 창의력이 부족한 사람 

이는 인과관계는 아니다. 상관 관계이다. 원인일 수도 있고, 아닐수도 있으며 잠재적인 원인이 있을 수도 있다. 데이터에서는 인과 관계를 찾을 수 없다! 데이터 분석을 통해 찾아낸 것은 상관 관계이다. 

그렇지만 저 데이터 이외의 원인들은 분석에 포함되어 있지 않다. 즉, 데이터가 주는 정보만 얻어낼 수 있다는 것이다. 

분석하는데 드는 비용보다 조기퇴사를 방지함으로써 얻는 이익이 더 클 때, 분석이 성공적이라고 할 수 있을 것이다. 

그렇지만 한계점은 AI는 과거에 일어났던 일을 판단하는 것이지 완전히 새로운 유형의 이벤트에 대해서는 알 수 없다. 

 

2. 데이터 ,인사이트, 밸류 

이 중에 가장 중요한 것은 결국, Value이다. 데이터가 품고 있는 인사이트를 뽑아서, 가치(value)를 창출한다. 

현실에서 새로운 인사이트를 적용하는 것 자체는 리스크가 있을 것이다. 

한 분야 기존의 standard 가 있고, 이런 standard에 반하는 인사이트가 나온다면 ? 거부감이 들 수 있다. 

그렇지만 이 거부감은 알파고 덕분에 줄어들었고, 새로운 인사이트를 받아들이기 시작했다. 

 

3. 새로운 인사이트 접근 

단계적으로 새로운 인사이트에 대해 적용을 해보자. 그리고 인사이트 적용 대상을 늘려가면서 피드백을 얻을 수 있을 것이다. 

 

빅데이터로 성공하기 5강

인공지능 = 컴퓨터 

주변 상황을 인지하고 목표를 달성(계획을 세운다)

알파고의 경우 바둑 게임을 이기는 계획을 짜는 것이 목표 달성한 것이다. 

 

인공지능을 어떻게 만들 것인가 

1. symbolic : 이 세상의 모든 지식을 명제로 바꾸겠다. -> 현실적으로 몇개 만들지 계산 불가, 주관적 견해(편향)가 섞일 수 있다. 

2. 사람의 뇌구조를 들여다보자