(Windays 13) Microsoft Big Data Platform
-
Upload
luka-lovosevic -
Category
Technology
-
view
103 -
download
5
description
Transcript of (Windays 13) Microsoft Big Data Platform
Microsoft Big Data platformaLuka Lovošević, Marko Tošić
MICROSOFT HRVATSKA
Isključite zvuk telefona
Sadržaj• Uvod u Big Data• Pregled Microsoft platforme• Hadoop• Demo
Što je Big Data?
MICROSOFT CONFIDENTIAL – INTERNAL ONLY
Što je Big Data?Podaci koji su vam bitni, ali ih tradicionalnim alatima ne možete procesirati.
VOLUME(Količina)
VARIETY (Struktura)
VELOCITY (Brzina)
Izvori podataka
Telematics Text
Smart-Grid Sensor
Time and Place RFID
Telemetry Social Networks
Što je Big Data?
Napredna analitika
Podaci u realnom vremenu
Analitika društvenih medija
Kako mogu poboljšati poslovanje ovisno o vremenskim prilikama ili tračevima s društvenih mreža, …?
Što se govori o mojem proizvodu na društvenim mrežama?
Kako da bolje uočim trendove i reagiram na njih?
Big Data algoritmi
Mining Social-Network Graphs
Finding Similar Items Mining Data Streams Frequent Item Sets
Advertising on the Web
Link Analysis
Recommendation SystemsClustering
c
Microsoft Big Data platforma
Microsoft Big Data platforma
SQL Server StreamInsight
Hadoop – HDInsight
(Windows ili Azure)
SQL Server 2012 Parallel Data Warehouse
Self-service BI alati
Microsoft Big Data platforma
Volume
Varie
t
yVelo
city
pull
push
bigsmall
fk/pk
k/v
SQL Server
PDW
HDInsight
StreamInsight
Malo više o Hadoopu…
Što je Hadoop?Platforma za procesiranje velike količine podataka.Apache, open source.Baziran na Google GFS i MapReduce algoritmu.Visoko skalabilan i distribuiran.Jeftini hardver.
2013
Yahoo!
EnterpriseHadoop
Apache projekt
2004 2008 2010 20122006
Hadoop arhitektura
Server
ServerServer
MapReduce (i)
Files
Server
MapReduce (ii)
// Map Reduce function in JavaScript
var map = function (key, value, context) {var words = value.split(/[^a-zA-Z]/);for (var i = 0; i < words.length; i++) {
if (words[i] !== "")context.write(words[i].toLowerCase(),1);}}};
var reduce = function (key, values, context) {var sum = 0;while (values.hasNext()) {sum += parseInt(values.next());
}context.write(key, sum);};
ServerServer
ServerServer
Code
Primjer za Map Reduce
HDInsight
Hadoop
Programiranje u .NET-uSecurity, HA & managementPodrška za virtualizacijuIntegracija s Microsoft BI alatimaIsto iskustvo za on-premise i cloud
Hadoop za Windows ServerHadoop za Windows Azure
Tehnologija oko HDInsight-a
MahoutBiblioteka skalabilnih algoritama za strojno učenje baziranih na MapReduceu.Vrti se na Hadoop infrastrukturi.
Scenariji korištenja:• Recommendation mining• Clustering• Classification
Demo
Mahout song recommendation
Pitanja i odgovori