BİLİŞİM TEKNOLOJİLERİ ENSTİTÜSÜ

BULUT BİLİŞİM VE BÜYÜK VERİ ARAŞTIRMA

LABORATUVARI (B3LAB)

Dr. OĞUZ İÇOĞLU

08 Aralık 2015

TÜBİTAK

B3LAB BULUT BİLİŞİM VE BÜYÜK VERİ ARAŞTIRMA LABORATUVARI PROJESİ

BİLGEM BTE

B3LAB

Proje Adı : Bulut Bilişim ve Büyük Veri Araştırma Laboratuvarı (B3LAB)

Desteleyen : T.C. Kalkınma Bakanlığı

Amaç : Bulut bilişim ve büyük veri konusunda bir araştırma laboratuvarının

kurulması.

TÜBİTAK

3

Ağlar, sunucular, depolama sistemleri, uygulamalar ve servislerden oluşan

BT kaynaklarının;

Konumdan Bağımsız

Esnek

Düşük Maliyetli

Etkin ve Verimli

Paylaşılabilir

Ölçülebilir

Güvenli

Mahremiyete uygun

kullanımını sağlayan teknoloji

Bulut Bilişim BİLGEM BTE

B3LAB

TÜBİTAK

4

Bulut Bilişim BİLGEM BTE

B3LAB BULUT BİLİŞİM

«Software as a

Service» Dropbox, Google drive,

SAP, Office 365 vb…

«Platform as a Service» Google apps, Oracle Platform,

Windows Azure vb…

«Infrastructure as a Service»

Amazon S3, Windows Azure vb…

TÜBİTAK

B3LAB PROJESİ KAPSAMI

B3LAB ALTYAPISI İŞ PAKETLERİ

B3LAB Veri Merkezi

Kurulumu

Sistem Altyapısı

Kurulumu

BULUT YAZILIMLARI İŞ PAKETLERİ

Nesne Depolama

Yazılımı

Altyapı Yazılımı

İletişim Kütüphanesi

BÜYÜK VERİ İŞ PAKETLERİ

Büyük Veri Analizleri

Büyük Veri Altyapı Yazılımı

GÜVENLİK VE MAHREMİYET İŞ PAKETLERİ

Bulut Kimlik Yönetimi ve

Güvenliği

Siber Güvenlik

Çözümleri

YAYGINLAŞTIRMA İŞ PAKETİ

Bulut Bilişim Portalı

Danışmanlık, Eğitim ve

Seminerler

Akademi Heyeti

Standartlar, Hukuk,

Sertifikasyon

Yaz Okulları ve Çalıştaylar

Test ve Kalite

PROJE YÖNETİM İŞ PAKETİ

TÜBİTAK

B3LAB EKİBİ

Doktora (tamamlanmış)

; 4

Doktora (öğrenci); 6

Y.Lisans (tamamlanmış); 8

Y.Lisans (öğrenci); 4

Lisans (tamamlanmış); 6

B3LAB EKİBİ

Doktora (tamamlanmış)

Doktora (öğrenci)

Y.Lisans (tamamlanmış)

Y.Lisans (öğrenci)

Lisans (tamamlanmış)

YTKDL : 4

SGE ve UEKAE : 12

TÜBİTAK

GERÇEKLEŞEN FAALİYETLER

TÜBİTAK

10

1. B

ulu

t B

ilişi

m v

e

Bü

yük

Ve

ri Y

az O

kulu

Bulut Bilişim Çalıştayı 2013

SİU2014 Özel Oturum

GERÇEKLEŞEN FAALİYETLER

(Etkinlikler)

2. B

ulu

t B

ilişi

m v

e

Bü

yük

Ve

ri Y

az O

kulu

BİLGEM BTE

B3LAB

TÜBİTAK

Müşteri İhtiyaçlarının Toplanması Bulut Bilişim ve Büyük Veri Çalıştayı 2014

Kamu Düzeyinde Katılım

36 Kurumdan 91 katılımcı

Ortak Akıl Platformu

Paydaş Gereksinimleri

TÜBİTAK

ÇALIŞTAY İSTERLERİNE AİT SAYISAL SONUÇLAR - I

44 431

475

0 50 100 150 200 250 300 350 400 450 500

TOPLAM

ÇALIŞTAY İSTERLERİNİN TOPLAM SAYISI

Toplam İster Sayısı Öncelikli İster Sayısı

7

9

7

9

6

6

83

56

75

87

69

61

90

65

82

96

75

67

0 20 40 60 80 100 120

Güvenlik ve Mahremiyet

Bulutta Büyük Veri

Standart, Hukuk, Kalite

Bulut Bilişimde Milli Çözümler

Veri Merkezi ve Sistemler

Bulut Bilişimin Yaygınlaştırılması

ÇALIŞTAY İSTERLERİNİN KONULARA GÖRE SAYISAL DAĞILIMI

Toplam İster Sayısı Öncelikli İster Sayısı

TÜBİTAK

GERÇEKLEŞEN FAALİYETLER

(Rekabetçi Özelliklerin Belirlenmesi)

Benzer/Muadil Ürünlerin İncelenmesi

Bulut Altyapı Yazılımları

Büyük Veri Altyapı Yazılımları

TÜBİTAK

GERÇEKLEŞEN FAALİYETLER

(Rekabetçi Özelliklerin Belirlenmesi)

Benzer/Muadil Ürünlerin İncelenmesi

Bulut Altyapı Kurulum Yazılımı

Bulut Depolama Çözümleri

TÜBİTAK

GERÇEKLEŞEN FAALİYETLER

(Büyük Veri Araştırmaları)

BÜYÜK VERİ: Kurumların muazzam büyüklüklerdeki verilerinin, doğru öngörüler yapabilmek için doğru hızda ve doğru zamanda depolanmasını, yönetilmesini ve işlenmesini mümkün kılan teknoloji.

Bir BÜYÜK VERİ çözümü oluşturabilmek için kurulacak altyapı, verinin; o Ölçeklenebilirliğini o Dağıtılabilirliğini ve o Yönetimini desteklemelidir. Neden? Cevap; «veri» konusundaki zorluklarda saklı.

TÜBİTAK

GERÇEKLEŞEN FAALİYETLER

(Büyük Veri Araştırmaları)

Teorik olarak büyük veri altyapısını tek bir büyük ortamda çalıştırmak mümkün olsa da, pratikte bu uygulanabilir değildir. Pratikte bu işlemleri mümkün kılan altyapının ölçeklenebilir olmasıdır. Buradaki yaklaşım «Bulut Bilişim»in felsefesi ile aynıdır:

Ucuz donanım kümelerinin ağ üzerinden bağlanarak performans sağladığı ve bir altyapı yazılımı ile ölçeğin ve yük dağılımının dinamik olarak

yönetildiği teknolojik yaklaşım

Bu durumda; fiziksel kaynakları düğümlere doğrudan tahsis etmek yerine bir sanal kaynak havuzundan hızlı ve iş yükünün değişimine göre dinamik olarak atamak : Bu bir gereklilik olmasa da, bulut üzerinden büyük veri altyapısını sunmak, büyük veri ortamının sınırsız ölçeklenebilmesini sağlamaktadır.

TÜBİTAK

GERÇEKLEŞEN FAALİYETLER

(Büyük Veri Araştırmaları)

Openstack üzerinde Büyük Veri Hizmeti : SAHARA.

Büyük Veri analizlerini kolay hale

getirmek için büyük veri altyapılarını erişebilir ve kullanılabilir hale getirmek önemli. Ancak bu altyapılar kaynak tüketimi ve kurulum/yönetim açısından maliyetli.

Çözüm: Büyük Veri altyapılarının Bulut üzerinden bir hizmet olarak Büyük Veri analizcilerine sunulması

TÜBİTAK

BÜYÜK VERİ ANALİZLERİ

Kurumlar neden büyük miktarda verileri depolamaktadır?

Amaç: Önemli olayların ve değişimlerin erken uyarıları olabilecek veri içindeki gizli paternlerin varlığını ortaya çıkarmak. Nedir bu önemli olaylar ve değişimler ?

Günümüzde kurumlar geçmişte olmuş olaylara bakarak karar verme eğiliminden, gelecekte olacakları tahmin edip proaktif olarak önlem alan bir yapıya bürünmektedir. Bu önemli olaylar ve değişimler bir internet servis sağlayıcı için müşterilerinin başka firmaya geçme eğilimlerinin öngörülmesi olabileceği gibi, bir banka için para transferlerinden dolandırıcılık sezme de olabilir. Her farklı amaç için farklı bir analiz türü bulunmaktadır.

TÜBİTAK

BÜYÜK VERİ ANALİZLERİ

Analiz Türleri

Basit Analizler: Verinin gruplanmasını veya ayrıştırılmasını sağlayan, ikili şekilde gruplayarak veriyi eksenler üzerinde görselleştiren ya da gerçek zamanlı akan verinin izlenmesini sağlayan analizlerdir.

Gelişmiş Öngörü (predictive) Analizleri: İstatistiksel ve matematiksel teknikler kullanılarak büyük hacimli veri içerisinde anlamlı korelasyonlar, modeller ve trendler bulmayı sağlayan analizlerdir.

Operasyonel Analizler: Öngörü analizlerinin iş sürecine entegre edilmesidir. (Örneğin, yeni ürün alma potansiyeli olan müşterilerin öngörülerek call-center sürecine dahil edilmesi ve bu müşterilere call-center hizmeti sırasında yeni çıkan ürünlerin tanıtılması)

Ticaret Analizler: Satış amaçlı yürütülen analizlerdir. Özellikle geniş müşteri kitlesi olan telekom gibi firmalar müşterileri üzerinden elde ettikleri analiz sonuçlarını diğer şirketlere pazarlamaktadır. Müşteri davranışını bu sayede öngörebilen şirketler bu bilgileri ticari amaçları için kullanmaktadırlar.

TÜBİTAK

BÜYÜK VERİ ANALİZLERİ – Gelecek Potansiyeli

Bu örneklere ek olarak büyük veri analizinin uygun verilerin bir araya getirilmesi ile farklı konularda çözüm sunma potansiyeli bulunmaktadır. Artık tüm sektörlerde yer alan kurumların veriye bakış açısı değişmiştir. Gerçek dünyada hergün karşılaşılan durumlara örnekler şunlar olabilir:

Hassas tıbbi cihazları kontrol eden sensör verilerinin analizi ile cihazların

performansının izlenmesi ve hastaya bir zarar gelmesinin önlenmesi. Tıbbi cihazların hasta hakkında sağladığı detaylı verilerin analizi ile

hastanın durumunun kritikliğini ve benzeri anormallik göstergelerini tespit etme.

Telekom firmalarında yüksek hacimli iletişim verilerinin analiz edilerek hizmet seviyesinin müşteri ihtiyaçlarını karşıladığına emin olma.

Satış verilerinin analizi ile müşterinin satınalma kararlarının yönlendirilmesi.

TÜBİTAK

BÜYÜK VERİ ANALİZLERİ - Örnekler

Dünyadaki kurumsal örnekler

IBM firmasının geliştirdiği Watson ürünü büyük miktarda yapısal ve yapısal olmayan verileri analiz eden bir dizi teknoloji içermektedir. Ticari olarak varolan bu teknolojileri IBM mühendisleri «gizli soslar» ekleyerek geliştirmiş ve özgün bir araç ortaya çıkarmıştır. Watson ilk olarak adını bir bilgi yarışmasına katılarak duyurmuş ve wikipedia verilerini gerçek zamanlı analiz ederek soruların çoğunu doğru cevaplamış, en yakın insan rakibinden iki kat daha fazla puan kazanmıştır. Watson’a NLP ve makina-öğrenmesi teknolojileri ile soruları anlayıp cevap verebilme özelliği eklenmiş ve böylece karşısındaki kişiyle etkileşime geçebilme yeteneği kazandırılmıştır. IBM mühendisleri teknolojilerini geliştirerek Watson’ı tıp konusunda karar destek sunabilecek bir yapıya getirme üzerine çalışmalarına devam etmektedir.

TÜBİTAK

BÜYÜK VERİ ANALİZLERİ – Gelecek Potansiyeli

Veri Analizinin Kamuya Etkisi: Neredeyse her şehir yönetimi topladığı vergilerden, izlediği trafik

yoğunluğundan, suç faaliyetlerinin takibinden (polis kayıtlar, vb) veya bina ve köprülerin üzerindeki sensörlerden veri toplamaktadır. Şehirleri daha güvenli, verimli ve yaşanabilir kılmak için bu verilerin analizinde büyük bir potansiyel bulunmaktadır. Mevcut durumda bu veriler farklı departmanlar tarafından toplanmakta her biri kendi kapalı deposunda saklanmaktadır. Ancak bu verilerin tek bir merkezde entegre edilmesi ile çok önemli bilgiler ortaya çıkarılabilir. Örneğin nüfus, çalışma saatleri, yol bakım durumları ve hava verileri bir araya getirilerek trafik tıkanıklarının öngörülmesi mümkün olabilir. Şu an Avrupa’da yürütülen bir çalışmada gerçek zamanlı trafik bilgisi, araçların GPS verisinden ve yollardaki radar sensörlerden toplanarak trafik tıkanıkları öngörülmeye çalışılmakta, alternatif yollar önerilerek trafik akış hızı artırılmaktadır.

TÜBİTAK

BÜYÜK VERİ ANALİZLERİ – Gelecek Potansiyeli

Veri Analizinin Kamuya Etkisi: Özellikle 11 Eylül 2001 saldırılarından sonra veri analizinin potansiyel

yararının güvenlikte olabileceği öngörülmüş ve doğru kimlik saptama görevlerinde bilgiyi içeren büyük veri tabanlarının kullanmasına yönelik çalışmalara başlanmıştır. Örneğin güvenlik kurumları, bir uçağa binen X kişisi ile terörist izleme listesindeki Y’nin aynı kişi olup olmadığını veya şüpheli terörist ile bir konut paylaşan Z kişisini belirlemek isteyebilir. Sadece isim bilgisi ile bu kimlikleri kesin olarak çözmek neredeyse imkansızdır. Eğer güvenlik güçleri sosyal güvenlik numarası, doğum tarihi, veya bir adres gibi bilgilere sahipse doğru yargıya ulaşmak daha kolay olmaktadır. Bu doğrultuda; şüpheli, adres veya ilgili diğer parçaları bulmak için bir araya getirilmiş kamu kayıtlarını kullanan bir uygulama geliştirilmiştir. Bu uygulama üzerinde 11 Eylül saldırılarının o güne kadarki sahip olunan verileri ile analiz çalışması yapılmış ve ABD hükümetinin izleme listesi bilgilerini, havayolu rezervasyon kayıtlarını ve toplanan kamu kayıt verilerini kullanarak onbir teröristi 11 Eylül’den daha önce tespit edebileceği ortaya çıkarılmıştır.

TÜBİTAK

GERÇEKLEŞEN FAALİYETLER

(Saha Ziyaretleri)

IBM Olağan Üstü

Durum Veri Merkezi

İncelemesi (2014)

Borsa İstanbul Veri

Merkezi İncelemesi

(2014)

ULAKBİM Veri Merkezi

İncelenmesi ve Bilgi

Paylaşımı (2014)

İTÜ UHEM Veri

Merkezi İncelemesi ve

Bilgi Paylaşımı

(Şubat 2015)

TÜBİTAK

GERÇEKLEŞEN FAALİYETLER

(Altyapı Kurulumu – Prototip Veri Merkezi)

Lokal veri merkezinin kurulumu için BİLGEM içerisinde yaklaşık 40 m2’lik

bir alan tahsis edilmiş, tasarımı yapılmış ve şartnamesi hazırlanmıştır.

TÜBİTAK

GERÇEKLEŞEN FAALİYETLER III. Bulut Bilişim ve Büyük Veri Yaz Okulu (Haziran 2015)

Lisans, yüksek lisans ve doktora seviyesinde öğrenciler / mezunlar

Kuramsal ve uygulamalı dersler

Bulut Bilişim Programı (33 katılımcı)

Büyük Veri Programı (34 katılımcı)

TÜBİTAK

ÖZET

B3LAB projesi ‘nin ana amacı: Bulut Bilişim (BB) ve Büyük Veri (BV)

konularında Ar-Ge ve altyapı sağlanması.

Hedeflerimiz:

o B3LAB’ın Üniversitelere yönelik olarak; akademik gelişmelere

destek/öncü olması

Akademik iletişim ağının oluşturulması

Üniversitelere altyapı desteği sunulması

Üniversiteler ile BB ve BV konularında kritik projelerde

doğrudan işbirliği sağlanması, insan kaynağı ve altyapı desteği

sunulması

TÜBİTAK

ÖZET

o B3LAB’ın Kamu ihtiyacına yönelik olarak; çözümler sunması ve

ülkenin bu teknolojilerde geleceğe yönelik dış ticari bağımlılığını

azaltması

Açık kaynak kod (AKKo) projeler üzerinden çözüm geliştirilmesi

Kamu ve AKKo’ya yönelik çalışan özel sektör işbirliklerinin

geliştirilmesi

Geliştirilen çözümlerin kullanımının sağlanması için seçilen

kamu kurumları ile (gerektiğinde özel sektör desteğiyle

birlikte) pilot projeler yapılması. Bu projelerin;

o B3LAB tecrübesini ve çözümlerin olgunluğunu artırması

o Kamuda farkındalık sağlaması ve yaygınlaşması

TÜBİTAK

TEŞEKKÜRLER

www.b3lab.org