Büyük Veri Analizi 

1. BÜYÜK VERİ NEDİR? NASIL ANALİZ EDİLİR? BELLİ BAŞLI ANALİTİK ARAÇLAR NELERDİR?

Büyük veriyi, mevcut teknolojilerle yakalanması, depolanması, filtrelenmesi, paylaşılması, analiz edilmesi ve görselleştirilmesi zor olan veri olarak tanımlayabiliriz. Otoriteler, Büyük Verinin 5 özelliğini ise, hacim, hız, çeşitlilik, doğruluk ve değer olarak tanımlarlar. Şekil-1’de Büyük verinin 5 özelliğinden 3’nün nitelik kümesi gösterilmektedir.

​

​

 

 

 

 

​

​

​

​

​

​

​

 

 

 

 

 

 

​

Büyük veriye, veri kaynakları açısından baktığımızda, Şekil 2’de gösterilen hiyerarşik veri grupları dağılımı, en yaygın gruplamayı ifade etmektedir.

 

​

​

 

 

 

 

 

 

 

 

 

 

 

Büyük veri analitiği, veriler içerisinde ve/veya farklı veri bloklarının (örn: Cihaz ve Sensör Verileri* ile Operasyonel Veriler*diye adlandırdığımız veri bloklarının- *: Bkz: Şekil-2-) karşılaştırılması ile ortaya çıkan değerler bütünü olarak tanımlanmaktadır. Şekil-3’te Büyük Veri Analitiğinin en temel işlem adımları gösterilmiştir.

​

​

​

​

 

 

​

 

 

 

 

 

 

 

 

 

 

Büyük veri analitiği, her ne kadar saklı veri blokları üzerinde de kullanabiliyor olsa da hareket halindeki (akan) veri üzerinde yapılan analitik işlemler daha etkili sonuçlar üretmektedir. Yani, veriler depolama ortamlarına aktarılmadan da analiz edilebilmektedir. Bu yöntem, paralel hesaplama algoritmalarıyla desteklenerek neredeyse anlık sonuçlar üretmek için tasarlanmıştır. Bu sayede, anında aksiyona, müdahaleye veya kontrole imkân sağlayan çözümler sunmaktadırlar. Yani büyük veri sistemlerinde saklı veri yerine akışa odaklanılmış bir altyapı her zaman daha başarılı ve gerçek zamana yakın sonuçlar üretmektedir.

Genel olarak büyük veri analitiği sürecinde kullanılan en önemli yapılardan biri Hadoop teknolojisidir. Hadoop teknolojisi, büyük veri denildiğinde akla ilk gelen açık kaynak yapılardan biridir. Hadoop, HDFS ve MapReduce bileşenlerinden oluşan araç kutusuyla büyük veri dosyalarının paralel şekilde işlenmesini sağladığı gibi, bu işleme mekaniğinin dağıtık platformlarda çalışmasına da imkân tanımaktadır. Hadoop teknolojileri, 3 temel fonksiyonel grup altında ele alınmakta ve çözümlerde kullanılmaktadır.

 

Bunlar;

1. Hadoop Veri tabanları: Hbase, Hypertable

2. Operasyonel Servisler: Apache Ambarı, Apache Oozie, Apache Mahout

3. Veri Servisleri: Hive, Pig, Jagl, Impala ve Diğer Hizmetler: HDFS, HDFs araçları, Nifi, Flume, Sqoop, Hue

 

 

2. BÜYÜK VERİ ANALİTİĞİ VE VERİDEN DEĞER OLUŞTURMA PROJELERİ NASIL

ELE ALINMALIDIR?

Büyük veri analitiği uygulamalarından tutarlı ve istenilen sonuçlar elde etmek için veri bilimcileri ve veri analistleri, mevcut verileri ayrıntılı bir şekilde anlamalı ve bu verilerde ne aradıkları konusunda fikir sahibi olmalıdır. Bu ilk adım, veri kümelerinin profillerinin çıkarılmasını, temizlenmesini, doğrulanmasını ve dönüştürülmesini içeren veri ön hazırlığı aşamasıdır.

Veriler toplanıp analiz için hazırlandıktan (yani ön hazırlık aşamasından) sonra, büyük veri analitiğine yönelik makine öğrenimi, derin öğrenme, tahmine dayalı modelleme, veri madenciliği, istatistiksel analiz, akış (stream) analitiği, metin madenciliği gibi hazırlanmış ve/veya standartlaşmış algoritmaların yanı sıra probleme özel geliştirilen özgün analitik algoritmaları da içermektedir.

​

3. İYİ UYGULAMA ÖRNEKLERİ

Veriye dayalı bir Analitik aracı arıyorsanız, bu tür araçlara bakmadan önce mevcut dijital varlıklarınızın (sistemler, uygulamalar, insan kaynağı ve diğer ilgili her şey) ve bunların nasıl bir konfigürasyon (tasarımlar, süreçler, alışkanlıklar ve standartlar dahil her şey) içerisinde çalıştığından emin olmanız, daha en başından zaman, bütçe ve itibar kayıplarının önüne geçmeniz anlamına gelir. Öte yandan, olası güvenlik problemlerinin büyük bir çoğunluğunun ortadan kaldırılması veya fark edilmesi anlamına gelir. Bu tür ön çalışmalar, kurum veya kuruluşunuzdaki tasarım sorunlarını, bu sorunlardan kaynaklı işletme sorunlarını ve en nihayetinde ortaya çıkan sonuçlardaki sorunları gün yüzüne çıkaracağı gibi, kurumsal verimliliğinizi, sürdürülebilirliğinizi ve erişebilirliğinizi de ortaya çıkarmak için size çeşitli fırsatlar sunar. Ayrıca bu çalışmalar, verilerin nasıl oluşturulacağından başlayarak, nasıl taşınması, nasıl saklanması ve nasıl işlenmesi gerektiğiyle ilgili de bir kurumsal “veri stratejisi” oluşturulması konusunda size yardımcı olacaktır.

Doğal Dil İşleme, Tahminleyici Analitik, Bilgi Keşfi ve Büyük Veri Analitiği yetenekleriyle elde edilen ve edilebilecek kazanımlara herhangi bir veri seti kümesinden elde edilebilecek kazanımlara şunları örnek verebiliriz;

• Akan veri üzerinden veri kayıtlarına ilişkin dinamik bir şekilde kontrol edilebilen (kişi araması, grup araması, çoklu olay yönetimi) “alarm” sistemi oluşturulması, istenilen ortamda kullanılmak üzere veri üretilmesi veya e mail ile uyarı yapılabilmesi.

• Elde edilen verilerin değerlendirilmesi, görselleştirilmesi ile çeşitli derinliklerde kişi grup ilişkileri veya kişi nesne, kişi ürün vb. ilişkilerin çıkarılması.

• Veri üzerinde makine öğrenimi teknikleri kullanılarak farklı olabilecek olay ilişki örüntüleri çıkarılması, çıkarılan örüntülerden öğrenim modelleri oluşturularak benzer örüntüler üzerine olay tahmini yapılabilmesi.

• Karşılaştırmalı Analiz: Bir organizasyonun ürünlerini, hizmetlerini ve markasını rakipleriyle karşılaştırmak için müşteri davranış ölçümlerini ve gerçek zamanlı müşteri katılımını incelemektedir.

    •    Sosyal Medya Madenciliği: Potansiyel sorunları belirlemeye ve pazarlama kampanyaları için hedef kitleleri belirlemeye yardımcı olabilecek, insanların bir işletme veya ürün hakkında sosyal medyada söylediklerini analiz etmektedir.

• Pazarlama Analitiği: Ürünler, hizmetler ve iş girişimleri için pazarlama kampanyalarını ve promosyon tekliflerini iyileştirmek için kullanılabilecek bilgiler sağlayabilmektedir.

• Duygu Analizi: Müşteriler hakkında toplanan tüm veriler, bir şirket veya marka hakkında ne hissettiklerini, müşteri memnuniyet seviyelerini, olası sorunları ve müşteri hizmetlerinin nasıl iyileştirilebileceğini ortaya çıkarmak için kullanılmaktadır.

 

 

4. VERİ ANALİZİ VE KAZANIMLAR

Büyük Veri ekosistemi sürekli gelişmenin yanı sıra, Yapay Zeka (AI), Veri Bilimi ve Nesnelerin İnterneti (IoT) gibi çeşitli dijital dönüşüm trendleri için itici bir güç olmaya devam etmektedir. Büyük Verinin iş süreçlerine getirdiği pozitif etkiler için birkaç örnek aşağıda belirtilmektedir.

 

 

• Müşteri Deneyimi Yönetimi

  • Tatmin edici fiyatlandırma stratejileri geliştirmek

  • Müşteri memnuniyeti ve hizmet kalitesinin değerlendirilmesi

  • Tedarik zinciri yönetimini iyileştirme

  • Yeni müşteri kazanma ve mevcutları elde tutma

  • Doğru öngörülebilirlik analizi gerçekleştirmek

  • Doğru müşteri davranışı ve kategorizasyonunu sağlama ve tahmin etme

• Üretim Süreçleri

  • Ürün ve çözümlerin özelleştirilmesi

  • Hammadde ve parçaların kalitesinin değerlendirilmesi

  • Yeni ürünlerin tahmin edilmesi, test edilmesi ve simülasyonu

  • Enerji verimliliğini artırılması

  • Tedarikçilerin performans değerlendirmesi

  • Tedarik zincirinde risk yönetimi

  • Kusurların takibi ve ürün kalitelerinin takibi

  • Öngörücü bakım hizmetleri

• Ulusal ve Kamu Güvenliği

  • Tahminleyici analitik

  • Bilgi keşfi

  • Önleyici ve öngörücü olay ve güvenlik yönetimi

​