Dijital Gerçek Büyük Veri - Big Data Nedir ve Nasıl Çalışır? 3V Konsepti ve Daha Fazlası

Büyük verinin tanımı; büyük veri yani big data sürekli artan çeşitlilik içeren büyük hacimli veri demektir. Büyük veriyi anlamaya çalışmadan önce veri kavramını bilmek doğru olacaktır. Veri, sürekli toplanan ve işlenmemiş, işlenmiş veya yarı işlenmiş halde bulunan değerlerdir. İstatistik bilimlerinde sürekli kullanılan veriler toplanır ve ihtiyaca göre bir bilgiye dönüştürülür. KNOWLEDGE bilgi piramidinde veri en geniş alanı kaplar ve piramidin temelini oluşturur. Buna göre veri bilgiye, bilgi bilime, bilim ise bilgeliğe yani derin bilgiye dönüştürülür.

Görüldüğü gibi olayları yöneten kalıcı bilginin temeli veriyle atılmış olur. Teknoloji sayesinde artık big data hacmi gittikçe büyümekte ve bunun için kayda değer maliyetlerde veri merkezleri kurulmakta. Big Data hayatımızın her alanında karşımıza çıkabilir. Eski dosyalama sistemlerinin yerine artık bilgiler, resimler, videolar Big Data’da saklanabilir. Büyük veri genel olarak insanlara hizmet etse de sadece yöneticiler tarafından görüntülenip işlenebilir. Belirli yazılım ve firmalar ile bu veriler 3. şahıslarla paylaşılır. Big Data süreci yönetir, karar almayı kolaylaştırır ve isabetli görüler sağlar.

Big Datanın (Büyük Veri’nin) 3 V’si Nedir?

Büyük veriyi doğru anlamak için hakkında bilinmesi gereken üç önemli konu vardır.

Volume (hacim)

Veri miktarı yani veri hacmini ifade eden volume kavramı verinin niteliğini ortaya çıkarır. Hacmi geniş olan veriler daha değerlidir ancak bu kadar yüksek hacmin olması depolama açısından bazı yetersizliklere de neden olabilir. Yetersiz depolama alanlarını daha etkin kullanabilmek için bu verilerin nasıl tutulacağını ve saklanacağını bilmek önemlidir.

Variety (çeşitlilik)

Big data sürekli bir bilgi akışıdır. Her gün, her kaynaktan veriler toplanıp işlenir ve data merkezlerinde saklanır. Bu verilerin geri çağrılması veya uygun şekilde kullanılması için veri hızının yeterli seviyede olması beklenir. Öncelerden verilerin tek tip olduğu zamanlarda dosya aktarım hızı da buna bağlı olarak düşük bir seviyedeydi.

Velocity (hız)

Aktarım hızı olarak ifade edilen velocity, big data için önemlidir. İlk veriler mesajlaşma servisleriydi ve 2G hızı bunun için yeterliydi. Zamanla dosya çeşitleri artıp boyutları çoğaldıkça dosya aktarım hızı duruma bağlı olarak yükseldi. 3G, 4G, günümüzde 5G kablosuz bağlantı hızlarının yanında ADSL’den fiber internete geçişin de kaynağı sn/mb yani saniye başına aktarılan byte verinin artmasıdır. Yani verilerin çeşitliliği arttıkça aktarım hızı da yükselmiştir. Ancak bu tanımlamalar ortaya çıktıktan bir süre sonra yani günümüzde veri bilimciler için yeni V’ler zorunluluk haline gelmiştir. Bu zorunluluk gittikçe daha fazla dijitale aktarılan yükümlülüklerin değer kazanması ve bilgisayarların bir karar mekanizması haline gelmesiyle oluşmuştur. Bilgisayarlar daha çok kompleks işlemler yaparken aynı zamanda daha doğru çıktıya erişim için doğru verilerin toplanması önemlidir.

Veracity

Big data veracity (büyük veri doğruluk) toplanan verilerin doğruluğu ile başlar. İlk aşamada hatalı olan veriler sonuç olarak yanlış bilgiye götüreceğinden ilk aşama her zaman en önemlisidir. Doğruluk; big data kullanan büyük veri ile önemli kararlar veren kurum ve kuruluşlar için büyük önem taşır. Big dataya güvenebilmek için doğruluk oranının iyileştirilmesi temel hedefler arasındadır.

Value

Big data value (büyük veri değer) ile alınacak kararlara potansiyel etkisi verinin değerini de değiştirebilir. Ulaşım sağlık, eğitim, ticaret alanlarında yapılacak değişimde kazanç zarar, maliyet büyük veri kullanılarak en iyi seviyelere çekilebilir. Doğru yatırımlar, zararlı maliyetler önceden tespit edilebilir.

Visualization

Veriler bazen kelimelerle, sayılarla, değerlerle bazen ise grafik ve simülasyon gibi görseller ile ifade edilir. Verileri görselleştirme gücü de big data visualization konusudur.

Variability

Variability değişkenleri anlama doğru algoritmalar oluşturmayı ifade eder. Bunun anlamı değişkenliktir. Yani veriler aynı olsa bile bazen aynı sonuçlar çıkmamalıdır. Sıralama devreye girdiğinde daha karmaşık veri işleme yazılımlarının oluşturulması gerekir. Mesela cümle oluşturulurken sıralama sayesinde anlamlar değişir. Kelime işlemcilerinin bu değişimleri fark etmesi ve doğru eşleştirmeyi yapmaları (variability) değişkenlik konusudur.

Big Data Nasıl Çalışır?

Genel olarak veriler her yerden toplanabilir. Resimler, sağlık kayıtları, internet aramaları, sosyal medya verileri, sokak kameraları, perakendecilik hareketleri gibi hemen hemen her tüketici ve vatandaş kayıtları big dataya aktarılabilir. Asıl nokta bu verilerin ne için kullanıldığı ve neden böyle bir gereksinim duyulduğu olabilir. Önceden veriler tek bir merkezde tutulup olası afetlerde ve kazalarda veri kayıplarının olması söz konusu idi. Günümüzde cloud sistemlere yüklenen veriler istenildiği zaman bir tuşla ulaşılabildiği gibi afetlere karşı dayanıklı data centerlarda korunuyor.

Ayrıca bu verilerin günlük haftalık yedekleri alınıp veri kaybı minimuma indiriliyor. Bunun gibi big datada tüketici alışkanlıklarını belirlemek, sağlık alanında yapılacak çalışmalarda ihtiyacı önceden fark edebilmek, hukuki konularda suçu ve suçluyu erken sürede tespit edebilmek gibi faydalı alanlarda kullanılabilir. Büyük veri merkezleri kullanılmadan önce bir hareketin olumlu-olumsuz sonuçlarını bilebilmek için dene-yanıl yöntemi kullanılırken big data ile daha isabetli kararlar almak mümkün hale getirildi. Paradan tasarruf etmek ve zamanı iyi kullanmak için big datadan elde edilen bilgiler bazen grafiklerle, bazen simüle edilerek kullanışlı kılındı.

Büyük Veri Kime Nasıl Hizmet Eder?

Kamusal yönden bakıldığında büyük veri doğru kullanıldığında bütün sorunları ortadan kaldırabilecek potansiyele sahiptir ancak endüstrilerin kullanımı ve bilgide rant alanı olması bunun önüne geçebilir. İnsani krizleri önleme, göç hareketlerini takip etme, israfı önleme gibi yaşam koşullarını iyileştiren anlamlarda big data iyi bir toplumun temellerini sağlayabilir. Diğer yandan bütün endüstriler büyük veriyi kendileri için kullanabilir. Elbette bu endüstrilerin toplum sağlığına aykırı davranmasını önleyecek başka mekanizmalarda bulunur. Böylece finanstan sağlığa, eğitimden turizme kadar hemen her alanda big data verileri kullanılabilir ve kullanılmaktadır.

Bugün yapılan çalışmalar gösteriyor ki üretimde yepyeni bir anlayış geliştirilerek, tüketime odaklı bir üretim hareketliliği başlamıştır. Her yıl milyarlarca dolar değerinde gıda, kozmetik, hammadde, giyim, kırtasiye ve en önemlisi de zaman çöpe gitmektedir. Bunun yerine büyük firmalar sevilen ürünleri daha fazla piyasaya sürerek arzı karşılama yoluna girmekte. Büyük veri ile elde edilen veriler her zaman daha iyi, daha kullanışlı, daha masrafsız, daha uygun seçenekleri kullanıcıların karşına getirerek günlük hayatta ki en büyük sorunlardan biri olan zamansızlık problemine de çözüm sağlayabilir. Böylece örneğin müşterilerin beğenebileceği ürünleri kişiselleştirilmiş arayüzlerle sunarak tüketicileri beğenme olasılıkları yüksek olana kanalize etmeyi başarır.

Sağlık alanında toplanan verilerle hastalıklar önceden tespit edilip önleyici tedavilerin uygulanması mümkün hale getirilebilir. Enerji alanında big data kullanımı yaygındır. Fosil yakıtlara dayalı enerji ihtiyacının çevreye olan olumsuz etkisi gün geçtikçe artmaktadır. Buna alternatif olarak geliştirilen enerji çözümleri yenilenebilen kaynaklara dayalıdır. Yani güneş, su ve rüzgâr enerjisi yavaş yavaş fosil yakıtların yerini alırken enerji ihtiyacının belirlenmesi ve dönüşümün sağlanması için büyük veri kaynak olarak kullanılabilir.

Büyük Veri Gelecekteki Önemi

Teknolojinin ilerlemesi ve yaygınlaşması ile veriye olan ihtiyaç hiç olmadığı kadar fazladır. Hayatın değişik alanlarının birbirine entegrasyonu big data ile sağlanırken gelecekte daha çok akıllı cihazın kullanılması ile daha fazla veri toplanacaktır. Gelecekte insan yaşamına katkı sağlayacak ve dijital parayı yönlendirecek bir kaynak olarak görülebilir.

Bu tahminlerden bazıları şunları içeriyor makine öğrenmesi yani Aİ teknolojisinin elde edilmesi ve kullanılması. 2025 yılına kadar big datanın %25 büyümesi bekleniyor tabi ki Aİ (yapay zeka) ve nesnelerin internetine (loT) bağlı olarak. Sonuç olarak veri biriktirme hızı azalmayıp yükselmekte. Bunun için veri depolamayı daha akıllıca yapmak ve daha reel analizler sunmak veri bankalarından beklenen şey olabilir.