Page 457 - RAQAMLI TRANSFORMATSIYA DAVRIDA PEDAGOGIK TA’LIMNI RIVOJLANTIRISH ISTIQBOLLARI

METODOLOGIYA
Katta hajmli maʼlumot manbalarining soni jadal oʻsib bormoqda, yaʼni ularni
qayta ishlash texnologiyalari tobora ommalashib bormoqda.
Katta hajmli maʼlumotlarni qayta ishlash prinsiplari. Big Data taʼrifiga asoslanib,
bunday maʼlumotlarni qayta ishlashning asosiy prinsiplarini shakllantirish mumkin.
Bular:
Gorizontal oʻlchovlar. Katta maʼlumotlarni qayta ishlash uchun imkon qadar
katta maʼlumotlarni qayta ishlashni qamrab oluvchi har qanday tizim kengaytirilishi
mumkin. Bunda maʼlumotlar hajmi ikki barobar ortadi, klasterdagi komponentalar
soni ham ikki marta oshadi va jarayon davom etadi.
Teskari barqarorlik. Gorizontal oʻlchovlar prinsipida klasterdagi komponentalar
soni koʻp boʻladi. Misol uchun, Yahooning Hadoop klasterida 42 000 dan ortiq
mashinalar mavjud (turli tashkilotlarning klaster oʻlchamiga qarash uchun
foydalanish mumkin). Bu shuni anglatadiki, ushbu mashinalarning baʼzilari
muvaffaqiyatsizlikka uchraydi. Katta maʼlumot bilan ishlash usullari bu kabi
xatolarning mavjudligini hisobga olishi va hech qanday jiddiy oqibatlarsiz ishlashi
kerak.
Maʼlumotlarning joylashuvi. Katta taqsimlangan tizimlarda maʼlumotlar koʻp
sonli mashinalarga tarqatiladi. Maʼlumotlar bir xil serverda joylashgan boʻlsa va
boshqasida qayta ishlansa ­ maʼlumotlar uzatish qiymati uni qayta ishlash narxidan
oshib ketishi mumkin. Shuning uchun, BigData yechimlari uchun eng muhim
prinsip tamoyillaridan biri axborotni joylashish tamoyili boʻlib, iloji boʻlsa, ularni
saqlaydigan bir mashinaning oʻzida maʼlumotlarni qayta ishlash mumkin [3].

TAHLILLAR
Katta maʼlumot bilan ishlashning barcha zamonaviy usuli bu uchta printsipga
amal qiladi. Bu prinsiplar bilan ishlaydigan modellarni koʻrib chiqamiz.
MapReduce. MapReduce ­ Google tomonidan kompyuter klasterlarida katta
hajmdagi maʼlumotlarni qayta ishlash uchun taklif qilingan taqsimlangan
maʼlumotlarni qayta ishlash modeli. MapReduce quyidagi 1-rasmda aniq
tasvirlangan:

1-rasm. MapReduce modelida maʼlumotlar uch bosqichda amalga oshiriladi

Map bosqichi. Ushbu bosqichda maʼlumotlar foydalanuvchi tomonidan
belgilaydigan map() funksiyasidan foydalaniladi. Ushbu bosqichning vazifasi 455
maʼlumotlarni qayta ishlash va filtrlashdir. Bunda har bir kirish yozuviga maxsus

II SHO‘BA:

Sun'iy intellekt va insoniy munosabatlar transformatsiyasi: shaxsdagi muvaffaqiyatlar va rivojlanish istiqbollari

https://www.asr-conference.com/