Page 36 - 5.Introduction to IoT Analytics using hadoop
P. 36
หลักสูตรการวิเคราะหอินเทอรเน็ตของทุกสรรพสิ่งเบื้องตนดวย Hadoop 35
รูปที่ 3.5 การสง Job เขา Cloud Dataproc
[ที่มา. https://cloud.google.com]
สมมติเลือกใช Hive ก็สามารถใส Query ที่ตองการจะรันลงไปไดทันที
3.10 สถาปตยกรรมแลมบดาสำหรับการประมวลผลขอมูลตามเวลาจริง
ความตองการการวิเคราะหแบบเรียลไทมนำไปสูความตองการเวิรกโฟลวที่สามารถสรางความสมดุลของ
ความหนวงแฝงปริมาณงานขนาดและความผิดพลาดไดอยางมีประสิทธิภาพ มีเวิรกโฟลวหลายตัวที่ใชการลดขนาดแผนที่ซึ่ง
สามารถประมวลผลกิกะไบตเปนเทราไบตของขอมูลไดสำเร็จ อยางไรก็ตามเวิรกโฟลวเหลานี้สวนใหญมีขอเสียเปรียบที่สำคัญ:
ความลาชา เนื่องจาก Hadoop เปนระบบประมวลผลแบบแบทชผูใชโดยทั่วไปจะตองรอเปนเวลาหลายชั่วโมงกอนที่จะมี
การอัปเดตขอมูล เพื่อรองรับความตองการการวิเคราะหแบบเรียลไทมเราจำเปนตองออกแบบระบบที่สามารถสรางสมดุล
ระหวางแนวคิดของ "ความจริงรุนเดียว" และ "การวิเคราะหตามเวลาจริง" สถาปตยกรรมแลมบดาเปนหนึ่งในวิธีดังกลาว
สถาปตยกรรมของแลมบดาถูกประดิษฐขึ้นโดยนาธานมารซเพื่อใหสถาปตยกรรมการประมวลผลขอมูลที่ผิดพลาดและปรับ
ขนาดได
INTRODUCTION TO IOT ANALYTICS USING HADOOP สถาบันสหวิทยาการดิจิทัลและหุนยนต มหาวิทยาลัยเทคโนโลยีราชมงคลพระนคร