Page 38 - 5.Introduction to IoT Analytics using hadoop
P. 38

หลักสูตรการวิเคราะหอินเทอรเน็ตของทุกสรรพสิ่งเบื้องตนดวย Hadoop   37



                        ชุดของเลเยอรมีงานตอไปนี้:

                              1.  การจัดการชุดขอมูลหลัก: ชุดขอมูลหลักเปนชุดขอมูลดิบที่ไมเปลี่ยนแปลงและตอทายซึ่งขอมูลจะถูก

                                  ตอทายเทานั้นและไมไดรับการปรับปรุง ดังนั้นเราสามารถรักษาฐานขอมูลเวอรชันที่สอดคลองกันได

                                  เสมอโดยที่มีการลบสิ่งสกปรก / ที่ไมสอดคลองกันตอทายฐานขอมูลที่อยูในสภาพแวดลอม Hadoop
                                  แบทชเลเยอรจะถูกเก็บไวใน HDFS


                              2.  การประมวลผลมุมมองแบทชลวงหนา: การใชขอมูลในชุดขอมูลหลักเราสามารถคำนวณมุมมองลวงหนา

                                  ซึ่งสามารถนำมารวมกับมุมมองจากเลเยอรความเร็วเพื่อใหขอมูลเชิงลึกที่สามารถดำเนินการไดใหกับ
                                  ลูกคา มุมมองจากชุดชั้นจะเขารวมกับมุมมองจากชั้นความเร็วในชั้นนำเสนอ ในกรณีที่มีความลมเหลว

                                  เราสามารถคำนวณมุมมองใหม (เนื่องจากขอมูลไมเปลี่ยนรูป และเราจะมี สถานะที่สอดคลองกันกลับมา

                                  มุมมองถูกคำนวณเหนือชุดขอมูลทั้งหมดและดวยเหตุนี้จึงไมคาดวาจะมีการคำนวณมุมมองบอยครั้ง การ
                                  คำนวณมุมมองอาจใชเวลาสองสามชั่วโมงขึ้นอยูกับขนาดของชุดขอมูล ในสภาพแวดลอม Hadoop

                                  มุมมองจะถูกคำนวณในแตละการวนซ้ำของโปรแกรมลดแผนที่


                           Speed Layer: ไดรับการออกแบบสำหรับ “การเขาถึงแบบสุมการเขียนแบบสุม” การคำนวณมุมมองเกิดขึ้นแบบ
                  คอยเปนคอยไป เลเยอรนี้มีขอมูลที่ทันสมัยที่สุด นอกเหนือจากการมีขอมูลที่ทันสมัยเลเยอรนี้ยังมีขอมูลนอยลง ทำไดโดยการ

                  ลางขอมูลในชวงเวลาปกติ ดังนั้นมุมมองในเลเยอรนี้จึงไมเปนไปตามธรรมชาติ

                           เนื่องจากการคำนวณเกิดขึ้นแบบไมตอเนื่องตรรกะในการนำเลเยอรนี้มาใชจึงมีความซับซอน ดังนั้นความซับซอน

                  สวนใหญจึงถูกสงไปยังสวนเล็กๆ (เชนเลเยอรความเร็ว สิ่งนี้เรียกวา "การแยกความซับซอน" เวลาแฝงที่ต่ำของขอมูลมักจะ

                  นำไปสูความไมถูกตอง นี่เปนการแลกเปลี่ยนที่ยอมรับในเลเยอรนี้

                           Presentation Layer: รับผิดชอบการจัดการแบบสอบถาม แบบสอบถามจะตอบดวยการรวมมุมมองจากเลเยอร

                  ความเร็วและเลเยอรแบทช มุมมองชุดงานจะไดรับการจัดทำดัชนีเพื่อใหพวกเขาสามารถสอบถามดวยเวลาแฝงที่ต่ำ

                        ขอดีของสถาปตยกรรมแลมบดา


                              -  สถาปตยกรรมแลมบดาใชประโยชนจากวิธีการประมวลผลแบบแบทชและการประมวลผลแบบสตรีม
                              -  สามารถวิเคราะหขอมูลขนาดใหญไดในเวลาจริง


                        ขอเสียของสถาปตยกรรมแลมบดา

                              -  มีตรรกะที่ซ้ำกันจำนวนมากระหวางมุมมองแบทชและมุมมองความเร็ว

                              -  มีความซับซอนในการปฏิบัติงานของระบบที่เกี่ยวของในการนำสถาปตยกรรมแลมบดาไปใช ดังนั้นการ

                                  ใชงานสถาปตยกรรมนี้จึงเปนเรื่องยาก







                   INTRODUCTION TO IOT ANALYTICS USING HADOOP     สถาบันสหวิทยาการดิจิทัลและหุนยนต มหาวิทยาลัยเทคโนโลยีราชมงคลพระนคร
   33   34   35   36   37   38   39   40   41   42   43