Page 20 - 6.Machine Learning for Data Science
P. 20

หลักสูตรการวิเคราะหอินเทอรเน็ตของทุกสรรพสิ่งเบื้องตนดวย Hadoop  |  19
























                                                    รูปที่ 3.1 โครงสรางของ HDFS

                                        [ที่มา.  https://data-flair.training/blogs/hadoop-tutorial/]

                           การทำงานของ HDFS จะแบงการทำงานออกเปน 2 สวน คือ Namenode ที่จะทำการตรวจสอบและบริหาร

                  จัดการ Datanodes โดยจะทำงานบน master และสวนที่สองคือ DataNodes เปนสวนที่เก็บขอมูลไวจริงๆ ซึ่งทำงานบน
                  slave โดย DataNodes จะตองรายงานสถานะของตัวเองไปยัง Namenodes ทุกๆ 3 วินาที


                           Map-Reduce เปนสวนที่ใชในการประมวลผลขอมูลของ Hadoop ซึ่งแบงการทำงานออกเปนสองสวนคือ Map
                  และ Reduce ในขั้นตอน Map ขอมูลที่นำเขามาจะถูกแปลงเปนคูของ key และ value และขั้นตอน reduce จะทำการรวมคู

                  ของ key และ value เขาดวยกันและสงไปเขียนลงบน HDFS การทำงานของ Map Reduce แสดงดังรูปที่ 3.2




















                                             รูปที่ 3.2 โครงสรางการทำงานของ Map Reduce

                                        [ที่มา.  https://data-flair.training/blogs/hadoop-tutorial/]

                           YARN เปนสวนที่ใชบริหารจัดการทรัพยากรตาง ๆ ของ Hadoop โดยมีองคประกอบหลักคือ


                                สวนบริหารทรัพยากรซึ่งทำงานบน master
                                สวนบริหาร Nodes ซึ่งทำงานบน slave

                                สวนสงงาน โดย client จะสงงานมายังสวนบริหารทรัพยากร


                   INTRODUCTION TO IOT ANALYTICS USING HADOOP                                        สถาบันสหวิทยาการดิจิทัลและหุนยนต มหาวิทยาลัยเทคโนโลยีราชมงคลพระนคร
   15   16   17   18   19   20   21   22   23   24   25