Page 41 - 3.Big Data Analytics
P. 41

หลักสูตรการวิเคราะห์ข้อมูลขนาดใหญ่   40




                              Pig เปนเครื่องมือคลายๆกับ Hive ที่ชวยใหประมวลผลขอมูลโดยไมตองเขียนโปรแกรม Map/Reduce ซึ่ง

                               Pig จะใชโปรแกรมภาษา script งาย ๆ เรียกวา Pig Latin แทน โดย Pig เหมาะกับการทำ ETL สำหรับ
                               การแปลงขอมูลในรูปแบบตาง ๆ เชน JSON


                              Sqoop เปนเครื่องมือในการถายโอนขอมูลระหวางฐานขอมูลที่อยูรูปแบบ Table บน RDBMS อยาง SQL

                               server, Oracle หรือ MySQL กับขอมูลบน HDFS ของ Hadoop ดังรูปที่ 16.6 สถาปตยกรรมของ Sqoop









































                                                รูปที่ 16.6 สถาปตยกรรมของ Sqoop


                                                        (Forrester, 2016


                              Flume เปนเครื่องมือในการดึงขอมูลจากระบบอื่น ๆ แบบ real-time เขาสู HDFS เชนการดึง Log จาก
                               Web Server การดึงขอมูลเหลานี้จะตอง มีการติดตั้ง Agent ที่เครื่อง Server ดังรูปที่ 16.7



















                   BIG DATA ANALYTICS                             สถาบันสหวิทยาการดิจิทัลและหุนยนต มหาวิทยาลัยเทคโนโลยีราชมงคลพระนคร
   36   37   38   39   40   41   42   43   44   45   46