ETL Tool คืออะไร?

ช่วงนี้ตั้งใจว่าจะเป็นบทความ What is? สักชุดหนึ่ง วันนี้ก็มีอีกเรืองคือ

ETL Tool คืออะไร

ก่อนจะรูู้จัก เราต้องมารู้ก่อนว่า ETL ย่อมาจาก Extract, transform, and load คือการดึงข้อมูลจาก Data Source ต่างๆ เข้าสู่ Data Warehouse ดังนั้น 

ETL Tool คือเครืองมือที่ใช้ในการจัดการกระบวนการสำคัญต่างกับข้อมูลตามข้างล่าง

1. Extract คือ การสกัดข้อมูล การดึงข้อมูลจากแหล่งข้อมูลที่แตกต่างกัน
2. Transform คือ การนำข้อมูลที่ได้มาจากการ Extract มาจัดรูปแบบให้ถูกต้อง
3. Load คือ การนำข้อมูลที่ผ่านการ Transform แล้ว เข้าสู่ Data Warehouse(data mart, database)

ลักษณะพิเศษ
ETL ส่วนมากจะนิยมใช้ในระบบ integrate data จากหลายๆแอพพลิเคชั่น ด้วยเฉาะพัฒนาจากหลายๆผู้ขาย หรือจากหลายๆแหล่งติดตั้งที่แตกต่างกัน 

สถาปัตยกรรมของ ETL
1. การสกัดโดยใช้งาน staging area   คือหลังจากเลือกข้อมูลบางส่วนจากแหล่งข้อมูล จะทำการโอนข้อมูลไปยัง staging area จากนั้นข้อมูลจะถูกประมวลผลก่อนส่งไปยังคลังข้อมูลอีกที
2. การสกัดโดยใช้หน่วยความจำ การสกัดของมูลบางส่วนจากแหล่งข้อมูล แล้วทำการเปลี่ยนแปลงข้อมูลในหน่วยความจำ แล้วจึงส่งไปยังคลังข้อมูลอีกที

Server architecture

ขันตอนการทำงานของ ETL
ประกอบด้วย 3 ขั้นตอนการทำงานหลักคือ การสกัดข้อมูล การเปลี่ยนแปลงข้อมูล และการโอนถ่ายข้อมูล แต่แท้จริงยังสามารถแจ้งรายละเอียดได้ดังต่อไปนี้

• การวางแผนสาหรับการรวมรวมข้อมูล
• การกาหนดกฎสาหรับการเปลี่ยนแปลง/เปลี่ยนรูปและการทาความสะอาด
• การสร้างกฎในการสกัดข้อมูล
• การเตรียมการเชื่อมโยงข้อมูลจากแหล่งข้อมูล
• การรวบรวมข้อมูลจากแหล่งข้อมูลต่างๆ ทั้งแหล่งข้อมูลภายในและภายนอก
• การกาหนดข้อมูลทั้งหมดที่ต้องการเก็บไว้ในคลังข้อมูล 
• การรวมโครงสร้างข้อมูลจากหลายแหล่งข้อมูลไปเป็นข้อมูลเพียง row เดียว
• การแยกโครงสร้างข้อมูลหนึ่งๆไปเป็นข้อมูลที่มีหลายโครงสร้างเพื่อสร้างเป็นข้อมูลหลายๆ row
• การอ่านข้อมูลจากพจนานุกรมข้อมูลที่ถูกเก็บไว้ในแหล่งข้อมูล
• การอ่านข้อมูลจากหลายๆแหล่งข้อมูล
• การโหลดรายละเอียดสาหรับสร้าง table
• การรวบรวมข้อมูลหรือ ทาผลสรุปข้อมูลให้กับ tables
• การแปลงข้อมูลจากรูปแบบหนึ่งของข้อมูลไปเป็นอีกรูปแบบหนึ่งของ table
• การรับเอาข้อมูลที่เป็นเป้าหมายจาก field ต่างๆของแหล่งข้อมูล
• การเปลี่ยนข้อมูลที่มีความกากวมให้มีความหมายมากขึ้น

ลักษณะการใช้งาน ETL tool
การใช้งาน ETL tool สามารถแบ่งออกเป็น 2 รูปแบบใหญ่ๆ

1. การดึงข้อมูลจากระบบเก่ามาใช้ในระบบใหม่สำหรับ Migration
2. การดึงข้อมูลจากหลายๆแหล่งมาร่วมกันเพือเตรียมใช้ใน BI

ตัวอย่าง Tool 

Pentaho - http://www.pentaho.com/
Telend - https://www.talend.com/