ช่วงนี้ตั้งใจว่าจะเป็นบทความ What is? สักชุดหนึ่ง วันนี้ก็มีอีกเรืองคือ
ETL Tool คืออะไร
ก่อนจะรูู้จัก เราต้องมารู้ก่อนว่า ETL ย่อมาจาก Extract, transform, and load คือการดึงข้อมูลจาก Data Source ต่างๆ เข้าสู่ Data Warehouse ดังนั้น
- Extract คือ การสกัดข้อมูล การดึงข้อมูลจากแหล่งข้อมูลที่แตกต่างกัน
- Transform คือ การนำข้อมูลที่ได้มาจากการ Extract มาจัดรูปแบบให้ถูกต้อง
- Load คือ การนำข้อมูลที่ผ่านการ Transform แล้ว เข้าสู่ Data Warehouse(data mart, database)
ETL ส่วนมากจะนิยมใช้ในระบบ integrate data จากหลายๆแอพพลิเคชั่น ด้วยเฉาะพัฒนาจากหลายๆผู้ขาย หรือจากหลายๆแหล่งติดตั้งที่แตกต่างกัน
สถาปัตยกรรมของ ETL
1. การสกัดโดยใช้งาน staging area คือหลังจากเลือกข้อมูลบางส่วนจากแหล่งข้อมูล จะทำการโอนข้อมูลไปยัง staging area จากนั้นข้อมูลจะถูกประมวลผลก่อนส่งไปยังคลังข้อมูลอีกที
2. การสกัดโดยใช้หน่วยความจำ การสกัดของมูลบางส่วนจากแหล่งข้อมูล แล้วทำการเปลี่ยนแปลงข้อมูลในหน่วยความจำ แล้วจึงส่งไปยังคลังข้อมูลอีกที
Server architecture |
ประกอบด้วย 3 ขั้นตอนการทำงานหลักคือ การสกัดข้อมูล การเปลี่ยนแปลงข้อมูล และการโอนถ่ายข้อมูล แต่แท้จริงยังสามารถแจ้งรายละเอียดได้ดังต่อไปนี้
- การวางแผนสาหรับการรวมรวมข้อมูล
- การกาหนดกฎสาหรับการเปลี่ยนแปลง/เปลี่ยนรูปและการทาความสะอาด
- การสร้างกฎในการสกัดข้อมูล
- การเตรียมการเชื่อมโยงข้อมูลจากแหล่งข้อมูล
- การรวบรวมข้อมูลจากแหล่งข้อมูลต่างๆ ทั้งแหล่งข้อมูลภายในและภายนอก
- การกาหนดข้อมูลทั้งหมดที่ต้องการเก็บไว้ในคลังข้อมูล
- การรวมโครงสร้างข้อมูลจากหลายแหล่งข้อมูลไปเป็นข้อมูลเพียง row เดียว
- การแยกโครงสร้างข้อมูลหนึ่งๆไปเป็นข้อมูลที่มีหลายโครงสร้างเพื่อสร้างเป็นข้อมูลหลายๆ row
- การอ่านข้อมูลจากพจนานุกรมข้อมูลที่ถูกเก็บไว้ในแหล่งข้อมูล
- การอ่านข้อมูลจากหลายๆแหล่งข้อมูล
- การโหลดรายละเอียดสาหรับสร้าง table
- การรวบรวมข้อมูลหรือ ทาผลสรุปข้อมูลให้กับ tables
- การแปลงข้อมูลจากรูปแบบหนึ่งของข้อมูลไปเป็นอีกรูปแบบหนึ่งของ table
- การรับเอาข้อมูลที่เป็นเป้าหมายจาก field ต่างๆของแหล่งข้อมูล
- การเปลี่ยนข้อมูลที่มีความกากวมให้มีความหมายมากขึ้น
การใช้งาน ETL tool สามารถแบ่งออกเป็น 2 รูปแบบใหญ่ๆ
- การดึงข้อมูลจากระบบเก่ามาใช้ในระบบใหม่สำหรับ Migration
- การดึงข้อมูลจากหลายๆแหล่งมาร่วมกันเพือเตรียมใช้ใน BI
ตัวอย่าง Tool

No comments:
Post a Comment