IT weekly journal week 9

Data Warehouse Process

1-    Operational Data +External Data คือข้อมูลจากระบบ Transactional Processing และข้อมูลจากแหล่งภายนอก

2-    Data Staging ประกอบด้วย

·         Extract

·        Clean

·        transform

·        load

รวมเรียกว่า ETL เป็นการคัดแยกข้อมูลเฉพาะในส่วนที่ต้องการใช้ออกมา แล้วจัดเรียงลงใน data cube ซึ่งเป็นการเรียบเรียงข้อมูลของ subject หนึ่งให้อยู่ในหลายมิติ (Dimension) เพื่อประโยชน์ในการวิเคราะห์ต่อไป

3-    Data Warehouse Business Subject  ประกอบด้วย data cube หลายๆ cube

4-    Business View : upload ลง web เพื่อการใช้งานในรูปแบบ dash board สำหรับการใช้งานและการตัดสินใจ

Meta Data  คือข้อมูลซึ่งใช้อธิบายตัว Data  และให้information เกี่ยวกับเนื้อหาของ warehouse

Data Mart

คือ การที่ผู้ใช้คัดลอกข้อมูลจาก data warehouse ในส่วนที่เกี่ยวข้องกับการใช้งานของตน มาไว้ใน Data Mart ด้วยขนาดที่เล็กกว่าจึงทำให้ Data Mart สามารถตอบสนองการใช้งานได้รวดเร็วกว่า และยังเป็นการป้องกันปัญหาการล่าช้า หรือ ระบบล่ม หากผู้ใช้งานทุกคนเข้าไปดึงข้อมูลจาก Data Enterprise โดยตรง

ประเภทของ Data Mart

·        Replicated  คือการคัดลอกข้อมูลเฉพาะส่วนที่ผู้ใช้ต้องการมาจาก Data Warehouse

·        Stand Alone คือ การที่แต่ละแผนกแยกกันสร้าง Data Mart ของตนขึ้นเองก่อน เนื่องจากองค์กรยังไม่สามารถจัดทำ Data Enterprise ได้ จากนั้นเมื่อองค์กรมีความพร้อมแล้วจึงรวบรวม Data Mart ของแต่ละแผนกมาสร้าง Data Enterprise แต่แนวทางนี้กระทำได้ยากมาก

Data Cube คือ ฐานข้อมูลหลายมิติ Multidimensional Databases ซึ่งจัดเก็บข้อมูลต่างๆตาม Dimensionที่กำหนดขึ้น  ซึ่งสามารถให้ queries, slice and dice, roll up, drill down ข้อมูลได้อย่างรวดเร็วยิ่งขึ้น

Business Intelligence

คือ การนำ architecture  tool  ฐานข้อมูลและ Application ต่างๆ ที่ช่วยในการทำงานวิเคราะห์มารวมกัน แบ่งเป็น 3 กลุ่มตาม Function และ Features ดังนี้

1.     Reporting and Analysis - เป็นส่วนออกรายงานให้แก่ผู้ใช้ ซึ่งมีตัวอย่างการออกรายงานต่างๆ เช่น

·        Enterprise Reporting

·        System Dashboards               

·        Scorecard เป็นการประเมินผลและติดตามการดำเนินงาน

·        Visualization tool

2.     Analytics - ใช้วิเคราะห์ข้อมูล 

·        Predictive

·        Data text web mining

·        OLAP

3.     Data Integration

·        ETK

·        EII             

Online Analytical Processing (OLTP)

 เป็นประเภทของซอฟต์แวร์ที่ช่วยให้ผู้บริหารสามารถเข้าถึงข้อมูลในมุมมองเชิงลึกอย่างรวดร็ว consistent และ interactive ซึ่งสามารถปรับเปลี่ยนรูปแบบในการอ่านข้อมูล เช่น จากตารางเป็นรูปกราฟต่างๆ ช่วยให้ผู้บริหารสามารถดึงข้อมูลในมุมมองที่ต้องการด้วยตนเองได้           

Data Mining

Data Mining คือการ extract information ที่ไม่เคยรู้มาก่อนจาก database ขนาดใหญ่เพื่อนำไปใช้ในการตัดสินใจทางธุรกิจ จะต้องทำกับข้อมูลที่มีจำนวนมากถึงแสนหรือล้าน record เพื่อขจัด bias ของข้อมูล จะช่วยให้ข้อมูลประเภท trend หรือ pattern ซึ่งอาจไม่เคยรู้มาก่อน ทั้งนี้ประโยชน์ของ Data Mining ขึ้นอยู่กับผู้ใช้เป็นสำคัญว่าสามารถตีความข้อมูลที่ปรากฎได้มากแค่ไหน

·        Mining Process  รวบรวมข้อมูลจากที่ต่างๆ ทั้ง Warehouse และแหล่งอื่น แล้วทำ ECTLจากนั้นทำ Mining แล้วจึงวิเคราะห์และประมวลผลข้อมูล ส่วนสำคัญอยู่ที่การตีความข้อมูล

·        Yield from Data Mining

o   Clustering  คือการจัดกลุ่มข้อมูล โดยใช้ความสัมพันธ์ของตัวข้อมูลเอง

o   Classification คือการจัดจำแนกข้อมูล โดยผู้ใช้เป็นผู้กำหนดเกณฑ์ในการจำแนก

o   Association ดูผลสืบเนื่องของข้อมูลกลุ่มหนึ่งไปยังอีกกลุ่มหนึ่ง

o   Sequence discovery

o   Prediction

Text Mining 

เป็นการ mining ข้อมูลแบบ Nonstructured เช่น ความคิดเห็นของลูกค้า ซึ่งเครื่องมือนี้จะช่วยในการหา hidden content จากข้อมูลที่ไม่มีรูปแบบ และจับกลุ่มข้อมูลที่มีลักษณะเดียวกันเข้าด้วยกัน

·        Application of text mining  เช่น automatic detect e-mail spam โดยการตรวจสอบ keyword บางคำ หรือการส่งต่อกระบวนการทำงานอย่างอัตโนมัตให้แก่ผู้ที่รับผิดชอบ เช่น โทรศัพท์ตอบรับอัตโนมัติที่ให้กดเบอร์ตามฝ่ายที่ต้องการและจะโอนให้โดยตรง