Wednesday, January 19, 2011

IT weekly journal week 9

Data Warehouse Process
1-    Operational Data +External Data คือข้อมูลจากระบบ Transactional Processing และข้อมูลจากแหล่งภายนอก
2-    Data Staging ประกอบด้วย
·         Extract
·        Clean
·        transform
·        load
รวมเรียกว่า ETL เป็นการคัดแยกข้อมูลเฉพาะในส่วนที่ต้องการใช้ออกมา แล้วจัดเรียงลงใน data cube ซึ่งเป็นการเรียบเรียงข้อมูลของ subject หนึ่งให้อยู่ในหลายมิติ (Dimension) เพื่อประโยชน์ในการวิเคราะห์ต่อไป
3-    Data Warehouse Business Subject  ประกอบด้วย data cube หลายๆ cube
4-    Business View : upload ลง web เพื่อการใช้งานในรูปแบบ dash board สำหรับการใช้งานและการตัดสินใจ

Meta Data  คือข้อมูลซึ่งใช้อธิบายตัว Data  และให้information เกี่ยวกับเนื้อหาของ warehouse
Data Mart
คือ การที่ผู้ใช้คัดลอกข้อมูลจาก data warehouse ในส่วนที่เกี่ยวข้องกับการใช้งานของตน มาไว้ใน Data Mart ด้วยขนาดที่เล็กกว่าจึงทำให้ Data Mart สามารถตอบสนองการใช้งานได้รวดเร็วกว่า และยังเป็นการป้องกันปัญหาการล่าช้า หรือ ระบบล่ม หากผู้ใช้งานทุกคนเข้าไปดึงข้อมูลจาก Data Enterprise โดยตรง
ประเภทของ Data Mart
·        Replicated  คือการคัดลอกข้อมูลเฉพาะส่วนที่ผู้ใช้ต้องการมาจาก Data Warehouse
·        Stand Alone คือ การที่แต่ละแผนกแยกกันสร้าง Data Mart ของตนขึ้นเองก่อน เนื่องจากองค์กรยังไม่สามารถจัดทำ Data Enterprise ได้ จากนั้นเมื่อองค์กรมีความพร้อมแล้วจึงรวบรวม Data Mart ของแต่ละแผนกมาสร้าง Data Enterprise แต่แนวทางนี้กระทำได้ยากมาก

Data Cube คือ ฐานข้อมูลหลายมิติ Multidimensional Databases ซึ่งจัดเก็บข้อมูลต่างๆตาม Dimensionที่กำหนดขึ้น  ซึ่งสามารถให้ queries, slice and dice, roll up, drill down ข้อมูลได้อย่างรวดเร็วยิ่งขึ้น

Business Intelligence

คือ การนำ architecture  tool  ฐานข้อมูลและ Application ต่างๆ ที่ช่วยในการทำงานวิเคราะห์มารวมกัน แบ่งเป็น 3 กลุ่มตาม Function และ Features ดังนี้
1.     Reporting and Analysis - เป็นส่วนออกรายงานให้แก่ผู้ใช้ ซึ่งมีตัวอย่างการออกรายงานต่างๆ เช่น
·        Enterprise Reporting
·        System Dashboards               
·        Scorecard เป็นการประเมินผลและติดตามการดำเนินงาน
·        Visualization tool
2.     Analytics - ใช้วิเคราะห์ข้อมูล 
·        Predictive
·        Data text web mining
·        OLAP
3.     Data Integration
·        ETK
·        EII             

Online Analytical Processing (OLTP)
 เป็นประเภทของซอฟต์แวร์ที่ช่วยให้ผู้บริหารสามารถเข้าถึงข้อมูลในมุมมองเชิงลึกอย่างรวดร็ว consistent และ interactive ซึ่งสามารถปรับเปลี่ยนรูปแบบในการอ่านข้อมูล เช่น จากตารางเป็นรูปกราฟต่างๆ ช่วยให้ผู้บริหารสามารถดึงข้อมูลในมุมมองที่ต้องการด้วยตนเองได้           
Data Mining
Data Mining คือการ extract information ที่ไม่เคยรู้มาก่อนจาก database ขนาดใหญ่เพื่อนำไปใช้ในการตัดสินใจทางธุรกิจ จะต้องทำกับข้อมูลที่มีจำนวนมากถึงแสนหรือล้าน record เพื่อขจัด bias ของข้อมูล จะช่วยให้ข้อมูลประเภท trend หรือ pattern ซึ่งอาจไม่เคยรู้มาก่อน ทั้งนี้ประโยชน์ของ Data Mining ขึ้นอยู่กับผู้ใช้เป็นสำคัญว่าสามารถตีความข้อมูลที่ปรากฎได้มากแค่ไหน
·        Mining Process  รวบรวมข้อมูลจากที่ต่างๆ ทั้ง Warehouse และแหล่งอื่น แล้วทำ ECTLจากนั้นทำ Mining แล้วจึงวิเคราะห์และประมวลผลข้อมูล ส่วนสำคัญอยู่ที่การตีความข้อมูล
·        Yield from Data Mining
o   Clustering  คือการจัดกลุ่มข้อมูล โดยใช้ความสัมพันธ์ของตัวข้อมูลเอง
o   Classification คือการจัดจำแนกข้อมูล โดยผู้ใช้เป็นผู้กำหนดเกณฑ์ในการจำแนก
o   Association ดูผลสืบเนื่องของข้อมูลกลุ่มหนึ่งไปยังอีกกลุ่มหนึ่ง
o   Sequence discovery
o   Prediction
Text Mining 
เป็นการ mining ข้อมูลแบบ Nonstructured เช่น ความคิดเห็นของลูกค้า ซึ่งเครื่องมือนี้จะช่วยในการหา hidden content จากข้อมูลที่ไม่มีรูปแบบ และจับกลุ่มข้อมูลที่มีลักษณะเดียวกันเข้าด้วยกัน
·        Application of text mining  เช่น automatic detect e-mail spam โดยการตรวจสอบ keyword บางคำ หรือการส่งต่อกระบวนการทำงานอย่างอัตโนมัตให้แก่ผู้ที่รับผิดชอบ เช่น โทรศัพท์ตอบรับอัตโนมัติที่ให้กดเบอร์ตามฝ่ายที่ต้องการและจะโอนให้โดยตรง

Friday, January 14, 2011

IT Weekly Journal Week 8

องค์ประกอบของระบบ
·          มีวัตถุประสงค์ objective
·        มีส่วนประกอบของระบบ
·        กระบวนการทำงาน ประกอบด้วย
o   Input
o   Process
o   Output
·        สิ่งแวดล้อม
·        ขอบเขต
·        Control and Feedback
·        ระบบย่อย


ความแตกต่างระหว่าง data vs information
เกณฑ์การจำแนกอยู่ที่ประโยชน์ของ message ดังกล่าว ซึ่งผู้รับสารจะเป็นผู้ตัดสิน หาก สารที่ได้รับก่อให้เกิดการเปลี่ยนแปลงและการตัดสินใจ เกิดประโยชน์ต่อผู้รับสาร สารนั้นจะถือเป็น information หรือ สารสนเทศ

ระบบสารสนเทศ Information system
คือ ระบบที่ผลิตสารสนเทศ ต้องมีลักษณะดังต่อไปนี้
·        มีการรวบรวมข้อมูลจากแหล่งต่างๆเพื่อนำไปประมวลผลหรือวิเคราะห์ เพื่อให้ได้สารสนเทศสำหรับวัตถุประสงค์เฉพาะด้าน
·        และนำเสนอให้แก่ผู้ที่ต้องการสารสนเทศ ซึ่งต้องเป็นผู้ที่มีสิทธิได้รับสารสนเทศดังกล่าว
·        และต้องมีการจัดเก็บ ข้อมูล ที่นำเข้ามาสู่ระบบไว้เพื่อใช้งานในอนาคต
องค์ประกอบของ IS
·          Hardware
·          Software
·          Data
·          Network
·          Procedures
·          People

การแบ่งประเภทของ IS
·        แบ่งตาม function ภายในองค์กร เช่น ระบบสารสนเทศทางบัญชี ระบบสารสนเทศทางการตลาด เป็นต้น
·        แบ่งตามระดับผู้ใช้  เช่น
o   Transaction Processing system
o   Decision support System
o   Executive Support System

Data Management    
เป็นเรื่องที่มีความสำคัญ เนื่องจาก ข้อมูลมีจำนวนมาก แต่เราไม่สามารถเก็บข้อมูลทุกอย่างไว้ได้ ดังนั้นประเด็นสำคัญ คือ ควรจะเลือกเก็บข้อมูลอะไร
การบริหารข้อมูลนั้นเป็นเรื่องยาก เนื่องจาก
·         ข้อมูลมักกระจายตัวอยู่ทั่วองค์กร
·       ข้อมูลอาจเกิดความซ้ำซ้อน เนื่องจากส่วนงานต่างๆมักทำงานเกี่ยวเนื่องกัน
·         ต้องใช้ข้อมูลจากแหล่งภายนอกประกอบการตัดสินใจ
·         ข้อมูลที่ดีต้องมี 3 ลักษณะ คือ security quality และ integrity

จุดประสงค์หลัก คือ การจัดหา infrastructure ซึ่งสามารถเปลี่ยนข้อมูลให้กลายเป็นสารสนเทศที่มีคุณภาพสูงสุดได้
พื้นฐานที่สำคัญประกอบด้วย
·          Data profilling
·          Data quality management
·          Data integration
·          Data augment

Data Life cycle process
·          มีการเก็บรวบรวมข้อมูลใหม่ๆจากหลายแหล่ง
·          มีการจัดเก็บข้อมูลใน database และมีการ format data ใหม่เพื่อเก็บไว้ใน data warehouse เพื่อเอาไปใช้ในการวิเคราะห์ต่อไป
·         Data source
o   Internal data มาจาก TPS โดยข้อมูลที่ได้นั้นจะถูกเก็บไว้ใน database
o   External data จัดหาจากภายนอกเช่นเวปหรือการซื้อ
o   Personal data คือข้อมูลที่บุคคลากรใช้ ซึ่งมักเกิดจากการที่ระบบ TPS นั้นไม่สามารถให้ output ใน format ที่พนักงานต้องการได้

·         Data Analysis
o   เครื่องมือที่ใช้ในการวิเคราะห์ข้อมูล เช่น OLAP, EIS, DSS
o   Data Mining

Data Management Evolution
·        File management  ปัจจุบันหันมาใช้  database แทน
·        Database
·        Data warehousing

Data Warehouse
เนื่องจากข้อมูลนั้นกิดขึ้นกระจัดกระจายอยู่ทั่วทั้งองค์กร และข้อมูลที่จำเป็นต่อการนำมาวิเคราะห์นั้นอาจมาจากหลากหลาย database ซึ่งแต่ละ database นั้นก็มี application หรือ format ที่แตกต่างกัน ดังนั้นการสร้าง Data Warehouse จึงเป็นการเป็นการ extract ข้อมูลบางส่วนมาจาก database โดยเลือกเฉพาะข้อมูลที่ต้องการ โดยข้อมูลดังกล่าวนั้นจะถุกนำมาใช้ใน analytical process ต่อไป ทำให้ในการวิเคราะห์นั้นผู้ใช้ไม่จำเป็นต้องดึงข้อมูลจาก database โดยองค์กรที่ต้องมี data warehouse ต้องเป็นองค์กรที่ผู้บริหารต้องการตัดสินใจโดยอาศัยการวิเคราะห์จากข้อมูลเป็นหลัก

Characteristic of  data warehouse
·        Organization ข้อมูลถูกจัดระเบียบโดยใช้รายละเอียดต่างๆ เช่น ลูกค้า สินค้า เป็นต้น
·        Consistency ข้อมูลจาก database ต่างๆ แม้เป็นเรื่องเดียวกันแต่ถูกจัดเก็บใน format ที่แตกต่างกัน จึงต้องมีการแก้ข้อมูลให้มี format ที่ consistency ใน warehouse เดียวกัน
·        Time variant ต้องการเก็บกี่ปี
·        Non-volatile ไม่มีการเปลี่ยนแปลงทับข้อมูลเดิมใน warehouse ต่างจาก database ที่จะต้องมีการ update เสมอ
·        Relational
·        Client/server

องค์กรที่เหมาะกับการใช้ warehouse
·        มีข้อมูลจำนวนมากที่ผู้ใช้ต้องการ
·        Operation data ถุกเก็บในหลากหลายระบบ
·        ผุ้บริหารต้องหารข้อมูลเพื่อการตัดสินใจ
·        ข้อมูลเรื่องเดียวกัน ถุกเก็บใน format ที่ต่างกัน