การพัฒนาระบบการทดสอบแบบปรับเหมาะหลายขั้นตอนด้วยวิธีออนเดอะฟลายที่มีการสะท้อนข้อมูลย้อนกลับในการทดสอบมาตรฐานวิชาชีพของบุคลากรสาขาไอที

Abstract

การวิจัยครั้งนี้มีวัตถุประสงค์ 1) เพื่อพัฒนาระบบการทดสอบแบบปรับเหมาะหลายขั้นตอนด้วยวิธีออนเดอะฟลายในการทดสอบมาตรฐานวิชาชีพของบุคลากรสาขาไอทีที่มีการสะท้อนข้อมูลย้อนกลับ 2) เพื่อวิเคราะห์ผลการใช้งานและตรวจสอบคุณภาพของระบบ และ 3) เพื่อประเมินระบบ โดยแบ่งการดำเนินงานออกเป็น 3 ระยะ ได้แก่ ระยะที่ 1 การพัฒนาระบบ ระยะที่ 2 การทดลองใช้ระบบ และระยะที่ 3 การประเมินผลระบบ ตัวอย่างที่ใช้ในการวิจัยครั้งนี้คือ ผู้ที่เคยสอบผ่านมาตรฐานวิชาชีพไอที ระดับ IP จำนวน 100 คน และผู้ที่สอบไม่ผ่านมาตรฐานวิชาชีพไอที ระดับ IP จำนวน 100 คน รวมทั้งสิ้น 200 คน เพื่อทดลองใช้งานระบบ เครื่องมือที่ใช้ในการประเมินคุณภาพระบบประกอบด้วย แบบประเมินระบบแบบอิงมาตรฐาน แบบประเมินระบบแบบฮิวริสติค และแบบประเมินความพึงพอใจผู้ใช้งานของอินเตอร์เฟสระหว่างผู้ใช้งานกับคอมพิวเตอร์ สำหรับระบบที่พัฒนาขึ้นเป็นระบบออนไลน์ซึ่งพัฒนาด้วยภาษา PHP ในการวิเคราะห์ข้อมูลใช้สถิติบรรยาย ได้แก่ จำนวน ร้อยละ ค่าเฉลี่ย และส่วนเบี่ยงเบนมาตรฐาน และตรวจสอบความตรงตามโครงสร้างด้วยเทคนิคกลุ่มรู้ชัด ผลการวิจัยสรุปได้ดังนี้ 1.ผลการพัฒนาระบบ พบว่า กระบวนการทำงานที่สำคัญของระบบประกอบด้วย 6 ขั้นตอน ได้แก่ 1) จุดเริ่มต้นในการทดสอบ 2) การประมาณค่าความสามารถของผู้สอบ 3) การคัดเลือกข้อสอบ 4) การควบคุมอัตราการเปิดเผยของข้อสอบ 5) การแบ่งชั้นคลังข้อสอบด้วยค่าอำนาจจำแนก และ 6) จุดยุติการทดสอบ และรูปแบบรายงานผลที่สะท้อนข้อมูลย้อนกลับประกอบด้วยรายงาน 2 รูปแบบ ได้แก่ 1) รายงานสะท้อนข้อมูลย้อนกลับแบบทั่วไปและ 2) รายงานผลการสะท้อนข้อมูลย้อนกลับเพื่อการพัฒนา 2. ผลการวิเคราะห์การใช้งานระบบเพื่อเปรียบเทียบกลุ่มผู้ที่สอบผ่านและผู้สอบไม่ผ่านมาตรฐานวิชาชีพไอที ระดับ IP ด้วยเทคนิคกลุ่มรู้ชัด พบว่า จำนวนขั้นในการทดสอบเฉลี่ย ระดับความสามารถเฉลี่ย และค่าความคลาดเคลื่อนมาตรฐาน เฉลี่ยระหว่างสองกลุ่มมีค่าไม่แตกต่างกัน เนื่องจากในการทดสอบครั้งนี้ไม่ได้เป็นการทดสอบที่มีผลได้ผลเสีย (high stake) กับกลุ่มตัวอย่างในการวิจัย ทำให้ค่าระดับความสามารถทั้งสองกลุ่มใกล้เคียงกัน แต่เมื่อพิจารณา กลุ่มผู้ที่ทำงานในสายงานไอที และไม่ใช่สายงานไอที พบว่า จำนวนขั้นในการทดสอบเฉลี่ย (t=-3.09, p=0.00) ระดับความสามารถเฉลี่ย (t=2.59, p=0.01) และค่าความคลาดเคลื่อนมาตรฐานเฉลี่ย (t=-2.21, p=0.03) สำหรับสองกลุ่มมีค่าแตกต่างกันอย่างมีนัยสำคัญที่ระดับ .05 แสดงให้เห็นว่าระบบสามารถจำแนกกลุ่มผู้มีความสามารถทำงานด้านไอทีสูงกับผู้ที่มีความสามารถทำงานด้านไอทีต่ำได้ ดังนั้นระบบนี้จึงเหมาะสมกับการนำไปคัดเลือกบุคลากรเพื่อเข้าทำงานในสายงานไอที 3. ผลการตรวจสอบคุณภาพระบบก่อนนำระบบไปใช้งานจริงด้วยการประเมินระบบแบบอิงมาตรฐาน พบว่า ผู้เชี่ยวชาญเห็นว่าระบบมีความเหมาะสมทั้ง 4 ด้าน โดยด้านที่มีผลประเมินสูงสุดคือ ด้านความเป็นไปได้ในการนำไปใช้ (M=4.93, SD=0.21) สำหรับผลการประเมินระบบการทดสอบหลังนำระบบไปใช้จริงด้วยแบบประเมินระบบแบบฮิวริสติค พบว่า ความพึงพอใจและการยอมรับปฏิสัมพันธ์กับผู้ใช้งาน มีความเหมาะสมมากที่สุด (M=4.80, SD=0.40) และผลการประเมินความพึงพอใจด้วยแบบประเมินความพึงพอใจระหว่างอินเตอร์เฟสกับผู้ใช้งาน พบว่า การใช้งานของเครื่องมือต่าง ๆ บนหน้าจอมีค่าความพึงพอใจสูงสุด (M=7.81, SD=0.93)