ระดับเนื้อหา: Overview / Implementation considerations
หลักการและการเลือกใช้
Grad-CAM แสดงบริเวณที่สัมพันธ์กับคะแนน class ส่วน SHAP และ LIME ประมาณผลของคุณลักษณะภายใต้สมมติฐานของวิธี สิ่งเหล่านี้ช่วยตรวจสอบโมเดล แต่ไม่พิสูจน์เหตุและผลหรือความถูกต้องของคำตอบ
การอธิบายโมเดลช่วยตั้งคำถามว่าระบบอาจอาศัยส่วนใดของข้อมูล Heatmap คือแผนที่สีแสดงระดับตามวิธีคำนวณ ไม่ใช่สิ่งที่โมเดลเห็นด้วยความเข้าใจแบบมนุษย์ ส่วน overlay เป็นภาพซ้อนข้อมูล เช่น แนวเข็มซึ่งอาจตรวจสูตรได้ตรงกว่า ต้องเลือกคำอธิบายตามคำถามผู้ใช้ ไม่ถือว่าภาพสีที่ดูสมเหตุสมผลทำให้คำตอบถูกหรืออธิบายเหตุทางกายภาพได้ครบ
วิศวกรระบุชั้นที่ใช้ใน Grad-CAM หรือ baseline ที่ใช้เปรียบในวิธีคุณลักษณะ Baseline คือสภาพอ้างอิงซึ่งการเลือกมีผลต่อคำอธิบาย SHAP ประมาณส่วนร่วมตามนิยามของวิธี ส่วน LIME ใช้แบบจำลองใกล้จุดที่สนใจ ทั้งสองมีสมมติฐานเกี่ยวกับข้อมูลที่เปลี่ยน ต้องตรวจความเสถียรและไม่ตีความค่าส่วนร่วมเป็นเหตุและผลของกระบวนการโดยไม่มีหลักฐานเพิ่ม
เลื่อนแผนภาพซ้าย–ขวาเพื่อดูรายละเอียดครบทุกส่วน
ตัวอย่างในบริบทอุตสาหกรรม
ตัวอย่างเชิงออกแบบ: ใช้ heatmap ตรวจว่าตัวจำแนกชนิดเกจพึ่งโลโก้แทนหน้าปัด แล้วทดสอบปิดบังโลโก้บนชุดวิเคราะห์ แยกจากการใช้ overlay จุดหมุนและแนวเข็มเพื่ออธิบายตัวอ่านเชิงเรขาคณิต
สมมติแผนที่สีเน้นโลโก้ แต่ยังไม่พอจะสรุปว่าโมเดลใช้โลโก้เพียงอย่างเดียว ต้องทดสอบข้อสงสัยด้วยข้อมูลวิเคราะห์ที่เปลี่ยนอย่างเหมาะสมและดูผลจริง หากการปิดบังทำให้ภาพผิดธรรมชาติ ผลที่เปลี่ยนอาจมาจากสิ่งรบกวนใหม่ ไม่ใช่คำตอบของสมมติฐานเดิม ควรให้ผู้ตรวจเห็นทั้งภาพก่อนหลังและอธิบายข้อจำกัดของการทดลองภาพนี้
วิศวกรเปรียบคำอธิบายกับ failure case หรือกรณีผิดที่มีคำตอบอ้างอิง พร้อมภาพถูกที่คล้ายกัน สำหรับตัวอ่านเชิงเรขาคณิตให้ซ้อนจุดหมุน ปลาย และมุมเพื่อย้อนตรวจสูตรได้ ไม่ใช้ heatmap แทนการแสดงหน่วยกับสเกล เก็บวิธี ชั้น และ baseline คู่กับรุ่นโมเดล เพราะคำอธิบายที่ต่างกันหลังปรับวิธีอาจไม่ใช่พฤติกรรมโมเดลที่เปลี่ยนจริง
ขั้นตอนศึกษาและทดลอง
- 1 เลือกวิธีอธิบายให้ตรงชนิดโมเดลและคำถามผู้ตรวจ
- 2 กำหนด baseline และตรวจความเสถียรเมื่อเปลี่ยนภาพเล็กน้อย
- 3 ให้ผู้ตรวจเทียบคำอธิบายกับ failure case และทดสอบสมมติฐานเพิ่ม
วิธีประเมินและนิยามผล
วัดความคงที่และความสอดคล้องกับการเปลี่ยน input ที่ควบคุม พร้อมทดสอบว่าคำอธิบายช่วยผู้ใช้พบความผิดพลาดจริงหรือเพียงเพิ่มความมั่นใจ
ความคงที่ต้องดูว่าการเปลี่ยนภาพเล็กที่ไม่เปลี่ยนคำตอบทำให้คำอธิบายเปลี่ยนมากหรือไม่ พร้อมระบุชนิดการเปลี่ยนอย่างชัดเจน ประโยชน์ต่อผู้ตรวจควรวัดจากการพบและแก้ความผิด ไม่จากความพึงพอใจหรือความเชื่อเพียงอย่างเดียว ควรมีคำอธิบายของภาพผิดด้วยเพื่อดูว่าช่วยสงสัยผลได้จริง หรือกลับทำให้ผู้ใช้ยอมรับคำตอบผิดเพราะภาพสีดูน่าเชื่อถือ
วิศวกรตรวจการทำซ้ำด้วยรุ่นและการตั้งเดิม รวมภาพที่มีปัจจัยรบกวนซึ่งรู้คำตอบตามขอบเขต ไม่ใช้ภาพทดสอบเลือกวิธีจนคำอธิบายตรงเรื่องที่อยากเล่า หากผลอธิบายขัดกับการเปลี่ยนข้อมูล ให้ทบทวน baseline และสมมติฐาน การอ้างงาน Grad-CAM หรือ SHAP เป็นวิธีสำรวจโมเดล ไม่เป็นหลักฐานความโปร่งใสครบหรือการรับรองความถูกต้องของผลิตภัณฑ์
ข้อจำกัดและกรณีผิดพลาด
heatmap หยาบอาจดูสมเหตุสมผลแม้โมเดลผิด การ perturb ภาพอาจสร้างตัวอย่างนอกธรรมชาติ และคำอธิบายไม่แทน acceptance test
Perturb คือการเปลี่ยนข้อมูลเพื่อสำรวจผล ซึ่งต้องพิจารณาว่ายังเป็นตัวอย่างที่มีความหมายในงานหรือไม่ การแทนส่วนภาพด้วยสีเรียบอาจสร้างขอบที่โมเดลไม่เคยพบ แผนที่อธิบายจึงต้องอ่านอย่างระวัง ไม่สรุปว่าพื้นที่หนึ่งไม่มีความสำคัญเพราะสีอ่อน หรือว่าพื้นที่สีเข้มเป็นสาเหตุจริง ควรใช้หลักฐานหลายแบบและระบุสิ่งที่วิธีนั้นไม่ตอบอย่างตรงไปตรงมา
การอธิบายเพิ่มความสามารถตรวจแต่เพิ่มภาระประมวลผลและการสื่อสาร หากผู้ใช้ไม่เข้าใจสมมติฐาน อาจเกิดความมั่นใจเกินจริง ต้องรักษาการทดสอบยอมรับและเส้นทางคนตรวจแยกจากภาพอธิบาย ตัวอย่างนี้เป็นเครื่องมือวิเคราะห์ที่พิจารณาใช้ได้ ไม่ยืนยันว่าผลิตภัณฑ์มี heatmap หรือคำอธิบายอัตโนมัติแล้ว และไม่ใช้คำอธิบายแทนการตรวจค่า หน่วย เวลา และความปลอดภัยปลายทาง
รายการตรวจสอบก่อนนำไปใช้
- ระบุวิธี ชั้น และ baseline หรือไม่
- แสดงข้อจำกัดของคำอธิบายหรือไม่
- มีภาพผิดที่อธิบายแล้วไม่ทำให้เข้าใจเกินจริงหรือไม่