Image Segmentation — การแบ่งส่วนภาพ

หลักการและการเลือกใช้

Segmentation กำหนด label ระดับพิกเซล Semantic segmentation รวมวัตถุประเภทเดียวกัน ส่วน instance segmentation แยกแต่ละชิ้น เหมาะเมื่อรูปร่างหรือพื้นที่สำคัญกว่ากรอบสี่เหลี่ยม

การแบ่งส่วนภาพคล้ายการระบายสีเฉพาะสิ่งที่สนใจ ไม่ใช่แค่วงกรอบ Mask คือแผนที่บอกว่าจุดภาพใดเป็นของเป้าหมาย ถ้าต้องการพื้นที่คราบ การรู้ว่าคราบอยู่ในกรอบใดอาจไม่พอ แต่หากต้องเพียงหาว่ามีเกจหรือไม่ การทำป้ายละเอียดทุกจุดอาจเกินความจำเป็น ควรเริ่มจากสิ่งที่จะใช้รูปร่างตัดสินจริงและความละเอียดที่ภาพรองรับ

Semantic ระบุชนิดแต่ไม่แยกชิ้นของชนิดเดียวกัน ส่วน instance เพิ่มตัวระบุรายชิ้น วิศวกรกำหนดว่าจุดภาพเป็นค่าประเภทหรือคะแนนก่อนตั้งเกณฑ์ และระบุวิธีแปลง mask เป็นมุมหรือพื้นที่ เช่น เลือกส่วนต่อเนื่องที่สัมพันธ์กับจุดหมุน การนับจุดภาพตรง ๆ ไม่ใช่พื้นที่จริงหากอัตราส่วนภาพ มุมมอง หรือระยะถึงวัตถุยังไม่ถูกตรวจ

เลื่อนแผนภาพซ้าย–ขวาเพื่อดูรายละเอียดครบทุกส่วน

ตัวอย่างในบริบทอุตสาหกรรม

ตัวอย่างเชิงออกแบบ: mask เข็มช่วยประมาณแนวแกนจากพิกเซล ขณะที่ mask คราบบนชิ้นงานใช้วัดพื้นที่ ต้องมี calibration หากจะแปลงพื้นที่ภาพเป็นหน่วยจริง

สมมติเงาเข็มถูกระบายรวมกับเข็มจริง พื้นที่ที่ได้ดูต่อเนื่องและมีคะแนนดี แต่เส้นแกนที่คำนวณอาจเอียงไปทางเงา ผู้ตรวจควรเห็นภาพต้นฉบับพร้อม mask และแนวแกน เพื่อแยกว่าปัญหาอยู่ที่ขอบเขตหรือวิธีสรุปรูปร่าง การเลือกลำดับส่วนที่ใหญ่ที่สุดโดยอัตโนมัติอาจเลือกคราบหรือพื้นหลังแทนเข็มที่บางกว่ามาก

สำหรับพื้นที่คราบสมมติบนระนาบเดียวกัน วิศวกรต้องตรวจการแปลงพิกัดและอัตราส่วนความยาวก่อนคำนวณพื้นที่ เพราะพื้นที่ขึ้นกับสเกลในสองทิศ ตรวจรูหรือส่วนขาดใน mask ว่ามาจากวัตถุจริงหรือการกรอง และบอกกติกาการรวมชิ้นเล็กไว้ในรายงาน หากเป็นผิวโค้งหรือระยะต่างกัน ต้องทบทวนแบบจำลอง ไม่ขยายวิธีบนระนาบไปใช้โดยไม่ตรวจสมมติฐาน

ขั้นตอนศึกษาและทดลอง

วิธีประเมินและนิยามผล

วัด IoU หรือ Dice ราย class และตรวจความคลาดเคลื่อนปลายทางของมุมหรือพื้นที่ด้วย พื้นหลังจำนวนมากทำให้ pixel accuracy สูงได้แม้หาเข็มไม่พบ

IoU วัดพื้นที่ซ้อนเทียบกับพื้นที่รวม ส่วน Dice ให้ความสำคัญกับส่วนที่ซ้อนในรูปสัดส่วนอีกแบบ ต้องระบุว่าเฉลี่ยรายภาพหรือรวมจุดภาพทั้งหมดด้วย ผลของเป้าหมายเล็กไม่ควรถูกกลบโดยพื้นหลัง ควรดูขอบที่สำคัญต่อการอ่าน เช่น ปลายเข็ม มากกว่าตัดสินจากความคล้ายของพื้นที่ทั้งภาพเพียงค่าเดียว และแสดงกรณีหาเป้าหมายไม่พบแยกไว้

วิศวกรตรวจผลก่อนและหลังการเติมรูหรือลบส่วนเล็ก เพราะขั้นหลังอาจทำให้ mask ดูเรียบร้อยแต่ลบข้อมูลจริง ทดสอบการคืนขนาด mask กับภาพต้นฉบับและวิธีคำนวณมุมหรือพื้นที่ด้วยข้อมูลที่ตรวจคำตอบได้ หากคะแนนพื้นที่ดีแต่ค่าปลายทางผิด ให้ดูจุดหมุน ขอบสำคัญ และการสอบเทียบ ไม่สรุปว่าต้องเพิ่มโมเดลโดยไม่ตรวจขั้นแปลงผล

ข้อจำกัดและกรณีผิดพลาด

ขอบ mask ขึ้นกับความละเอียดและผู้ทำป้าย การบังบางส่วนไม่ได้ให้ข้อมูลรูปร่างจริงครบ และ mask สวยไม่รับรองความถูกต้องเชิงมาตรวิทยา

ขอบที่คลุมเครือในภาพทำให้ผู้ทำป้ายต่างกันได้อย่างสมเหตุสมผล ต้องมีนิยามว่าใช้ขอบใน ขอบนอก หรือสถานะไม่แน่ใจ ไม่บังคับให้ทุกจุดมีคำตอบที่ดูแน่นอน หากวัตถุถูกบัง การต่อรูปร่างเป็นสมมติฐานของวิธี ไม่ใช่สิ่งที่เห็นโดยตรง ควรบอกส่วนที่คาดเติมแยกจากส่วนที่มีหลักฐาน เพื่อไม่ให้ผู้ใช้เข้าใจพื้นที่ที่อนุมานเป็นพื้นที่ที่วัดได้ครบ

Mask ละเอียดเพิ่มงานทำป้ายและทรัพยากรประมวลผล ขณะที่ลดความละเอียดอาจทำให้เป้าหมายบางหาย ควรเลือกตามความผิดที่งานยอมรับได้และความไม่แน่นอนของคำตอบอ้างอิง การใช้แนวทางมาตรวิทยาช่วยจัดองค์ประกอบความคลาด ไม่ใช่หลักฐานว่าเครื่องมือหรือผลิตภัณฑ์ผ่านการรับรอง และต้องไม่ใช้ภาพที่ขาดรายละเอียดเพื่อรายงานขนาดจริงอย่างเกินหลักฐาน

รายการตรวจสอบก่อนนำไปใช้

• เป้าหมายบางพอยังเห็นหลัง resize หรือไม่
• ขอบคลุมเครือมีเกณฑ์ตัดสินหรือไม่
• ตรวจชิ้นส่วน mask ที่ไม่ควรเชื่อมกันหรือไม่

เอกสารอ้างอิงและอ่านต่อ

• Ronneberger et al. — U-Net
• He et al. — Mask R-CNN