ระดับเนื้อหา: Overview / Implementation considerations
หลักการและการเลือกใช้
U-Net ใช้ encoder-decoder และ skip connection เพื่อคืนรายละเอียด ส่วน Mask R-CNN หา instance แล้วสร้าง mask รายชิ้น SAM ใช้ prompt ช่วยเลือกวัตถุ แต่ไม่ได้รู้ความหมายตำหนิของโรงงานโดยอัตโนมัติ
ชื่อโมเดลแต่ละแบบหมายถึงวิธีจัดการข้อมูล ไม่ใช่ระดับความเหมาะสมที่เรียงจากเก่าไปใหม่ U-Net รวมข้อมูลภาพกว้างกับรายละเอียดเพื่อคืนคำตอบระดับจุดภาพ ส่วน Mask R-CNN แยกชิ้นก่อนสร้างรูปร่าง SAM รับคำใบ้หรือ prompt เช่น จุดหรือกรอบเพื่อเลือกพื้นที่ การเลือกต้องพิจารณาว่ามีคำตอบและผู้ให้คำใบ้แบบใดในกระบวนการใช้งานจริง
Encoder ย่อข้อมูลเป็นตัวแทน ส่วน decoder คืนข้อมูลสู่ขนาดที่ใช้ทำนาย และ skip connection เชื่อมรายละเอียดจากช่วงก่อนย่อ วิศวกรต้องตรวจหัวส่งออก วิธีใช้ prompt และการคืนพิกัดของแต่ละรุ่นอย่างชัดเจน ความสามารถระบายวัตถุทั่วไปไม่เท่ากับความสามารถแยกคราบที่ถือว่าเป็นตำหนิตามเกณฑ์งาน ซึ่งต้องมีนิยามและข้อมูลยืนยันเพิ่มเติม
เลื่อนแผนภาพซ้าย–ขวาเพื่อดูรายละเอียดครบทุกส่วน
ตัวอย่างในบริบทอุตสาหกรรม
ตัวอย่างเชิงออกแบบ: เปรียบเทียบ U-Net สำหรับเข็มชนิดเดียว Mask R-CNN สำหรับวัตถุหลายชิ้น และ SAM เป็นผู้ช่วยทำป้าย ไม่ใช้ mask ที่เสนอโดย SAM เป็น ground truth โดยไม่ตรวจ
สมมติผู้ทำป้ายคลิกจุดบนเข็มแต่พื้นที่ที่เสนอรวมเงาด้วย ควรตรวจและแก้ก่อนบันทึกเป็นคำตอบ ไม่ยอมรับเพราะขอบดูเรียบ หากต้องคลิกหลายครั้งเพื่อได้ผลที่ใช้ได้ ต้องนับเวลานั้นในต้นทุนทำป้ายด้วย การช่วยทำป้ายเป็นบทบาทหนึ่ง ส่วนการทำงานอัตโนมัติโดยไม่มีคนให้คำใบ้เป็นอีกบทบาทซึ่งต้องประเมินแยก ไม่สรุปผลข้ามกัน
วิศวกรจัดชุดเทียบที่มีภาพและคำตอบเดียวกันแล้วกำหนดสิ่งที่แต่ละวิธีได้รับอย่างโปร่งใส เช่น มีกรอบช่วยหรือไม่ หากใช้ prompt ที่ได้จากตัวตรวจ ต้องรวมความผิดของตัวตรวจในผลปลายทาง บันทึกตำแหน่งคำใบ้ รุ่นน้ำหนัก และการปรับภาพ เพื่อย้อนดูว่า mask เปลี่ยนเพราะโมเดลหรือเพราะข้อมูลช่วย และไม่เลือกคำใบ้จากคำตอบทดสอบที่ระบบจริงไม่มี
ขั้นตอนศึกษาและทดลอง
- 1 กำหนดว่าจะหา class หรือ instance และต้องใช้ prompt จากใคร
- 2 fine-tune หรือปรับวิธีให้เข้ากับแสงและวัสดุจริง
- 3 ทดสอบ domain ใหม่ด้วยชุดแยกโดยไม่แก้ prompt จากคำตอบ test
วิธีประเมินและนิยามผล
เทียบ Dice/IoU รายขนาดวัตถุ เวลา annotation และ latency ภายใต้ภาพและฮาร์ดแวร์เดียวกัน ระบุด้วยว่าเวลาสร้าง prompt รวมอยู่ในผลหรือไม่
ผลพื้นที่ซ้อนควรรายงานแยกเป้าหมายบาง ชิ้นชิดกัน และขอบคลุมเครือ พร้อมตรวจว่ารูปร่างใช้คำนวณงานถัดไปได้จริง การช่วยทำป้ายควรวัดจำนวนครั้งแก้และข้อผิดที่ผู้ตรวจไม่สังเกต ไม่มองเวลาเสนอ mask เพียงอย่างเดียว หากวิธีหนึ่งมีคนช่วยและอีกวิธีทำอัตโนมัติ ต้องอธิบายความต่างของเงื่อนไข ไม่ใช้คะแนนมาเรียงเหมือนรับข้อมูลเท่ากัน
วิศวกรตรวจการทำซ้ำด้วย prompt เดิมและภาพเดิม รวมถึงการแปลงพิกัดเมื่อเปลี่ยนขนาดภาพ ทดสอบวัสดุและแสงที่ไม่ใช้ปรับวิธีก่อนหน้า หากใช้ mask ไปอ่านมุม ให้วัดความต่างของมุมด้วย หากแยกหลายชิ้น ให้ตรวจการสลับตัวระบุ ไม่ปล่อยให้คะแนนพื้นที่รวมซ่อนการรวมสองวัตถุเป็นชิ้นเดียวหรือแบ่งชิ้นเดียวออกเป็นหลายผลซึ่งกระทบการนับและติดตาม
ข้อจำกัดและกรณีผิดพลาด
โมเดลทั่วไปอาจเลือกเงาหรือรอยสะท้อนเป็นวัตถุ Domain adaptation ที่ใช้ pseudo-label ผิดสามารถทำให้ความคลาดเคลื่อนสะสม
Pseudo-label คือคำตอบที่โมเดลสร้างขึ้นเพื่อใช้ฝึกต่อ หากนำผลที่ยังไม่ตรวจมาใช้ ระบบอาจเรียนความผิดเดิมให้มั่นใจขึ้น การปรับเข้ากับขอบเขตใหม่จึงต้องมีคำตอบที่ตรวจโดยอิสระและชุดทดสอบที่ไม่ใช้ปรับ การเปลี่ยนชื่อโมเดลหรือเพิ่มคำใบ้ไม่ช่วยเมื่อรายละเอียดจริงไม่ปรากฏในภาพ ควรระบุสิ่งที่มองไม่เห็นแทนสร้างขอบสมบูรณ์ให้ดูน่าเชื่อถือ
โมเดลหลายบทบาทเพิ่มภาระเวอร์ชัน สิทธิ์ใช้น้ำหนัก และการเชื่อมต่อกับผู้ทำป้ายหรือระบบตรวจ การเลือกวิธีควรดูต้นทุนทั้งกระบวนการและขอบเขตใช้งาน ไม่ถือว่าบทความหรือชุดข้อมูลสาธารณะพิสูจน์ความเหมาะสมกับวัสดุทุกชนิด ผลการทดลองตามแนวทางอ้างอิงเป็นข้อมูลสำหรับตัดสินการออกแบบเท่านั้น ไม่ใช่คำยืนยันว่าผลิตภัณฑ์รองรับโมเดลเหล่านี้แล้ว
รายการตรวจสอบก่อนนำไปใช้
- บันทึก prompt และ weights หรือไม่
- กรณีหลาย instance แยก ID ได้หรือไม่
- มีชุดข้ามโรงงานที่ไม่ใช้ปรับโมเดลหรือไม่