GANs — Generative Adversarial Networks

หลักการและการเลือกใช้

GAN ฝึก generator สร้างตัวอย่างแข่งกับ discriminator ที่แยกข้อมูลจริงและข้อมูลสร้าง ใช้เสริมความหลากหลายภาพได้ แต่การดูสมจริงไม่ได้รับรองความถูกต้องของโครงสร้างหรือ label

Generator คือส่วนสร้างภาพ ส่วน discriminator คือส่วนเรียนแยกภาพจริงกับภาพสร้าง การแข่งขันช่วยให้ภาพมีลักษณะใกล้ข้อมูลที่ใช้ฝึก แต่ไม่ได้บังคับให้ตัวเลขบนหน้าปัดสัมพันธ์กับมุมเข็มอย่างถูกต้อง ภาพที่ดูเหมือนเกจจึงอาจมีสเกลที่ขัดกัน ต้องมองเป็นวัตถุดิบสำหรับทดลอง ไม่ใช่ภาพวัดจริงหรือหลักฐานว่าเหตุการณ์นั้นเกิดขึ้น

วิศวกรต้องนิยามส่วนที่ยอมให้สร้างและความสัมพันธ์ที่ต้องรักษา เช่น เปลี่ยนฉากแต่ไม่เปลี่ยนหน่วยหรือปลายเข็ม หากผลสร้างเปลี่ยนรายละเอียดที่ใช้เป็นคำตอบ ต้องแก้คำตอบใหม่หรือคัดออก ไม่ใช้ label เดิมโดยอัตโนมัติ การตรวจควรมีทั้งความซ้ำ ความผิดรูป และความถูกต้องขององค์ประกอบเฉพาะงาน โดยเก็บที่มาของภาพสร้างแยกจากภาพจริงเสมอ

เลื่อนแผนภาพซ้าย–ขวาเพื่อดูรายละเอียดครบทุกส่วน

ตัวอย่างในบริบทอุตสาหกรรม

ตัวอย่างเชิงออกแบบ: จำลองลักษณะคราบหรือสภาพแสงเพื่อเสริมชุดฝึกตัวตรวจภาพเกจ โดยตรวจว่าตำแหน่งเข็ม ตัวเลข และจุดทศนิยมไม่ถูกแก้โดยการสร้างภาพ

สมมติสร้างภาพแสงสะท้อนเพื่อฝึกตัวตรวจอ่านไม่ได้ แต่โมเดลสร้างเพิ่มเส้นคล้ายเข็มอีกเส้น ภาพนี้ไม่ได้เปลี่ยนเพียงแสงตามที่ตั้งใจ ต้องตรวจว่ายังตอบคำถามฝึกเดิมได้หรือไม่ หากไม่มีหลักฐานว่ารูปแบบนั้นเกิดได้ในขอบเขตงาน ควรแยกเป็นกรณีศึกษาความไว ไม่นำไปกล่าวว่าแทนความผิดจริงของเครื่องมือหรือการใช้งานได้ครบ

วิศวกรสร้างชุดทดลองที่มีภาพจริงล้วนเป็นฐาน แล้วเพิ่มภาพสร้างเฉพาะส่วนฝึกโดยกันภาพจริงทดสอบไว้เดิม ตรวจผลแยกสภาพที่ตั้งใจเสริม เช่น ฝ้าหรือแสงสะท้อน พร้อมภาพที่เคยอ่านได้เพื่อดูผลเสีย หากคะแนนดีขึ้นเพียงบนภาพสร้าง ต้องไม่สรุปว่าการใช้จริงดีขึ้น และตรวจว่าภาพต้นทางที่ใช้สร้างไม่รั่วจากชุดทดสอบเข้าไปในกระบวนการ

ขั้นตอนศึกษาและทดลอง

วิธีประเมินและนิยามผล

ใช้ผล task ปลายทางบนภาพจริงเป็นหลัก พร้อมตรวจความหลากหลายและความสัมพันธ์กับข้อมูลต้นฉบับ คะแนน FID เพียงอย่างเดียวไม่ยืนยันว่าอ่านเกจได้ดีขึ้น

FID เป็นคะแนนเปรียบการกระจายตัวแทนภาพตามวิธีที่กำหนด ไม่วัดว่าหน่วยหรือจุดทศนิยมถูกต้องทุกภาพ ควรตรวจตัวอย่างสร้างโดยผู้รู้เกณฑ์งานและรายงานจำนวนที่คัดออก พร้อมเหตุผล ความหลากหลายต้องครอบคลุมองค์ประกอบที่เกี่ยวกับการอ่าน ไม่ใช่เพียงเปลี่ยนสีพื้นหลังหลายแบบแล้วนับว่าได้ข้อมูลใหม่จำนวนมาก

วิศวกรเปรียบเทียบผลฝึกหลายเงื่อนไขโดยล็อกข้อมูลจริงทดสอบและเกณฑ์ตัดสิน ตรวจความผิดรายกลุ่มและภาพใหม่ที่ไม่เกี่ยวกับต้นทางเดิม หากมีประโยชน์เฉพาะกลุ่มหนึ่ง ต้องระบุขอบเขต ไม่รวมเป็นคำรับรองทั่วไป ตรวจภาพใกล้ต้นฉบับเพื่อสำรวจการจำข้อมูลด้วย เพราะการสร้างภาพที่แทบซ้ำไม่เพิ่มหลักฐานอิสระและอาจมีความเสี่ยงเผยข้อมูลที่ไม่ได้ตั้งใจ

ข้อจำกัดและกรณีผิดพลาด

mode collapse ลดความหลากหลาย generator อาจจดจำข้อมูลฝึกและสร้างตำหนิที่ผิดฟิสิกส์ ภาพสร้างไม่ใช่หลักฐานเหตุการณ์ในโรงงาน

Mode collapse คือการสร้างวนอยู่กับรูปแบบจำกัด แม้สุ่มหลายครั้งก็ได้เนื้อหาคล้ายกัน การเพิ่มจำนวนแฟ้มจึงไม่เท่ากับเพิ่มความครอบคลุม ต้องตรวจองค์ประกอบที่เปลี่ยนจริงและความสัมพันธ์กับข้อมูลต้นทาง หากใช้ภาพที่มีข้อมูลส่วนบุคคลหรือข้อมูลลับ ต้องพิจารณาสิทธิ์และการเปิดเผยก่อนฝึกหรือส่งต่อ ไม่ถือว่าภาพผ่านการสร้างใหม่แล้วปลอดจากเงื่อนไขเดิม

ข้อมูลสร้างช่วยทดลองสิ่งที่เก็บยากได้บางส่วน แต่เพิ่มภาระตรวจคำตอบและแยกที่มา อาจทำให้ตัวตรวจเรียนรอยเฉพาะของกระบวนการสร้างแทนสิ่งผิดปกติจริง จึงควรใช้ภาพจริงยืนยันเสมอและไม่สร้างข้อสรุปด้านความปลอดภัยจากภาพสังเคราะห์ล้วน การอ้างงาน GAN เป็นคำอธิบายแนวทางวิจัย ไม่ใช่ข้อยืนยันว่าผลิตภัณฑ์มีบริการสร้างภาพหรือผลปรับปรุงที่วัดแล้ว

รายการตรวจสอบก่อนนำไปใช้

• เก็บ provenance และสิทธิ์ภาพต้นทางหรือไม่
• label หลังสร้างยังถูกหรือไม่
• ภาพสังเคราะห์ถูกกันออกจาก test จริงหรือไม่

เอกสารอ้างอิงและอ่านต่อ

• Goodfellow et al. — Generative Adversarial Networks
• Gebru et al. — Datasheets for Datasets