ระดับเนื้อหา: Overview / Implementation considerations
หลักการและการเลือกใช้
การเตรียม dataset จัดวงจรตั้งแต่เก็บข้อมูล แบ่งชุด ทำป้าย ไปถึงเวอร์ชันที่ทำซ้ำได้ ต่างจาก annotation ซึ่งเน้นคำตอบรายตัวอย่าง ต้องแบ่งชุดก่อนขั้นตอนที่อาศัยสถิติจากข้อมูลเพื่อป้องกัน leakage
ชุดข้อมูลเป็นทั้งภาพ คำตอบ และข้อมูลประกอบที่บอกว่ามาจากไหน การจัดแฟ้มเพียงอย่างเดียวจึงไม่พอ Train ใช้เรียนพารามิเตอร์ validation ใช้เลือกวิธีหรือเกณฑ์ และ test ใช้ตรวจผลเมื่อเลือกแล้ว Leakage คือข้อมูลที่ไม่ควรรู้ระหว่างพัฒนาไหลมาให้ระบบรู้ ทำให้คะแนนดูดีแต่ไม่สะท้อนภาพใหม่ที่ใช้งานจริง เช่น ภาพติดกันแทบเหมือนกันอยู่คนละชุด
วิศวกรต้องกำหนดหน่วยที่แยกให้ตรงสิ่งที่จะใช้งานใหม่ หากต้องใช้กับกล้องใหม่ ควรกันกล้องตามขอบเขตที่ประกาศ ไม่เพียงสุ่มภาพ Manifest คือรายการแฟ้มและข้อมูลเวอร์ชันที่สร้างชุดซ้ำได้ ส่วน hash ช่วยตรวจเนื้อหาแฟ้มเปลี่ยน ต้องเก็บคู่กับคำตอบและวิธีเตรียม ไม่ใช้ชื่อแฟ้มอย่างเดียวเป็นหลักฐานว่าชุดทดสอบยังเหมือนเดิมหลังแก้ข้อมูล
เลื่อนแผนภาพซ้าย–ขวาเพื่อดูรายละเอียดครบทุกส่วน
ตัวอย่างในบริบทอุตสาหกรรม
ตัวอย่างเชิงออกแบบ: ภาพต่อเนื่องของเกจเดียวกันถูกจัดกลุ่มตาม device และ session แล้วกันอุปกรณ์หรือช่วงเวลาเป็น test ไม่สุ่มเฟรมติดกันข้าม train/test
สมมติหนึ่ง session หรือช่วงบันทึกมีภาพเข็มตำแหน่งใกล้กันจำนวนมาก ถ้าสุ่มแยกทีละภาพ ระบบอาจเห็นเกือบทุกสภาพในช่วงฝึกแล้ว การกันทั้งช่วงช่วยตรวจภาพที่ไม่ซ้ำบริบท แต่ยังต้องถามว่ากล้องและเรือนเดียวกันเหมาะกับข้อสรุปที่ต้องการหรือไม่ ไม่กล่าวว่าการกันช่วงเวลาหนึ่งพิสูจน์การใช้กับโรงงานใหม่ซึ่งแสงและวัสดุต่างกันทั้งหมด
วิศวกรตรวจภาพใกล้ซ้ำก่อนแบ่งและรักษากลุ่มอุปกรณ์กับ session ในรายการชุด จากนั้นคำนวณการปรับสเกลเฉพาะ train แล้วนำค่าที่ล็อกไปใช้กับอีกสองชุด หากแก้ label ต้องออกเวอร์ชันใหม่และตรวจว่าการเทียบผลใช้คำตอบชุดเดียวกัน การคัดภาพเสียต้องมีเหตุผลและจำนวน ไม่ย้ายภาพที่โมเดลตอบยากออกจาก test เพียงเพื่อให้ผลตรงเป้าหมาย
ขั้นตอนศึกษาและทดลอง
- 1 เก็บภาพดิบพร้อมแหล่งที่มา เวลา และสิทธิ์ใช้
- 2 ตรวจภาพซ้ำและกำหนด group split ตามโจทย์ deployment
- 3 ทำ manifest ที่ระบุไฟล์ hash label version และ preprocessing ที่เรียนจาก train
วิธีประเมินและนิยามผล
ตรวจสัดส่วน class และสภาพแสงของแต่ละชุด พร้อมทดสอบว่าไม่มีอุปกรณ์หรือภาพใกล้ซ้ำข้ามขอบเขตที่ประกาศไว้ บันทึกจำนวนที่ตัดออกและเหตุผล
สัดส่วนที่ต่างระหว่างชุดอาจเป็นปัญหาหรือเป็นสิ่งที่ตั้งใจทดสอบ ต้องอธิบายเหตุผล ไม่บังคับให้ทุกชุดเท่ากันโดยไม่มีบริบท ควรตรวจว่ากลุ่มสำคัญมีจำนวนพอให้รายงานแยกหรือยังไม่พอ และระบุสิ่งที่ไม่ได้ครอบคลุม พร้อมตรวจสิทธิ์และข้อมูลระบุตัวบุคคลก่อนเผยแพร่ เพราะการแบ่งชุดถูกต้องไม่ได้แก้ข้อจำกัดด้านการใช้ภาพ
วิศวกรสร้างชุดซ้ำจาก manifest และตรวจ hash กับคำตอบก่อนรันผล เปรียบเทียบตัวระบุและความคล้ายภาพข้ามชุดตามหน่วยที่ประกาศ แล้วตรวจขั้นที่เรียนสถิติว่าไม่อ่าน test หากใช้การตรวจหลายรอบเพื่อเลือกโมเดล ชุดนั้นอาจกลายเป็นชุดพัฒนาแล้ว ต้องกันข้อมูลอิสระใหม่สำหรับข้อสรุปสุดท้าย ไม่ใช้คำว่า test ตามชื่อแฟ้มแทนความเป็นอิสระของกระบวนการ
ข้อจำกัดและกรณีผิดพลาด
การแยกตาม device ไม่รับรองการทนต่อโรงงานใหม่ หากฉากและกล้องยังเหมือนเดิม ข้อมูลอนาคตและสถิติ test ต้องไม่ถูกใช้เลือกโมเดล
การกันกลุ่มช่วยลดการจำบริบทแต่ลดข้อมูลที่ใช้ฝึก และบางกลุ่มอาจมีชนิดเกจเฉพาะทำให้การเปรียบเทียบยาก ควรวางแผนเก็บให้ครอบคลุมก่อน ไม่แก้ด้วยการย้ายภาพกลับเพราะผลต่ำ หากข้อมูลมีเพียงแหล่งเดียว ต้องรายงานข้อจำกัดนั้นตรงไปตรงมา และไม่กล่าวว่าการแยกชุดที่ทำได้พิสูจน์ความทนต่อทุกแหล่งข้อมูลที่ยังไม่เคยตรวจ
ข้อมูลและคำตอบเปลี่ยนตลอดการพัฒนา การเก็บเวอร์ชันเพิ่มภาระพื้นที่และการดูแลแต่ช่วยย้อนตรวจผลได้ ควรมีผู้อนุมัติการเปลี่ยนนิยามและประวัติการคัดออก ไม่ให้คำตอบจากโมเดลที่กำลังประเมินกลายเป็นคำตอบอ้างอิงโดยไม่ตรวจอิสระ แนวทางเตรียม dataset เป็นกระบวนการออกแบบ ไม่ใช่ข้อยืนยันว่าข้อมูลใดผ่านมาตรฐานหรือผลิตภัณฑ์จัดการเวอร์ชันให้อัตโนมัติแล้ว
รายการตรวจสอบก่อนนำไปใช้
- สร้าง split ซ้ำจาก manifest ได้หรือไม่
- validation แยกจาก test จริงหรือไม่
- การแก้ label สร้างเวอร์ชันใหม่หรือไม่