เริ่มจากคำถามง่าย ๆ: ระบบเห็นอะไรและต้องตอบอะไร
สำหรับคนอ่านหน้าปัด การหาตัวเกจและการอ่านเข็มดูเหมือนเกิดพร้อมกัน แต่ระบบคอมพิวเตอร์ต้องแยกงานเหล่านี้ออกจากกันก่อน หากพบเกจผิดตัว การคำนวณมุมที่ถูกต้องก็ยังให้คำตอบผิดจุดได้ จึงต้องตรวจทั้งตำแหน่งวัตถุ ความหมายของสเกล และข้อมูลประจำเครื่องมือ
AI เรียนรู้รูปแบบจากตัวอย่าง ไม่ได้รู้โดยอัตโนมัติว่าเกจหนึ่งใช้หน่วยใดหรือค่าที่อ่านควรนำไปสั่งงานอะไร ส่วนเรขาคณิตช่วยแปลงตำแหน่งเป็นมุมและค่าได้เมื่อรู้สเกลจริง การใช้สองแนวทางร่วมกันทำให้แยกตรวจแต่ละขั้นและหาสาเหตุเมื่อผลผิดได้ง่ายขึ้น
ในตัวอย่างเกจเชิงเส้น ให้ดูจุดเริ่ม จุดจบ และทิศทางของสเกลก่อนดูตัวเลขที่ระบบแสดง เข็มเดียวกันอาจหมายถึงคนละค่าบนหน้าปัดคนละรุ่น ภาพที่อ่านได้ 42 PSI จึงต้องสอดคล้องกับตำแหน่งเข็มบนสเกลนั้น ไม่ใช่เพียงแสดงข้อความที่ดูสมจริง
เลื่อนแผนภาพซ้าย–ขวาเพื่อดูรายละเอียดครบทุกส่วน
1. แยกปัญหาให้ถูกก่อนเลือกโมเดล
Computer Vision เป็นกลุ่มวิธีตีความภาพ ไม่ใช่อัลกอริทึมเดียว Object Detection หาบริเวณวัตถุ Segmentation แยกพิกเซล Keypoint Detection หาตำแหน่งสำคัญ และ OCR อ่านข้อความ ระบบอ่านเกจอาจใช้หลายวิธีร่วมกับเรขาคณิตแบบดั้งเดิม โดยเลือกจากชนิดสเกลและข้อจำกัดภาพ
เกจเข็มอาจต้องหาศูนย์กลาง ปลายเข็ม และมุมเริ่มจบ ส่วนจอดิจิทัลต้องดูเครื่องหมายลบ จุดทศนิยม และหน่วย การพบกรอบเกจได้ถูกต้องไม่ใช่หลักฐานว่าค่าที่อ่านถูกต้อง NLP หรือ Generative AI ไม่ใช่ส่วนประกอบที่จำเป็นของทุกระบบอ่านเกจ
2. แปลงภาพเป็นค่าที่มีหน่วย
สำหรับสเกลเชิงเส้นที่มุมเพิ่มไปตามทิศเดียวและจัดการจุดตัด 0/360 องศาแล้ว สามารถใช้ v = v_min + (θ − θ_min) / (θ_max − θ_min) × (v_max − v_min) ต้องยืนยันจุดเริ่ม มุมกวาด ทิศทาง และช่วงค่าจากหน้าปัดจริง ไม่ควรใช้สูตรนี้กับสเกล Log หรือสเกลหลายช่วงโดยตรง
มุมกล้องทำให้เกิด Perspective และกระจกอาจสร้างภาพเข็มซ้อน การแก้ภาพต้องมีข้อมูลอ้างอิงเพียงพอ ส่วนเกจที่เสื่อม สเกลลบเลือน หรือไม่ได้สอบเทียบยังมีความคลาดเคลื่อนของเครื่องมือ แม้ AI จะอ่านภาพได้ตรงก็ตาม
3. ชุดข้อมูลและค่าจริงอ้างอิง
- เก็บภาพหลายกะ สภาพแสง ช่วงค่า และอุปกรณ์ รวมกรณีอ่านไม่ได้ด้วย
- เขียนเกณฑ์กำกับข้อมูลให้ผู้ตรวจใช้เหมือนกัน และทบทวนตัวอย่างที่เห็นต่าง
- แยก Train, Validation และ Test ตามเกจ กล้อง และวัน เพื่อลดการรั่วไหลจากเฟรมคล้ายกัน
- ระบุวิธีหาค่าจริงอ้างอิงและความไม่แน่นอนของค่านั้น ไม่ถือว่าป้ายกำกับจากคนถูกเสมอ
- ล็อกชุดทดสอบไว้ก่อนปรับ Threshold และรายงานข้อยกเว้นอย่างเปิดเผย
4. วัดทั้งความถูกต้องและสิ่งที่อ่านไม่ได้
MAE คือค่าเฉลี่ยของค่าสัมบูรณ์ความคลาดเคลื่อน ส่วน Full-Scale Error คือความคลาดเคลื่อนหารด้วยช่วงสเกลแล้วคูณ 100 ควรรายงาน Distribution และกรณีผิดพลาดสูงสุดร่วมด้วย การหารด้วยค่าจริงเพื่อรายงานเปอร์เซ็นต์มีปัญหาเมื่อค่าจริงใกล้ศูนย์
รายงาน Detection Precision/Recall แยกจาก Numerical Error และ Invalid Rate ระบุว่าใช้ตัวอย่างทั้งหมดหรือเฉพาะรายการที่ผ่านเกณฑ์ พร้อมจำนวนตัวอย่างต่อเงื่อนไข ความเชื่อมั่นของโมเดลไม่ใช่ความน่าจะเป็นของความถูกต้องที่ผ่านการสอบเทียบโดยอัตโนมัติ
5. การนำไปใช้และติดตามหลังส่งมอบ
- ตรึงเวอร์ชันโมเดล Preprocessing และการตั้งสเกลให้สอบกลับได้
- วัด latency ทั้ง Pipeline บนฮาร์ดแวร์เป้าหมาย ไม่ใช้ค่า inference จากเครื่องพัฒนาแทน
- ทดสอบใหม่หลัง Quantization เปลี่ยน Runtime เปลี่ยนกล้อง หรือเปลี่ยนความละเอียด
- ติดตามภาพเบลอ แสงเปลี่ยน และ Drift พร้อมตัวอย่างสำหรับให้คนทบทวน
- ส่ง invalid เมื่ออ่านไม่ได้และ stale เมื่อข้อมูลเก่า ห้ามสร้างค่าดูเหมือนสำเร็จ
- ไม่ใช้การอ่านภาพทั่วไปแทนวงจรป้องกันหรือระบบหยุดฉุกเฉินที่ต้องผ่านวิศวกรรมความปลอดภัย
ตัวอย่าง: ความถูกต้องของผลที่ตอบไม่ใช่ความครอบคลุม
สมมติประเมินภาพห้าภาพและยอมรับผลอ่านสามภาพที่มีค่าสัมบูรณ์ความคลาดเคลื่อน 1, 1 และ 4 หน่วย MAE เฉพาะผลที่ยอมรับเท่ากับ (1 + 1 + 4) / 3 = 2 หน่วย ส่วน coverage คือ 3/5 = 60% อีกสองภาพยังเป็น invalid และความคลาดเคลื่อนนิยามไม่ได้ ไม่ใช่ศูนย์ การคำนวณสมมตินี้ใช้อธิบายตัวหาร ไม่ใช่ผลทดสอบผลิตภัณฑ์
คะแนน confidence ของโมเดลที่ 0.9 ไม่ยืนยันว่าผลอ่านถูกต้องด้วยความน่าจะเป็น 90% การปรับเทียบความน่าจะเป็นเปรียบเทียบคะแนนกับผลที่สังเกตบนข้อมูลกันไว้ ส่วนการสอบเทียบเครื่องมือเชื่อมค่าที่วัดกับค่าอ้างอิงและความไม่แน่นอน การเลือก threshold แลกความครอบคลุมของผลที่ยอมรับกับความผิดพลาด ต้องรายงานความสัมพันธ์นี้พร้อมเก็บเงื่อนไขยาก ไม่คัดเฉพาะผลที่ผ่านและดูดี
สำหรับการค้นวัตถุหรือเหตุการณ์ คะแนน detector ความคล้ายภาพกับข้อความ และความลื่นไหลของคำตอบเป็นคนละขั้น ควรศึกษาตัวแทนเวกเตอร์ หลักฐานตามเวลา และการตอบโดยยึดหลักฐานแยกกันก่อนรวมระบบ คำตอบข้อความต้องมีต้นทางที่มีสิทธิ์และช่วงเวลาที่รองรับ ไม่ทำให้ค่าตัวเลข invalid กลายเป็นการสังเกตที่ถูกต้อง
ตีความผลผิดให้ช่วยการปรับปรุงระบบ
ถ้าอ่านผิด ให้ดูภาพกับผลแต่ละขั้นก่อนเปลี่ยนโมเดล เช่น พบหน้าปัดถูกแต่หาปลายเข็มผิด อาจเกิดจากภาพสะท้อน ส่วนปลายเข็มถูกแต่ค่าผิดอาจเกิดจากทิศสเกลหรือการตั้งช่วงวัด การบันทึกเวอร์ชันและค่าตั้งช่วยให้ตรวจซ้ำได้ แทนที่จะอธิบายทุกความผิดว่า AI ไม่แม่น
อย่าลบตัวอย่างที่อ่านไม่ได้ออกจากรายงานโดยไม่มีคำอธิบาย ระบบที่ตอบเฉพาะภาพง่ายอาจมีความคลาดเคลื่อนต่ำแต่ส่งข้อมูลไม่ครบ ผู้ใช้งานต้องเห็นทั้งคุณภาพของผลที่ตอบและสัดส่วนเวลาที่ไม่มีคำตอบ รวมถึงช่วงแสงหรืออุปกรณ์ที่เป็นสาเหตุ
เมื่อเปลี่ยนกล้อง เลนส์ Runtime หรือโมเดล ควรใช้ชุดทดสอบเดิมตรวจการเปลี่ยนแปลงและเพิ่มตัวอย่างจากเงื่อนไขใหม่ การเปรียบเทียบต้องแยกข้อมูลพัฒนาออกจากข้อมูลประเมิน และระบุขอบเขตที่ยังไม่มีหลักฐาน ไม่ขยายข้อสรุปไปถึงทุกหน้าปัดหรือทุกพื้นที่