ประเมินการค้นหาภาพ: วัดคำตอบ ไม่ใช่แค่โมเดล

1. นิยามความเกี่ยวข้องระดับเหตุการณ์

ชุดประเมินการค้นหาต้องมีหน่วยตัดสินชัดเจน สำหรับวิดีโอใช้ขอบเขตเหตุการณ์และช่วงหลักฐานที่ระบุ ไม่ใช่นับทุกเฟรมใกล้กันเป็นความสำเร็จเพิ่ม กำหนดว่าผลตรวจจับทับกัน สายติดตามขาด และการเห็นซ้ำผูกเป็นเหตุการณ์เดียวอย่างไร ภาพย่อที่ดูดีหรือคะแนนเวกเตอร์สูงไม่ใช่ป้ายความเกี่ยวข้อง ผู้ตรวจต้องมีวิดีโอที่ได้รับสิทธิ์เพียงพอสำหรับดูคุณลักษณะที่ถามกับความสัมพันธ์พร้อมกัน

สำหรับ “หาผู้หญิง เสื้อแดง ถือกล่อง เวลาประมาณ 13:00” ผลเกี่ยวข้องต้องผ่านช่วงเวลาที่ยืนยัน มีเสื้อแดงของบุคคลที่เกี่ยวข้อง และบุคคลนั้นถือกล่องเดียวกัน ประเภทบุคคลเป็นคำบรรยายการแสดงออกที่ปรากฏตามที่ผู้ใช้ระบุ ไม่ใช่หลักฐานอัตลักษณ์ทางเพศหรือเพศ ห้ามอนุมานลักษณะที่ได้รับการคุ้มครองหรือตัวตน และไม่ใช้ผลไม่แน่นอนลงโทษอัตโนมัติ ระบุเงื่อนไขที่มีหลักฐาน ขัดแย้ง หรือไม่ทราบ พร้อมการตรวจทานเมื่อหลักฐานไม่พอ

2. สร้างคำตอบอ้างอิงโดยไม่รั่วไหลจากเฟรมคล้าย

สร้างชุดคำถามที่มีทั้งคำขอทั่วไป เวลากำกวม การปฏิเสธ การบัง ความสัมพันธ์ชวนสับสน และกรณีไม่มีผลตรงจริง กำหนดวันที่ เขตเวลา และหน้าต่างประมาณจากการตีความที่ผู้ใช้ยืนยัน ไม่ใช่สมมติฐานผู้ประเมิน คำตอบอ้างอิงควรระบุวิดีโอที่มีให้ดูและส่วนที่สังเกตไม่ได้ ใช้คู่มือกำกับ ตรวจอย่างอิสระเมื่อเหมาะสม และกระบวนการแก้ความเห็นต่าง เพราะป้ายกำกับของคนก็ผิดได้

แยกชุดพัฒนาและทดสอบตามกล้องและวัน โดยเก็บเฟรมติดกันกับช่วงเหตุการณ์ที่เกี่ยวข้องในส่วนเดียวกัน หากทำได้เพิ่มสถานที่หรือสภาพที่ไม่ใช้พัฒนาโดยไม่อ้างว่าแทนทุกการติดตั้ง ปรับเกณฑ์ ความลึกรายชื่อ และค่าผสานกับชุดพัฒนาแล้วตรึงวิธีทดสอบ บันทึกรุ่นโครงสร้าง ตัวตรวจจับ ตัวติดตาม เวกเตอร์ และตัวจัดอันดับใหม่ เพื่อไม่เข้าใจผิดว่าการเปลี่ยนป้ายหรือเตรียมภาพคือการค้นคืนดีขึ้น

• รวมกรณีเสื้อแดงไม่มีกล่อง กล่องแดงข้างคนอื่น และความสัมพันธ์ถือที่ถูกบังจนประเมินไม่ได้
• รวมเงื่อนไขปฏิเสธ ข้อสังเกตไม่ทราบ ค่าตัวเลข invalid และศูนย์ที่ถูกต้องเป็นกรณีแยกกัน
• รวมคำขอที่ขาดวันที่หรือเขตเวลา ซึ่งต้องหยุดให้ยืนยัน ไม่เลือกวันเองโดยเงียบ
• รักษาการแยกกล้องและวัน ระบุข้อยกเว้น และใช้คำตอบอ้างอิงระดับเหตุการณ์แทนการนับเฟรมซ้ำ

3. วัดคุณภาพค้นคืนและเวลาของกระบวนการทั้งหมด

Recall@K คือจำนวนเหตุการณ์เกี่ยวข้องที่ค้นได้ใน K ผลแรกที่ไม่ซ้ำ หารจำนวนเหตุการณ์เกี่ยวข้องในชุดข้อมูลที่ตัดสินและเข้าเกณฑ์ ส่วน Precision@K หารจำนวนเหตุการณ์เกี่ยวข้องในตำแหน่งเหล่านั้นด้วย K โดยนับตำแหน่งที่ขาดเมื่อรายชื่อสั้นกว่า K เป็นผลไม่เกี่ยวข้อง เช่น K=5 แต่คืนเหตุการณ์เกี่ยวข้องเพียงหนึ่งผล จะได้ Precision@K เท่ากับ 1/5=0.2 ไม่ใช่ 1.0 ส่วน precision เฉพาะผลที่คืนเป็นอีกตัวชี้วัดและต้องใช้ชื่อแยก หากไม่มีเหตุการณ์เกี่ยวข้อง recall จะนิยามไม่ได้ ให้รายงานคำถามกลุ่มนี้แยกพร้อมจำนวน ไม่แทนด้วยคะแนนที่ดูดี

วัดเวลาตั้งแต่ส่งคำถาม ผ่านการตีความ ตรวจสิทธิ์ ค้นคืน ผสาน จัดอันดับใหม่ จนหลักฐานพร้อมตรวจ รายงานการกระจายและจำนวนหมดเวลาหรือล้มเหลว ไม่ใช่เฉพาะเวลารันโมเดล คำตอบเร็วขึ้นแต่ผู้สมัครครอบคลุมน้อยลงอาจทำ recall ตก เปรียบเทียบโครงสร้างอย่างเดียว เวกเตอร์อย่างเดียว และแบบผสมภายใต้ข้อมูลที่มีสิทธิ์กับข้อจำกัดบังคับที่ยืนยันเหมือนกัน พร้อมบอกการนับความสัมพันธ์ไม่ทราบและผลตรงบางส่วน

{
  "evaluation_unit": "unique_event",
  "split_keys": ["camera_id", "source_day"],
  "metrics": ["Recall@K", "Precision@K", "end_to_end_latency"],
  "precision_at_k_denominator": "K",
  "missing_positions": "non_relevant",
  "zero_relevant_recall": "undefined_report_separately",
  "states": ["no_match", "restricted_scope", "incomplete_index", "source_unavailable"],
  "versions": ["schema", "detector", "tracker", "embedding", "reranker"]
}

4. ประเมินสถานะไม่พบผลและความครบของดัชนี

ผลว่างอาจหมายถึงไม่มีผลเข้าเกณฑ์ ขอบเขตค้นถูกจำกัดด้วยสิทธิ์ ดัชนีไม่ครบ หรือหลักฐานต้นทางใช้ไม่ได้ ต้องทดสอบแยกกัน หน้าค้นหาควรสื่อข้อจำกัดที่เกี่ยวข้องโดยไม่เผยว่าเหตุการณ์ที่ถูกซ่อนมีอยู่หรือไม่ สิทธิ์ต้องจำกัดการค้นคืนและจัดอันดับผู้สมัครทุกแขนง และตรวจใหม่ตอนเปิดวิดีโอ การปฏิเสธสิทธิ์ไม่ใช่ความผิดพลาดความเกี่ยวข้องที่แก้ด้วยการผ่อนการเข้าถึง

ทดสอบข้อมูลมาช้า ช่วงวิดีโอขาด การตัดซ้ำ เวกเตอร์เก่า และรุ่นเหตุการณ์ที่ประมวลผลใหม่ ตรวจว่าไม่สับสนเวลาถ่ายกับเวลามาถึง และไม่ถือรหัสติดตามเฉพาะขอบเขตเป็นตัวตนบุคคล ตรวจข้อจำกัดเวลา กล้อง และช่วงค่าทุกขั้น ผลเชิงความหมายที่อยู่นอกช่วงยืนยันคือผลผิดแม้ดูน่าเชื่อ ส่วนค่า null หรือ invalid ต้องไม่ผ่านเงื่อนไขในฐานะศูนย์โดยเด็ดขาด

5. ประเมินขอบเขตความเป็นส่วนตัวและวงจรชีวิตข้อมูลต่อยอด

ทำแผนที่ว่าสื่อ ฟิลด์เหตุการณ์ เวกเตอร์ บันทึกคำค้น และผลในแคชใดถูกเก็บ เพื่อวัตถุประสงค์อะไร และนานเท่าใดตามแบบที่ใช้ ลดการเก็บที่ไม่จำเป็นและไม่เปลี่ยนการค้นคำบรรยายเป็นการอนุมานลักษณะที่ได้รับการคุ้มครองหรือตัวตน ทดสอบว่าผู้ตรวจมีสิทธิ์เห็นเฉพาะหลักฐานเหมาะสม บันทึกและไฟล์ส่งออกประเมินอาจเผยข้อมูลส่วนบุคคลได้ จึงต้องควบคุมสิทธิ์และลดข้อมูลนอกหน้าวิดีโอด้วย

ทดสอบการหมดอายุและลบข้ามสื่อต้นทาง ระเบียนเหตุการณ์ ดัชนี เวกเตอร์ และแคช ตรวจว่าหลักฐานที่ลบไม่กลับมาจากงานล่าช้า รายชื่อผู้สมัครที่บันทึก หรือข้อความย่อเก่า บันทึกและตรวจการล้างล้มเหลว ไม่ถือว่าลบไฟล์หลักสำเร็จคือจบทั้งหมด ครอบคลุมสิทธิ์เปลี่ยนระหว่างค้นกับเล่น การถอนสิทธิ์ต้นทาง และตัวอ้างอิงหลักฐานเสีย เหล่านี้เป็นหัวข้อที่ต้องตรวจ ไม่ใช่ข้อผูกพันนโยบายเก็บข้อมูลของผลิตภัณฑ์

6. ตรวจขอบเขตอำนาจและสื่อสารข้อจำกัด

การประเมินความปลอดภัยควรรวมคำค้นเชิงโจมตีและ prompt injection ใน OCR คำบรรยาย หรือหลักฐานที่ค้นได้ ความพยายามเปลี่ยนสิทธิ์ เรียกเครื่องมือ หรือข้ามการตีความต้องยังเป็นเนื้อหาไม่เชื่อถือ ทดสอบการตรวจโครงสร้างและคำสั่งอ่านอย่างเดียวที่ใช้พารามิเตอร์กับรายการอนุญาต แทน SQL ที่สร้างเพื่อรันโดยตรง ตรวจว่าคำอธิบายที่สร้างไม่ให้สิทธิ์ต้นทาง แต่งหลักฐานที่ขาด หรือซ่อนความสัมพันธ์ไม่ทราบด้วยถ้อยคำมั่นใจ

ใช้ NIST AI RMF จัดหมวดคำถามความเสี่ยงและความรับผิดชอบ ไม่อ้างเป็นการรับรองหรือความปลอดภัยทุกกรณี เผยขอบเขตประเมิน ข้อจำกัด กลุ่มสาเหตุผิด และสภาพที่ต้องตรวจทาน ประเมินใหม่เมื่อกล้อง ฉาก โครงสร้าง โมเดล หรือค่าค้นคืนเปลี่ยน AIFacon Detection อยู่ในแผน มีแนวทางตรวจจับ สร้างดัชนี และ NLP ค้นฟิลด์ที่เก็บร่วมกับความหมายภาพหรือวิดีโอ บทความนี้ไม่รายงานผลเปรียบเทียบบริษัท การรับประกันบริการ หรือผลผลิตภัณฑ์ที่ยืนยันแล้ว