ห้องทดลองสีเขียวเข้มมีตาชั่งงาน ทางเดิน agent ใต้ไฟตรวจ และถัง compute โดยมีทางแยกสีอำพันหลุดจากลำแสงหนึ่งจุด
anthropicai-governanceagentsmetrics

Anthropic เสนอ 3 ตัวชี้วัดเปิดไฟใน Frontier Lab: Automation, Oversight, Compute

พี่โชว์Engineering

เวลาคนถามว่า frontier AI เดินเร็วแค่ไหน เรามักได้คำตอบเป็นคะแนน benchmark รุ่นล่าสุด แต่คะแนนปลายทางไม่บอกว่าในห้องวิจัยมี agent ทำงานแทนคนกี่ส่วน, ทุก action ถูกตรวจหรือไม่ และ compute ไหลไปพัฒนาความสามารถหรือ safety เท่าไร Anthropic เสนอเมื่อ 17 กันยายน ให้รายงานสามชุดตัวชี้วัดเหล่านี้ต่อสาธารณะครับ

ตัวเลขที่รายงาน

ชุดแรกคือ R&D Automation Index แบ่งงานจากไม่มี AI ไปจนถึง autonomous เต็มรูปแบบ Anthropic ระบุว่า ณ สิงหาคม 2026 Claude “นำ” งาน AI R&D 26% และงานระดับ collaborates ขึ้นไปมากกว่า 90% แต่ยังไม่มี subset ที่ fully autonomous

ชุดที่สองวัด oversight: coverage, review latency และ escalation rate บริษัทระบุว่ามี agent วิจัย/วิศวกรรมราว 30,000 ตัวทำงานพร้อมกันบน platform ที่วัด ทุก action ผ่าน online monitor ก่อน execute และเข้า offline monitor ภายหลัง จากกว่าพันล้าน decision ในเดือนนั้น online monitor บล็อกราว 0.002% ส่วน offline monitor ส่งประมาณ 50 เคสสำคัญต่อสัปดาห์ให้คน review

ชุดที่สามดู compute ช่วงหนึ่งสัปดาห์ในเดือนกรกฎาคม บริษัทประเมินว่า compute สำหรับ AI R&D ราว 6% ไปที่ safety และในส่วน AI-driven AI R&D ราว 12% ไปที่ safety ตัวเลขนี้จงใจ conservative แต่ก็เป็น snapshot ไม่ใช่แนวโน้มระยะยาว

ทำไมยังไม่ควรอ่านเป็น Scoreboard

ข้อมูลส่วนใหญ่เป็น self-report และ pipeline ใช้ Claude ช่วยจัดหมวดงาน, transcript และ workload จึงมีโอกาสที่ judge model แชร์จุดบอดกับระบบที่มันประเมิน ตะกร้างานถูก freeze จากช่วงหนึ่งเพื่อเทียบข้ามเวลา แต่การเกิดงานชนิดใหม่อาจทำให้ index ไม่สะท้อนภาพทั้งหมด

คำว่า coverage 100% หมายถึง action ผ่าน monitor ไม่ได้แปลว่า monitor ตรวจพบอันตราย 100% ส่วน blocking rate ต่ำอาจเกิดจาก agent ดี, classifier พลาด หรือ policy แคบ ต้องมี independent red team และเผย false-negative test ร่วมด้วย Anthropic บอกว่าจะฝังผู้ประเมินอิสระหลายองค์กรให้เข้าถึงระบบและข้อมูลระดับใกล้เคียงทีม risk ภายใน—ตรงนี้เป็น commitment ที่ควรติดตามว่ากลายเป็นผลตรวจสาธารณะหรือไม่

สำหรับทีมทั่วไป กรอบนี้นำมาใช้ได้ทันที: นับสัดส่วนงานที่ agent ทำจบเอง, coverage ของ policy enforcement, เวลาจาก flag ถึงคนตัดสิน และงบ compute/cost สำหรับ validation แยกจาก generation อย่าใช้จำนวน tool calls หรือ PR ที่ agent เปิดเป็นตัวแทน productivity อย่างเดียว

Recap

  • วัด automation, oversight และ compute allocation แยกกัน
  • อ่านเปอร์เซ็นต์พร้อมขอบเขตเวลา platform และวิธีจัดหมวด
  • coverage ไม่เท่ากับ effectiveness ต้องมี false-negative test
  • ต้องมีผู้ตรวจอิสระก่อนใช้ self-report เปรียบเทียบข้าม lab ครับ