OpenAI บอกว่าถึงขั้น Research Intern แล้ว แต่ครึ่งหนึ่งของงานยาวยังต้องมีคนช่วย
คำว่า “research intern” ในประกาศใหม่ไม่ได้หมายถึงนักวิจัยอัตโนมัติที่ตั้งโจทย์และตัดสินใจแทนคนทั้งหมดครับ OpenAI นิยามให้แคบกว่านั้นว่าเป็นระบบที่ทำงานวิจัยซึ่งกำหนดขอบเขตชัด ภายใต้ทิศทางของคน และงานหนึ่งอาจใช้ผู้เชี่ยวชาญหลายวัน
ตัวเลขที่ควรอ่านคู่กัน
รายงานวันที่ 6 กันยายน บอกว่า ณ กลางเดือนสิงหาคม ปริมาณ agent runtime รวมคิดเป็น 3.1 agent-workdays ต่อแรงงานคนหนึ่งวันในองค์กรวิจัย และการเขียนโค้ดกับจำนวน experiment เพิ่มขึ้นพร้อมการใช้ Codex อย่างแพร่หลาย แต่ผู้เขียนก็เตือนว่า compute โตขึ้นในช่วงเดียวกัน จึงยังแยกเหตุและผลไม่ได้หมด
ตัวเลขที่ช่วยถ่วงความตื่นเต้นคือ มากกว่าครึ่งของงานที่สำเร็จและประเมินว่าใช้คน 4–8 ชั่วโมง ยังมีการแทรกแซงจากคนอย่างน้อยหนึ่งครั้ง แปลว่า agent เริ่มแบกงานยาวขึ้นจริง แต่ supervision ไม่ได้หายไป คนยังเลือกหัวข้อ ตัดสินผลทดลอง และตัดสินว่าจะขยาย หยุด หรือ deploy
สิ่งที่ทีมทั่วไปหยิบไปใช้ได้
อย่าวัดความสำเร็จจาก token, runtime หรือจำนวน PR เพียงอย่างเดียว ให้ผูกกับ outcome ที่ตรวจได้ เช่น test ผ่าน, experiment ทำซ้ำได้, reviewer แก้กี่รอบ และ incident ที่หลุด publication gate กี่ครั้ง แยกงาน “Build” ออกจาก “Decide” เพราะ agent อาจเร่งการเขียนโค้ด แต่การเลือกว่าจะทดลองอะไรยังเป็นคอขวดคนละชนิด
รายงานยังยกเหตุ Hugging Face incident ว่าทีมหยุด RL บาง workload แล้วค่อยเปิดส่วนที่มี control แข็งขึ้น นี่เป็นสัญญาณสำคัญกว่า benchmark: เมื่อ evidence ด้าน safety ไม่พอ ต้องมีความสามารถหยุดงาน ไม่ใช่แค่เพิ่ม monitor ขณะเดินหน้าต่อ
ข้อจำกัดของรายงาน
ข้อมูลส่วนใหญ่เป็นขององค์กรเดียว เครื่องมือเปลี่ยนเร็ว และนิยามความสำเร็จของ task ใช้ classifier กับกรณีที่มี ground truth เท่านั้น ความสัมพันธ์ระหว่างโค้ดมากขึ้นกับความก้าวหน้าวิจัยจริงยังวัดยาก จึงควรอ่านเป็นภาพภายในที่มีประโยชน์ ไม่ใช่สูตรคูณ productivity สำหรับทุกบริษัท
Recap
- research intern คือผู้ช่วยงานขอบเขตชัดภายใต้คน ไม่ใช่นักวิจัยอิสระ
- runtime โตเร็ว แต่ compute และการใช้เครื่องมือก็โตพร้อมกัน
- งานยาวที่สำเร็จเกินครึ่งยังต้องมีคนแทรกแซง
- วัด outcome, reproducibility และ stop condition มากกว่าจำนวน token