โต๊ะตรวจภาพในห้องเขียวเข้มมีภาพถ่ายสามใบไหลผ่านช่องวิเคราะห์ โดยหนึ่งใบซ่อนรอยพับสีอำพันผิดปกติ
aideepseekchina-aivision

DeepSeek V4 Flash Vision Exp: Multimodal มาแล้ว แต่ยังต้องกักใน Sandbox

พี่โชว์Engineering

เมื่อ agent อ่าน screenshot, chart หรือเอกสารได้ มันช่วยลดงานคัดข้อมูล แต่ภาพก็กลายเป็น input ที่โจมตีได้ครับ ข้อความเล็กในภาพอาจสั่งให้โมเดลเปิดไฟล์หรือส่ง secret โดยคนใช้ไม่เห็น นี่คือเหตุผลที่การเพิ่ม vision ต้องเพิ่มรั้ว ไม่ใช่แค่เพิ่ม content block

DeepSeek บันทึกใน changelog วันที่ 21 สิงหาคม 2026 ว่าเปิดโมเดล deepseek-v4-flash-vision-exp บน API โดยความสามารถ text ใกล้กับ V4 Flash และเพิ่มงาน agent ที่ต้องเข้าใจภาพ ชื่อมีคำว่า Exp ชัด จึงควรถือเป็น experimental แม้ endpoint ใช้งานได้แล้ว

WHY: ภาพคือข้อมูลและคำสั่งพร้อมกัน

Vision guide รองรับ JPEG, PNG, GIF และ WebP ผ่าน base64, URL ภายนอก หรือ Files API แต่ละวิธีมี trust boundary ต่างกัน Base64 ทำให้ client คุม bytes ได้แต่ request ใหญ่ URL สะดวกแต่เปิดเส้นทางให้ provider ดึง resource และ Files API เพิ่ม lifecycle ของไฟล์ที่ต้องลบ

ก่อนส่งให้ normalize format, จำกัด pixel/bytes, strip metadata และทำ malware scan ตามชนิดงาน ห้ามให้ URL จากผู้ใช้เข้าถึง private hostname, cloud metadata หรือ signed URL อายุยาว ใช้ allowlist/proxy ที่บล็อก redirect ไปเครือข่ายภายใน

HOW: แยกการอ่านภาพจากการลงมือทำ

turn แรกให้โมเดลสรุปสิ่งที่เห็นเป็น schema ที่กำหนด เช่นชนิดเอกสาร field และ confidence โดยไม่มี tool เขียนไฟล์หรือเรียก network จากนั้น validator ตรวจค่าและมนุษย์ยืนยันรายการเสี่ยงก่อน turn ที่สองทำ action

สำหรับ screenshot ที่มี prompt แปลก ให้ถือข้อความทั้งหมดเป็นข้อมูลที่ไม่เชื่อถือ บอกโมเดลชัดว่าอย่าทำตามคำสั่งในภาพ แต่ต้องมี enforcement ฝั่ง tool ด้วย: workspace read-only, network off, no secrets และ approval สำหรับ write การพึ่ง prompt อย่างเดียวไม่ใช่ sandbox

ทดสอบชุดภาพสะอาด ภาพเบลอ ภาพหมุน ภาษาไทย ตัวเลขคล้ายกัน และภาพที่ซ่อน instruction วัด field accuracy กับ false action ไม่ใช้ benchmark จากผู้ผลิตแทน workload ของเรา และตรึง model name เพราะรุ่นทดลองอาจเปลี่ยน behavior

ความเสี่ยงคงเหลือ

โมเดลอาจ hallucinate ข้อความหรือกราฟ มองข้ามรายละเอียดเล็ก และผลจาก URL ภายนอกเปลี่ยนได้ระหว่างตรวจ การส่งภาพให้บริการภายนอกยังมีประเด็น data residency กับ retention ต้องอ่านสัญญาบริการของบัญชีจริงก่อนใช้ข้อมูลลูกค้า

Recap

  • ยอมรับสถานะ experimental ตามชื่อรุ่น
  • normalize และสแกนไฟล์ก่อนส่ง
  • proxy URL และบล็อก private network/redirect
  • แยก extraction read-only จาก action
  • ใช้ schema, confidence และ human review กับงานเสี่ยง

เริ่มจากภาพสังเคราะห์ที่ไม่มีข้อมูลจริงและปิด tool ทั้งหมด แล้วสร้างชุดทดสอบ prompt injection ในภาพก่อนเชื่อมระบบครับ