← Workshop ทั้งหมด

Jev Workshop: ให้ AI ตรวจงานบอทตอบแชทก่อนถึงมือลูกค้า

คัดแยก ตรวจคำตอบ และตั้งด่านใน CI ด้วย Jev ใน 4 บทเรียน · 4 บทเรียน

ตอนที่ 1-2: รู้จัก Jev และคัดแยกแชท

1

Jev Workshop #1: รู้จัก Jev โมเดลที่ไม่พูดสักคำ แต่ตอบเป็น type ให้โค้ดใช้ต่อได้ทันที

เริ่ม workshop ใช้ Jev จาก TypeSafe AI ผ่าน Vercel AI Gateway ตรวจงานบอทตอบแชทลูกค้า บทแรกเรียก experimental_evaluate ครั้งแรก ถามคำถาม Choice, Boolean, Score กับข้อความภาษาไทย อ่านค่าใช้จ่ายจาก metadata และเจอ 403 แรกที่ทุกคนต้องเจอ

2

Jev Workshop #2: คัดแยกแชทลูกค้าด้วยความน่าจะเป็น และรู้ว่าเมื่อไหร่ต้องส่งให้คน

เอาข้อความลูกค้าภาษาไทย 16 ข้อความที่ติดป้ายเองมาวัดว่า Jev คัดแยกถูกแค่ไหน ตั้งเกณฑ์ความน่าจะเป็นต่อ action เขียนเทสแบบไม่ต้องต่อเน็ตด้วย mock evaluation model และเทียบกับ LLM classifier ตัวเดิม

ตอนที่ 3-4: ตรวจคำตอบบอท และด่านใน CI

3

Jev Workshop #3: ให้ Jev ตรวจคำตอบของบอทก่อนส่งถึงลูกค้า

ให้ LLM ราคาถูกร่างคำตอบภาษาไทย แล้วให้ Jev ถามสามข้อก่อนส่ง: ตอบตรงคำถามไหม สัญญาเกินนโยบายร้านไหม และน้ำเสียงเหมาะกับแชท LINE ไหม พร้อมส่งนโยบายร้านเข้าไปใน state เพื่อให้ตรวจได้จริง

4

Jev Workshop #4: ด่านตรวจใน CI และเทียบโมเดลถูก-แพงแบบคุ้มต่อบาท

บทจบของ Jev workshop — สร้างชุดคำตอบมาตรฐานที่คนตัดสินไว้แล้ว ให้ Jev ตรวจทุกครั้งที่มี PR แก้ prompt ถ้าเห็นตรงกับคนน้อยกว่าเกณฑ์หรือปล่อยคำตอบแย่หลุด ให้ CI ล้ม พร้อมเทียบโมเดลร่างคำตอบสองตัวว่าผ่านด่านกี่ข้อต่อเงินที่จ่าย และตั้ง budget แยกให้ key ของ CI