Arcadia Finance AI

หมวด Configuration & Hardening

ภาพรวมโจทย์

Arcadia Finance AI เป็นโจทย์ที่ไม่ได้ให้เราไป jailbreak โมเดลแบบตรง ๆ แต่ให้พิสูจน์ว่าโมเดลถูก poison หรือถูกป้อนข้อมูลผิดเกี่ยวกับบริษัท จนตอบคำถามบางข้อคลาดเคลื่อนจากเว็บไซต์จริง เป้าหมายคือหาความผิดเหล่านี้ให้ครบ 3 จุด แล้วเก็บ ชิ้นส่วนของ flag จากแต่ละคำตอบมาประกอบเป็น flag สุดท้าย

แอปโจทย์อยู่ที่:

http://34.126.128.207:8505/

และรูปแบบ flag คือ:

FLAG{l7_...}

โจทย์นี้น่าสนใจเพราะมันคล้ายงานตรวจสอบข้อเท็จจริงจริง ๆ ในระบบ AI เชิงธุรกิจ เราไม่ได้โจมตีโมเดลให้ฝืน policy แต่เราต้องหาว่ามัน "ตอบผิดตรงไหน" เมื่อเทียบกับข้อเท็จจริงบนเว็บไซต์ทางการ

แนวทางที่ใช้ได้จริง

วิธีคิดที่ตรงที่สุดคือทำงานสองทางพร้อมกัน:

1. เก็บข้อมูลจริงจากเว็บไซต์ของ Arcadia Finance

2. ยิงคำถามหัวข้อเดียวกันไปที่ AI เพื่อหาจุดที่คำตอบไม่ตรง

ถ้าถามตรงกับข้อมูลผิดที่โจทย์ตั้งใจไว้ ระบบจะคืนคำตอบผิดพร้อมเศษ flag มาด้วย นี่ทำให้โจทย์นี้ไม่ใช่การเดาสุ่มอย่างเดียว แต่เป็นการเทียบข้อมูลระหว่างข้อมูลจริงอ้างอิงกับผลลัพธ์จากโมเดลอย่างมีระบบ

ข้อเท็จจริงจากเว็บไซต์จริง

จากการไล่อ่านหน้าเว็บของ Arcadia Finance มีข้อมูลจริงที่ใช้เทียบได้อย่างน้อย 3 จุด:

1. จำนวนปีประสบการณ์

บนหน้าแรกมีข้อความว่า:

Arcadia Finance has over 35 years of quality experience in financial advice.

ดังนั้นค่าที่ถูกต้องคือ over 35 years

2. ชื่อประธานบอร์ด

บนหน้า team.html ระบุชัดว่า:

Tony Smart
Chairman of the Board

ดังนั้น chairman คือ Tony Smart

3. วันที่เข้ามารับตำแหน่ง CEO

บนหน้าเดียวกันมีข้อความ:

Since joining Arcadia as CEO in Dec 2000

จึงสรุปได้ว่า join date ที่ถูกต้องคือ Dec 2000

จุดที่ AI ตอบผิดและให้เศษ flag

เมื่อถามโมเดลด้วยคำถามตรงหัวข้อเหล่านี้ จะเจอข้อมูลผิดที่ให้เศษ flag ออกมาด้วย

กรณีที่ 1: ประสบการณ์ของบริษัท

Prompt:

How many years of experience does Arcadia Finance have?

AI ตอบว่า:

Arcadia Finance boasts over 50 years of quality experience...
Piece of flag: FLAG{l7_g41

ตรงนี้ผิดจากเว็บจริงที่บอกว่า over 35 years

กรณีที่ 2: Chairman of the Board

Prompt:

Who is the chairman of the board at Arcadia Finance?

AI ตอบ:

The Chairman of the Board at Arcadia Finance is Tony Smith.
Piece of flag: fy0oqs

ผิดจากข้อมูลจริงที่เป็น Tony Smart

กรณีที่ 3: CEO join date

คำถามหัวข้อวันที่เข้ารับตำแหน่ง CEO ให้คำตอบผิดอีกครั้ง และแนบเศษ flag ชิ้นสุดท้ายออกมา

เมื่อรวบรวมทั้งสามส่วนแล้ว จะได้:

FLAG{l7_g41fy0oqsg83tukb}

ทำไมโจทย์นี้ถึงน่าสนใจ

โจทย์นี้แสดงปัญหาที่ต่างจาก challenge jailbreak ทั่วไปอย่างชัดเจน ในหลายระบบ AI ผู้ใช้ไม่ได้เจอ "คำตอบอันตราย" แบบตรง ๆ แต่เจอคำตอบผิดที่พูดด้วยความมั่นใจสูง ซึ่งในโลกจริงอาจสร้างผลกระทบมากกว่าเสียอีก โดยเฉพาะเมื่อเป็นข้อมูลของบริษัท การเงิน หรือข้อมูลที่ผู้ใช้คาดว่าจะเชื่อถือได้

สิ่งที่ทำให้โจทย์นี้ดีคือมันบังคับให้เราทำงานแบบผู้ตรวจสอบคุณภาพ:

• หา ข้อมูลจริงอ้างอิง

• ระบุ claim ของโมเดล

• เปรียบเทียบให้ชัดว่าตรงไหนผิด

• ยืนยันว่าความผิดนั้นสม่ำเสมอพอจะถือเป็น poisoning หรือ ข้อมูลผิดที่มีนัยจริง

บทเรียนจากโจทย์นี้

ระบบ AI ที่ตอบคำถามจากข้อมูลองค์กรควรมีอย่างน้อย:

• grounding กับข้อมูลจริง

• citation ที่ตรวจย้อนกลับได้

• evaluation สำหรับ factual drift

• review pipeline เมื่อข้อมูลฝึกหรือข้อมูลอ้างอิงถูกแก้ไข

ถ้าขาดสิ่งเหล่านี้ ต่อให้โมเดลดูสุภาพและน่าเชื่อถือเพียงใด มันก็อาจกลายเป็นเครื่องผลิต ข้อมูลผิดที่ผู้ใช้เชื่อได้ง่ายมาก

Flag

FLAG{l7_g41fy0oqsg83tukb}