測試集＝詐騙者本人打的字（PTT 使用者截圖 ＋ 165 官方圖卡，逐字轉錄）｜ 2026-07-28 · 每晚自動重算
這一頁先前掛的是 98.5% 辨識率、2.4% 誤報。那是 in-domain 數字 —— 測試題和考古題出自同一批公開資料集 （對岸垃圾簡訊、LLM 生成的社交工程對話）。我們拿真實的台灣詐騙訊息去考，才發現那個分數不成立。
辨識 0%
帳面 98.5%，但拿台灣詐騙訊息實測，連「你的帳戶涉及洗錢案件，請配合監管」都判成正常、機率 1.00。它學到的是對岸簡訊與英文詐騙信的樣子。
辨識 99%
加入 1,187 句台灣判決書還原話術、102 則真實詐騙訊息，以及 5 萬句真人繁中對話當對照組重訓。102 則真實訊息漏 1 則。
為什麼會差這麼多：分數是被「對照組」決定的。舊評測拿對岸垃圾簡訊當「正常訊息」， 模型只要學會「這是不是台灣人講話」就能拿高分。換成真實台灣正常對話一測，立刻現形。
| 測試集 | 內容 | 數量 | 來源 |
|---|---|---|---|
| 真實詐騙訊息 | 簡訊／LINE／私訊／電郵原文，一字未改 | 102 則 | PTT 使用者貼的截圖 ＋ 165 官方宣導圖卡，逐字轉錄 |
| 真人正常對話 | 繁體中文日常對話 | 3,060 句 | 公開繁中字幕語料，未參與訓練 |
| 難負樣本 | 刻意夾帶帳戶／包裹／驗證碼／匯款等詐騙共用詞的正常訊息 | 60 句 | 人工撰寫，未參與訓練也未參與規則挖掘 |
難負樣本為什麼重要：「媽，我今天晚一點回去」「銀行帳戶的自動扣繳我設定好了」這種話， 早期版本會直接判成詐騙。誤報比漏抓更容易讓人關掉防護，所以我們刻意寫最容易誤判的正常訊息來考自己。
| 判定方式 | 真實詐騙訊息 辨識率 | 真人正常對話 誤報率 | 難負樣本 誤報率 |
|---|---|---|---|
| 語意模型（fastText） | |||
| 專家規則（YAML） | |||
| 兩者融合（實際行為） |
片語與加權關鍵字。能說出「為什麼判定是詐騙」，可遠端即時更新。規則只從真實詐騙訊息挖 —— 我們試過從 AI 改寫的話術挖 379 條，對真實訊息只命中 12%；改從真實訊息挖，28 條就到 92%。
char-level 量化模型，6.9MB，端上直接跑、訊息不離開裝置。抓字面沒見過的變體。低信心不計分，門檻每晚重新校準。
詐騙話術每月都在變。AegisTrack 每天凌晨自動採集新的真實詐騙訊息 → 重挖規則 → 重訓模型 → 跑驗收閘門，三項指標任一退步就不更新線上：
| 閘門條件 | 要求 |
|---|---|
| 真實詐騙訊息辨識率 | 不得低於線上 −1 個百分點 |
| 難負樣本誤報率 | 不得高於線上 +2 個百分點，且硬上限 15% |
| 真人正常對話誤報率 | 不得高於線上 +1 個百分點 |
閘門量的是端上真正會跑的那顆模型與實際判定門檻，不是訓練用的大模型 —— 這兩者行為差很多，我們吃過一次虧。
我們把推翻自己舊數據的過程留在這一頁，因為反詐騙產品最怕的就是拿漂亮但不成立的分數說服自己。
| 來源 | 內容 | 用途 |
|---|---|---|
| 司法院裁判書 | 1,489 篇詐欺刑事判決 → 856 篇一審有罪 → AI 還原話術，逐卡人工規格稽核 | 台灣詐騙正樣本 |
| 真實詐騙訊息 | PTT 使用者截圖 ＋ 165 官方圖卡，逐字轉錄 | 正樣本 ＋ 驗收測試集 |
| 165 反詐騙公開通報 | 2017–2026 年公告 | 手法歸納 |
| 繁中對話語料 | 公開字幕語料 5 萬句 | 正常對話對照組 |
| 公開研究資料集 | Fraud-R1（社交工程對話）、中文 SMS 標註語料 | 基礎泛化 |
情報採集與每日更新由 AegisTrack 供給