解題大師
考卷試跑計畫
先用六份題目卷驗證 App 能否完整辨識、逐題作答並量測成本,再決定是否擴大到小一至國三。以解題能力驗證為本輪範圍,批改手寫作答另立測試。
先批准小跑,再決定擴量
第一階段只準備,不啟動模型。六卷先導的建議支出上限為 NT$3,000,先跑兩頁校正輸入流程與用量歸屬,成功後才跑完六卷。暫不採購其他市售卷;曾老師的試卷尚未收到,取得後獨立做校卷盲測。
115 上學期期末第一批
來源為學習王的單元練習卷。題目卷 6 份與對應解析卷 6 份已分開保存;只核對解析檔完整性,尚未開卷。網站不附原卷或答案。
| 編號 | 年級/科目 | 題目卷範圍 | 頁數 |
|---|---|---|---|
| G5-M | 小五/數學 | 整數四則運算 | 2 |
| G5-N | 小五/自然 | 水溶液與酸鹼性 | 2 |
| G5-S | 小五/社會 | 第 3-1 節 | 2 |
| G6-M | 小六/數學 | 圓周長與扇形周長 | 3 |
| G6-N | 小六/自然 | 大地變動、岩石與土壤 | 2 |
| G6-S | 小六/社會 | 第 3-1 節 | 2 |
| 合計 | 13 | ||
這批只代表小五、小六的三科單元卷,不能證明全學段、全科或真實段考卷的表現。
用實際 App 做盲測
鎖定樣本與題目底稿
保留原始 PDF、頁序與檔案雜湊。只看題目卷,先登記大題、題號、子題、圖表與跨頁題組;逐一標明應作答的單位。解析卷由核對人員獨立持有。
先跑兩頁校正流程
用指定測試身分操作現行 App。拍題入口接受圖片,先將題目頁轉成清晰頁圖;挑一頁有多題與一頁有圖表。記錄 App 版本、模型與執行 ID,驗證漏題可以定位、用量可以歸屬。如遇跨頁題組而 App 無法保留完整關聯,先標限制,不當成整卷支援。
完成六卷第一輪並封存輸出
每頁依序提交,保留原頁、題號、狀態、畫面可見答案與用量。必要重試獨立記錄,保留首跑失敗;不加提示答案,不用解析卷引導生成。先把完整輸出凍結,再交給核對人員。
開解析卷,逐題核對
對照原題號與子題,區分漏題、未完成、經核對錯答、等值答案、解析歧義與解說錯誤。解析有疑義交老師裁定,錯題修正後用另外一批未見樣本驗證,首輪結果不重寫。
按缺口擴到小一至國三
先盤點現有 PDF 的年級 × 科目 × 學期 × 考次,去重並標示缺解答和來源。九年級各至少兩份代表卷後,再評估全庫跑一次;另取不同學校已考畢、附解答的校卷驗證。只有現有來源補不到的版面或題型才考慮採購。
每卷一列,問題可追到原題
漏題與未解分開
漏題率=App 未辨識的應答單位/人工底稿全部單位。已辨識但無解答另計未完成,頁面送出失敗也獨立記錄。
用兩個分母看解題
已答正確率=正確題/可判定且有回答的題;整體答對覆蓋=正確題/全部應答單位。另列錯答題號、錯誤類型及證據。
分開記首跑與重試
以卷號、頁碼及題目/執行 ID 串接模型用量,分列首跑、重試、人工核對時間。用量缺失列待核,不記成零。
主管擴量判斷
建議先達到 13 頁都有處理結果、至少 95% 應答單位被辨識,且不能有未解決的跨頁漏題、題號錯配或其他關鍵錯誤;已答正確率建議 ≥95%。六卷結果僅供先導決策。
報告欄位:卷號|處理頁數|原卷題數|漏題|未完成|錯答|待裁定|執行耗時|首跑成本|重試成本|總成本|證據。
總上限 NT$25,000
| 用途 | 使用條件 | 上限 |
|---|---|---|
| 六卷先導 | 輸入校正、模型呼叫、人工初驗 | 3,000 |
| 既有 PDF 批次 | 確認流程與單卷成本後才擴量 | 7,000 |
| 老師校卷與複核 | 補校卷、核對答案及判定歧義 | 10,000 |
| 少量補卷 | 只補盤點後的缺口;目前不採購 | 1,000 |
| 重測與預備 | 修正後重測及未預期成本 | 4,000 |
| 新臺幣合計 | 25,000 | |
每卷的模型成本按該卷所有可歸屬的請求,使用執行當日、該模型的實際計費規則及換算匯率計算;輸入、輸出、快取或其他計費項分列,帳單可對上時再標實付。模型費與人工費分開。若量測推算批次會超過 NT$7,000,先縮小批次或再核定,不把全量寫成已承諾。
成功保存的題目與解題結果會進自有資料庫
使用站健康端點確認目前使用專用 MongoDB。程式與既有驗收顯示:伺服器受理後保存題目與題圖;已提交的解題進度、分步解說、對話和批改也各自保存。這些紀錄屬於使用者資料,並不自動加入共用題庫。
- 題目進資料庫,不等於解題成功:辨識待確認、失敗、中斷的題目可能已存在,但沒有最終解答。
- 解題成功,不等於畫面已看到:測試要分別核對伺服器結果與 App 畫面;用同一題目 ID 重新打開結果驗證。
- 保留不等於可永久取回:尚未送出的本機草稿、未完成提交的結果不算已落庫;移除或失去訪客授權後,列表可能不再顯示。
本次六卷只下載,沒有上傳 App、呼叫模型或新增解題資料;沒有實測成本與正確率。正式先導時才逐卷留存題目 ID、解題狀態及用量。
先導完成後再提擴量
操作人員整理題目底稿、送卷與保留輸出;老師/複核人員持有解析卷、標註對錯與歧義;主管確認首輪差異、用量與預算後決定擴量。交付物為六卷報告、逐題錯誤明細、重測優先序與九年級缺口表。取得真實校卷前不把練習卷結果當校卷驗收。