第一次 Vibe Coding 嚴重生產線事故

用 AI agent coding 真的要很小心。今天第一次遇到生產線嚴重事故。

我 paper 被要求進行 major revision。其中一個要求是我的 few-shot experiment 必須多用幾個不同的 seed 來選 few-shot example，所以我就讓 LLM inference pipeline 多跑幾個不同的 few-shot example。

然而，剛剛發現我的 pipeline 在指定的 few-shot 輸入檔不存在的時候，它只會跳 warning，然後自動切換成 zero-shot 繼續跑！ 

幸好我有看 console output 和 log 留好留滿的習慣，才發現了這個產線事故。我馬上 patch 掉程式碼，找不到關鍵 input 就該拋 exception 炸掉，然後看 log 刪掉、重跑所有受污染的實驗結果。

現在還在想怎樣能有效解決 code review 問題。AI 生成的程式碼量大管飽而且 coding style 跟我很不同，加上自己的 harness 部份改善但沒有根治這個問題，很多 bug 也無法一眼看出來。目前想到解決方案是請其他 AI 模型幫我掃描一遍，還有自己看用力一點，但這不是 100% 安全。

AI 時代 code review 好像也是普遍問題。再想想怎麼解。

全文連結