搞很久的文章，終於前天被 JMIR Formative Research 接受了！！！回顧 FB 才發現這文章寫超過一年 QQ
這次有別 2023 年的好運氣。當年需要文章，手上剛好有好題目，正好有資料，剛好大樣本 real-world internal validation 沒人做，剛好 finetuned models 可以直接跑出好結果，所以那篇很快就有結果。
這次一開始就踩坑。因為上次作法嚐到甜頭，這次一樣採用基於 real-world observation 但與現有研究稍微有別的 target task 建立新賽道，避免跟人直球對決（我就廢），針對台灣特有報告寫法做 anomaly detection。少量平衡模擬樣本用 GPT 跑起來效果好，決定做下去，先來標個 10000 份資料（每個資料三個 label），為了標資料還自己做 Tampermonkey script 來 patch 標注程式。
10000 筆資料標完後就發現掉進水溝裡了。我完全沒考慮到真實世界數據極度不平衡會讓模型爛掉，和新冠快篩在低盛行率會篩出一堆 false positive 一樣道理。GPT 在 balanced data 上表現不錯（後來實驗 GPT-4o F1 能達到 0.96），但在 100:1 這種比例下，大模型表現整個拉，GPT-4 mini 當初 F1 score 0.15。Paper 準備進入垃圾桶。回顧文獻也發現，前面用 deep learning 解題的大佬們，benchmark 都默契採用 balanced synthetic data，大家都身法靈動、不約而同閃過這坑，只有 paper 沒仔細念的萌新掉進水裡。
但資料都標了，不想打水漂，加上自己業務經驗，覺得問題有極明顯結構化特徵，不應該做不出來。開始用各種異想天開的方法，從 ML、transformer、LLM，從 supervised 到（自創）unsupervised 方法全部試一遍，最後拯救這篇的竟然是 rule-based，imbalanced data F1 能拉到 >0.850。不過 rule-based 怕不好投稿，又設法把 GPT 加入 pipeline。最後發現 GPT 還是能起到作用，改善 rule-based 的 screening performance 才做出實驗。
投稿一樣不順利，desk reject 連發還沒有理由，最後在 JMIR 才遇到編輯善意提一句：這個研究 too formative，並推薦旗下有 IF 的期刊，文章才能活下來。
但 review 還是繼續蹲廁所，期刊找兩人，其中一位眼光非常毒辣，答起來很難。他認為，我主張模型表現不好是因為 class imbalance，但我沒有充分論證這一點。我必須探討 models 表現不好可能原因有哪些，才能跳到 class imbalanced 的結論。
對完全自學、基礎很差（現在還沒去做 numpy 復現 transformer 呢）的我，這要求有億點難。我就不能把 model 下載回來跑一遍交差就好嗎.jpg
這段時間看了很多資料，複習了統計和入門一點點 casual inference，還好現在有 GPT ，想不出來的問題至少能給關鍵字和概念，知道去哪找資料。期間還發生實驗事故，pipeline 參數有問題，跑的模型一開始就錯所以 Results 要重寫。這次 revision 花五個月，稿子增量 60%，補一大堆實驗和分析。好在期刊編輯非常 nice，對於原始文稿那粗陋的動線，直接給了改善文章的建議（甚至包含該用哪些字當標題！現在回想原本寫法沒被 desk reject 真的是佛心），reviewer 也認可了新實驗，總算文章可以過。
這次研究一大收穫，是發現 GPT 的潛力還可以深挖，以前只把 GPT 當高級翻譯和英修，後來發現它其實也可以模擬毒舌審稿人。只要提供稿子或段落，再用提示詞讓 GPT 扮演嚴格 Q1 期刊審稿人或統計專家，GPT 就會摘掉平常那和和氣氣的面孔，對稿子進行狠狠的終極侮辱。GPT 不保證對，但仍能提供有價值的意見。例如我統計作為外行，一開始文章模型參數點估計，後面竟然沒放標準差，這點就被 GPT 抓出來 highlight。一些 GPT 提示的問題，自己判斷、唸書唸文章後修改，文章品質真的能改善非常多。現在還有 deep research，連研究背景，可研究性都能幫忙了。
我也發現 GPT+Endnote 連動小竅門：有 Endnote citation 的文字很難用 GPT paraphrase，因為會破壞 Endnote 格式。後來發現可以 convert to unformatted citation，請 GPT 不動 citation 的情況下 paraphrase，改出來的結果，只要稍微把 unformatted citation 內的空白改好，竟然可以直接貼回 Word 轉回原本 Endnote citation。發現這招後噴研究計畫噴文章的速度就更快了 :P
這篇小文章，要感謝的人好多，我司本科單位和 AI 單位長官們，被我凹來標了幾百份資料的好同事 QQ。總算這篇能夠劃下句點，剩下的就是搞定 copyediting 跟 publish QQ
全文連結
