搞很久的文章,終於前天被 JMIR Formative Research 接受了!!!回顧 FB 才發現這文章寫超過一年 QQ
這次有別 2023 年的好運氣。當年需要文章,手上剛好有好題目,正好有資料,剛好大樣本 real-world internal validation 沒人做,剛好 finetuned models 可以直接跑出好結果,所以那篇很快就有結果。
這次一開始就踩坑。因為上次作法嚐到甜頭,這次一樣採用基於 real-world observation 但與現有研究稍微有別的 target task 建立新賽道,避免跟人直球對決(我就廢),針對台灣特有報告寫法做 anomaly detection。少量平衡模擬樣本用 GPT 跑起來效果好,決定做下去,先來標個 10000 份資料(每個資料三個 label),為了標資料還自己做 Tampermonkey script 來 patch 標注程式。
10000 筆資料標完後就發現掉進水溝裡了。我完全沒考慮到真實世界數據極度不平衡會讓模型爛掉,和新冠快篩在低盛行率會篩出一堆 false positive 一樣道理。GPT 在 balanced data 上表現不錯(後來實驗 GPT-4o F1 能達到 0.96),但在 100:1 這種比例下,大模型表現整個拉,GPT-4 mini 當初 F1 score 0.15。Paper 準備進入垃圾桶。回顧文獻也發現,前面用 deep learning 解題的大佬們,benchmark 都默契採用 balanced synthetic data,大家都身法靈動、不約而同閃過這坑,只有 paper 沒仔細念的萌新掉進水裡。
但資料都標了,不想打水漂,加上自己業務經驗,覺得問題有極明顯結構化特徵,不應該做不出來。開始用各種異想天開的方法,從 ML、transformer、LLM,從 supervised 到(自創)unsupervised 方法全部試一遍,最後拯救這篇的竟然是 rule-based,imbalanced data F1 能拉到 >0.850。不過 rule-based 怕不好投稿,又設法把 GPT 加入 pipeline。最後發現 GPT 還是能起到作用,改善 rule-based 的 screening performance 才做出實驗。
投稿一樣不順利,desk reject 連發還沒有理由,最後在 JMIR 才遇到編輯善意提一句:這個研究 too formative,並推薦旗下有 IF 的期刊,文章才能活下來。
但 review 還是繼續蹲廁所,期刊找兩人,其中一位眼光非常毒辣,答起來很難。他認為,我主張模型表現不好是因為 class imbalance,但我沒有充分論證這一點。我必須探討 models 表現不好可能原因有哪些,才能跳到 class imbalanced 的結論。
對完全自學、基礎很差(現在還沒去做 numpy 復現 transformer 呢)的我,這要求有億點難。我就不能把 model 下載回來跑一遍交差就好嗎.jpg
這段時間看了很多資料,複習了統計和入門一點點 casual inference,還好現在有 GPT ,想不出來的問題至少能給關鍵字和概念,知道去哪找資料。期間還發生實驗事故,pipeline 參數有問題,跑的模型一開始就錯所以 Results 要重寫。這次 revision 花五個月,稿子增量 60%,補一大堆實驗和分析。好在期刊編輯非常 nice,對於原始文稿那粗陋的動線,直接給了改善文章的建議(甚至包含該用哪些字當標題!現在回想原本寫法沒被 desk reject 真的是佛心),reviewer 也認可了新實驗,總算文章可以過。
這次研究一大收穫,是發現 GPT 的潛力還可以深挖,以前只把 GPT 當高級翻譯和英修,後來發現它其實也可以模擬毒舌審稿人。只要提供稿子或段落,再用提示詞讓 GPT 扮演嚴格 Q1 期刊審稿人或統計專家,GPT 就會摘掉平常那和和氣氣的面孔,對稿子進行狠狠的終極侮辱。GPT 不保證對,但仍能提供有價值的意見。例如我統計作為外行,一開始文章模型參數點估計,後面竟然沒放標準差,這點就被 GPT 抓出來 highlight。一些 GPT 提示的問題,自己判斷、唸書唸文章後修改,文章品質真的能改善非常多。現在還有 deep research,連研究背景,可研究性都能幫忙了。
我也發現 GPT+Endnote 連動小竅門:有 Endnote citation 的文字很難用 GPT paraphrase,因為會破壞 Endnote 格式。後來發現可以 convert to unformatted citation,請 GPT 不動 citation 的情況下 paraphrase,改出來的結果,只要稍微把 unformatted citation 內的空白改好,竟然可以直接貼回 Word 轉回原本 Endnote citation。發現這招後噴研究計畫噴文章的速度就更快了 :P
這篇小文章,要感謝的人好多,我司本科單位和 AI 單位長官們,被我凹來標了幾百份資料的好同事 QQ。總算這篇能夠劃下句點,剩下的就是搞定 copyediting 跟 publish QQ
全文連結