人生第一個深度學習應用

成功弄出第一個自己的深度學習應用 XD

問題起源於幾年前唸書時期的研究計畫，得弄一個能從大量（去識別後，連匿名 ID 都沒有的）free typing 地址中分析出區、里的程式。

難點在於地址是 free typing，不一定會填區里，有也不一定對。特別是「里」的資料還經過行政區域調整（舊里合併、消失，新里出現），還有亂碼（特殊造字），通用字（鹽塩曹[石曹]𥕢...）等問題，甚至官方資料也不保證乾淨（曾經從政府門牌查詢網頁查詢出填色方塊字██...）。

資料品質多慘？約 20% 資料連 Google 都分析不出區里，剩下 80% 很多判讀結果也有明顯錯誤（例如台南地址判讀成高雄的）。最重要的是，未來如果上線對接真實資料做分析，就不方便採用 Google Map Platform 等線上服務。

原本做法是應用工人智慧，寫個土炮 parser 硬讀，搭配大量特殊規則和自製資料清潔 pipeline 應對各種坑，但效果並不好（「區」「里」正確率約 6x%、50%），本來差不多放棄了，但最近研究 ML/DL 忽然想到這問題其實類似中文文本分類問題，也許可以 ML/DL 解決？經過大量搜尋後發現也許可以用 TextCNN 解決這問題。

最初版本是依據好心人 CSDN 分享的「中文新聞分類」代碼依樣畫葫蘆。文本資料轉簡體，Jieba 斷詞，用簡中新聞訓練出來的 pretrained word2vec vector 做 embedding，結果分類正確率只有 4X%，而CSDN 上新聞分類範例的正確率是 90%。

研究後發現 training data 可解釋部份問題，jieba 斷詞用在地址並不理想，檢視後發現很多不合理的斷詞。個人也懷疑用新聞訓練的 word2vec 和斷詞也不適用於地址（例如博愛、仁愛語意近似，但仁愛路和博愛路就完全不同）。於是換了土炮斷詞法，改了 stopwords，用 gensim 拿公開門牌資料重新訓練 word2vec，再搭配土炮 parser 的資料清潔 pipeline，調了下少數個人看得懂的參數。model 正確率拉到 60%（里，600+ 個分類）和 88%(區、37 個分類)。土炮 parser 也不用扔，拿來做 ensemble，混合雙打正確率就拉到 65%（里）和 90%（區）了。

弄好後復盤，才注意到這是第一個親手寫出來的 deep learning 應用，雖然核心 model 代碼借（ㄔㄠ）鑒（ㄒㄧˊ）了公開代碼，不過 data cleaning、找出 accuracy 低下（部份）原因並改善、部份參數最佳化、做 ensemble、還有把一切從 jupyter notebook 打包成完整的 pipeline 都是自己完成的。成功踏入 deep learning 調包俠境界，並且有生之年應該有機率進階調參俠 XD

可改善的地方還有很多，也許可以換更好的模型（往 Hierarchical classification 去找？），進一步參數探索，土炮 parser 也可繼續打磨，改善 ensemble 的整體效能。不過作為非資訊專業人員作到「證明問題可以用 deep learning解決」，應該夠交差了，請公司內專業 AI 人士改善模型我再套回 pipeline 也許是比較好的做法，我可以去做別的事。

最後，pytorch 真是美！

全文連結