人生第一個深度學習應用

成功弄出第一個自己的深度學習應用 XD

問題起源於幾年前唸書時期的研究計畫，得弄一個能從大量（去識別後，連匿名 ID 都沒有的）free typing 地址中分析出區、里的程式。

難點在於地址是 free typing，不一定會填區里，有也不一定對。特別是「里」的資料還經過行政區域調整（舊里合併、消失，新里出現），還有亂碼（特殊造字），通用字（鹽塩曹[石曹]𥕢...）等問題，甚至官方資料也不保證乾淨（曾經從政府門牌查詢網頁查詢出填色方塊字██...）。

資料品質多慘？約 20% 資料連 Google 都分析不出區里，剩下 80% 很多判讀結果也有明顯錯誤（例如台南地址判讀成高雄的）。最重要的是，未來如果上線對接真實資料做分析，就不方便採用 Google Map Platform 等線上服務。

原本做法是應用工人智慧，寫個土炮 parser 硬讀，搭配大量特殊規則和自製資料清潔 pipeline 應對各種坑，但效果並不好（「區」「里」正確率約 6x%、50%），本來差不多放棄了，但最近研究 ML/DL 忽然想到這問題其實類似中文文本分類問題，也許可以 ML/DL 解決？經過大量搜尋後發現也許可以用 TextCNN 解決這問題。

最初版本是依據好心人 CSDN 分享的「中文新聞分類」代碼依樣畫葫蘆。文本資料轉簡體，Jieba 斷詞，用簡中新聞訓練出來的 pretrained word2vec vector 做 embedding，結果分類正確率只有 4X%，而CSDN 上新聞分類範例的正確率是 90%。

研究後發現 training data 可解釋部份問題，jieba 斷詞用在地址並不理想，檢視後發現很多不合理的斷詞。個人也懷疑用新聞訓練的 word2vec 和斷詞也不適用於地址（例如博愛、仁愛語意近似，但仁愛路和博愛路就完全不同）。於是換了土炮斷詞法，改了 stopwords，用 gensim 拿公開門牌資料重新訓練 word2vec，再搭配土炮 parser 的資料清潔 pipeline，調了下少數個人看得懂的參數。model 正確率拉到 60%（里，600+ 個分類）和 88%(區、37 個分類)。土炮 parser 也不用扔，拿來做 ensemble，混合雙打正確率就拉到 65%（里）和 90%（區）了。

弄好後復盤，才注意到這是第一個親手寫出來的 deep learning 應用，雖然核心 model 代碼借（ㄔㄠ）鑒（ㄒㄧˊ）了公開代碼，不過 data cleaning、找出 accuracy 低下（部份）原因並改善、部份參數最佳化、做 ensemble、還有把一切從 jupyter notebook 打包成完整的 pipeline 都是自己完成的。成功踏入 deep learning 調包俠境界，並且有生之年應該有機率進階調參俠 XD

可改善的地方還有很多，也許可以換更好的模型（往 Hierarchical classification 去找？），進一步參數探索，土炮 parser 也可繼續打磨，改善 ensemble 的整體效能。不過作為非資訊專業人員作到「證明問題可以用 deep learning解決」，應該夠交差了，請公司內專業 AI 人士改善模型我再套回 pipeline 也許是比較好的做法，我可以去做別的事。

最後，pytorch 真是美！

全文連結

Onedrive 停用自動更新

原本用 Google Drive 放個人資料，買 Office 365 有附 Onedrive 空間就開始使用 Onedrive。Onedrive 用起來什麼都好，就是會自動更新到新版，然後新版永遠無法啟動（默），於是每次 Onedrive 自動更新後就得重裝。

為了這件事，爬了大量網路文章，網路上提到的方法大多是工作排程器停用 Onedrive standalone update task。微軟官方網頁也是這樣寫的。但事實上 task 停用以後，Onedrive 還是會偷偷自動更新（Windows update 直呼內行！）

今天換思路，直接進 Onedrive 的程式目錄（%localappdata%\Microsoft\OneDrive），找 Update 和 StandaloneUpdater 兩個子目錄（沒有這些目錄則手動創造空白子目錄），右鍵內容 -> 安全性把 System 群組在內所有權限全部勾「拒絕」，並實驗確認目錄無法修改。

設好之後故意打開 Onedrive standalone update task，結果 Onedrive 無法更新，停留在穩定的舊版。討厭的新版再見～再也不用無限重裝舊版了 XD
全文連結

Vast.ai 發現

最近想試試 TextCNN 看能不能解一個問題，把塵封許久，裡面還有 $8 credit 的 vast.ai 請出來。

原本以為 vast.ai 的 container 只能 SSH 或 jupyter notebook 二選一，可我想兩個都要。為此還花了幾小時自製 docker image 用 supervisord 啟動同時執行 jupyter notebook 和 sshd，結果在本機端成功啟動但在 vast.ai 無法使用。

繞了大圈才注意到，vast.ai 給的 ssh 連接指令是：

ssh -p 12345 root@ssh4.vast.ai -L 8080:localhost:8080

如果單純只要 ssh，何必多開 port 8080 做 SSH tunneling 呢？去查文獻才發現，這個 port 8080 是讓你在 ssh 裡面開 notebook 用的。

jupyter notebook -ip=127.0.0.1 --port=8080 --allow-root

在 Windows 本機，putty 打開 SSH tunneling 連上後，在 bash 啟動 jupyter notebook 時指定 port 8080，本機瀏覽器開 localhost:8080 就能進 notebook 。自己土炮的 docker image 用這個方法就可以同時開 ssh tmux 和 jupyter notebook

不得不說 vast.ai 的 documentation 不夠清楚，雖然 RTX 3090 $0.561/hr 的價格真香 XD
全文連結