小踢先生的部落格
看到討論 GPT 的文章，想到自己快炸的研究。
最近被 GPT4 坑，比較放射科報告內文和醫囑做 anomaly detection，將報告分成正常、異常兩類。本以為是 low hanging fruit，只要調 prompt、call GPT4，就能有不錯成績還兼顧可解釋性，就能迅速生產研（ㄒㄩㄝˊ）究（ㄕㄨˋ）瑰（ㄌㄜˋ）寶（ㄙㄜˋ）整理投稿，達成工程職業績，可喜可樂～因為看好這個議題，個人還標了 3 * 10000 個 label 確保未來能夠投稿。
豈料 GPT4 表現極慘，正負平衡的樣本 F1 只能做到 0.7x，如果是正負比 100:1 的 real world data 成績就更慘不忍睹。幾個月的努力要打水漂，並且支票要跳票，只好絞盡腦汁想辦法改實驗，用 BERT 做 sentence contradiction、更古老的 TF/IDF + ML、非監督式方法、各種策略都試過。
結果，最後最好的方法竟然是 rule-based parser，用工人智慧建立大表格做 dictionary lookup，只要 lookup table 夠大塞好塞滿就什麼都能判斷。算法和 lookup table 一路修改下 F1 score 從 0.1X 拉到 >0.85，正負平衡樣本還能作到 F1 = 0.99 還抓到不少 mislabeled data。結論：傳統 rule-based parser > fine-tuned BERT > GPT4。
問題好像解了（至少研究上），但這種結論怎麼解釋又是頭痛的問題，希望能順利投出 orz
全文連結之前為了「牛角」燒肉吃到飽一直漲價，為了吃牛舌改去「燒肉眾」，沒想到牛角菜單大改，CP 爆增。
之前要吃牛舌吃到飽，必須點最貴的「極上」方案，該方案平日也要 1399+10%。這個價位還沒有和牛，導致 CP 值極差，去牛角吃牛舌根本盤子。但新版菜單除了新增品項，也把很多原本在「極上」方案的品項下移到不到 1000 的「牛角」方案，包含非常愛吃的牛舌和牛角板腱，實質上就是降價。
更感動的是，牛角終於取消了甜點只能吃一份的限制。2024 年隨便一家便宜吃到飽都提供冰淇淋吃到飽，牛角最高可到 1399+10% 消費的吃到飽餐廳甜點還限量就顯得非常窮酸。菜單改後，第一次在牛角吃五球冰淇淋，實在非常感動 XD
這次牛角菜單改版，實質等同大幅度降價以及改善服務，未來應該是可以再去了。
這週下定決心，把陪伴多年的 Lenovo T460 送給北部的妹妹。上次出門旅行，發現 14 吋螢幕寫 code 開始會眼睛吃力，換華碩天選 5 pro。觀察到現在，確定 T460 可以安心退場，就決定送出。
這台 T460 是 2016 年上市的機器，當初應該是為了讀碩班換的，已經陪我七八年。當初還自費換 IPS 螢幕、升 16G 記憶體、後來又換 1T SSD，還有零零總總的防撞殼、鍵盤膜、螢幕保護貼，都是愛機一路征戰的回憶 QQ。送出前幫忙重灌、檢視 Macrium 映像檔，映像檔最後更新日期還停在 2023 年。還原 Win10 後一時還進不了桌面，原來是強制登入微軟帳戶但這個過程又當掉，後來透過 Safe Mode 和一些 trick 繞過。做了些測試，清潔了資料，設定了下妹妹最愛的桌面（？），然後就裝箱再見了。
其實我還有台更老的 IBM X200 現在還能開機 XD 但現在送那台就是折騰人了，還是送 T460 好了 XD
因為我喜歡日式調味而且喜歡牛舌，所以在台南吃吃到飽燒肉都去「牛角」。但「牛角」漲價越來越誇張，有牛舌的套餐已經漲到平日 1399 還有服務費，毫無吸引力，所以在留意有沒有更好的店。
台北「村上牧場」不錯，有 A4 和牛吃到飽，台南就不知道日式吃到飽燒肉可以去哪裡。「逐鹿」不貴、評價優、但口味沒有對到電波，「燒肉工廠」沒去過，單點燒肉如「碳佐麻里」、「乾杯」又覺得吃不過癮，偶然路過這家「燒肉眾」發現吃到飽有牛舌和 A5 和牛就留上了心。
第一次來，並沒有直奔最高級套餐，先吃 988 含美國和牛的價位，如果好吃未來再升級。
整體感覺不錯，肉類肉質口感 OK、不會太油膩。牛舌不是常見圓形大片，是長條片，Q 彈好吃。美和牛香氣口感尚可。非肉類的飯、麵、湯部份相對「牛角」種類少很多，這點較差。飲料部份現搾蔬果汁好評、無限冰淇淋大好評。結論來說，未來想再吃燒肉，會考慮來加價升級試試 A5 和牛。
吃完飯就到處晃，政大書局就在附近，進去看了但沒買書。也順路去看永福國小和台南一中兩個母校。永福國小感覺更小了，印象中小時候有的鞦韆和溜滑梯被拆了，多出了停車場 orz。台南一中感覺沒什麼變化，學校和大榕樹依舊，但當年一起的 Twsam、DNA、DreamLinuxer、FD 等人都各奔東西去了，之後就拐彎去緬懷育樂街，看看油膩不健康美食們還在不在，最後才打道回府。
- 從文獻出發，推出自己的觀點
- 寫作終極目的：為讀者創造價值，不是為了證明自己。要以服務讀者為中心
* 推出自己論點前，把各方面情況掰開揉碎給讀者，幫讀者自己判斷，自己的意見當成參考意見，在讀者獲得充分信息之後再呈給讀者，反而有好影響力
- 五段落寫作模板
* 第一段：分析、分解問題。幫讀者問題分析和考量我們面臨問題的各種不同方面，各種不同角度
* 第二、三段：對不同方面、不同角度組織文獻資料分別進行討論。
# 例如第二段講正方，第三段講反方，並在兩者間達成平衡
* 第四段投入核心論點、關鍵砝碼，打破平衡，實現影響力
* 第四段要補充、提昇讀者現有認知或文獻討論體現的認知
# 例如一直以來認為重要的，你認為是次要的
# 大家認為是複雜的問題，但你看出簡單的邏輯
# 不同角度切入問題，發現新的威脅、機遇、衝突
# 現有衝突中發現新的關鍵問題、解決方案
* 第五段：對第四段提出的論點進一步發揮
- 先建立平衡，再打破平衡的模式，類似古代謀士，先提出上中下三策分析利弊為君主提出充分信息，顯示自己考慮問題細緻和客觀公正。最後只要關鍵處輕輕一點、就能打破平衡、影響決策。
憲法法庭作出 113 年憲判字第八號判決，對判死設下嚴格限制，也有大法官提出不同意見書。廢死論調是否禁得起檢視？
過完（？）高微之後就試著進階實變了。很幸運的是實變的部份也找到好的課程。
好課真的幫助巨大，之前遇過另一位老師，高微開頭直奔 metric space 的定義然後各種證明，用未知概念解釋未知概念，最後上到霧煞煞只能放棄。雖然老師講的很認真，清晰，但就是不適合我的程度或情況。
這門課老師會先用不大精確的例子說明 intuition，然後給出精確的定義和證明建構理論。先講證明背後的思路，再給嚴格證明，不失嚴謹的同時卻又兼顧好懂，上起來感覺好太多，例如講內外測度的時候，先講用尺量身高「有餘」和「不足」的譬喻，metric space 不直觀的性質，先說在 Rn 上的情形，再推廣回一般 metric space 比較兩者差異，於是這個性質在 Rn 和一般 metric space 上都整明白了。講者是中國清華大學數學系碩博，省級高考狀元，確實厲害。
高微聽完一輪，值得留念一下。
研究數學是為了讀 deep learning 的 paper。（在職）碩士畢業，看到連乘符號∏只能「那葛像拱門的符號是什麼」然後關 paper，讓人汗顏。
一開始自學中文書，但發現數學荒廢二十年，加上年齡體力不如以往，高中能熬夜讀書，現在太累就眩暈耳鳴頸椎病皮膚炎一波帶走，看書自學計畫失敗。
後來刷到 B 站播放量一億宋浩教學影片，自學計畫復活，竟然成功把整套初微影片看完，中文影片中文課本把初微過了一遍。Rudin 那種名著就不指望了。靠著宋浩大神還順便聽了線代和基礎機率。
自修初微後，狀態改善但還不夠，所以想自學點更深的數學。
但遇到高微就開始嚴重卡關，宋浩老師的數學分析跟初微重疊太多，感覺不像數學分析，聽了一部分後棄。其他老師有把金剛經和數學合在一起講的，有當成武俠小說講的，「戴德金分割，duang 的一聲在數線上砍出了無理數！」，有的老師講的清晰，但起手就講 metric space，本 Rn 都整不明白的萌新撐沒幾章就棄了。
所幸後來找到師範大學李國瑋老師的課，再度成功復活。李老師的課建構在實數系上，看到「Bolzano-Weierstrass theorem @ Rn」實在淚流滿面，斯是 Rn，惟實數馨，無 metric space 之亂耳，無拓樸之勞形。那些更抽象的東西，實變再還。
如果有面板，現在應該會顯示技能「實變函數」已經可以開始加點。起碼現在看了第一堂影片，透過狄利克雷函數黎曼不可積來論述黎曼積分侷限性，不會馬上大腦過熱掉線。如果能熬完實變，應該能接測度論、高等概率，複習一下線代應該就能再戰 deep learning 的數學。很多好東西因為數學卡住而放棄，例如某門 Probabilistic Machine Learning，上到第三堂老師開始介紹 Sigma algebra 我人就不好了，現在只能一直擺著。
現在最大的問題，就是習題進度嚴重跟不上。目前習題進度還卡在初微如何運用積分表的章節，跳著做搭配例題還是做不完。要把高微這種難課的證明全做一遍鞏固修為遙遙無期。預估真實戰力頂多相當本科生 PR10~PR15。
有趣的是，李老師的課程影片 Homepage 在我聽完課後竟然就 404 ，Internet archive 只有舊版，好在我在 ipad 上翻到還沒關掉的分頁，趕快另存新檔匯出，有種武俠小說洞天福地找到傳人後就自行銷毀的感覺，也算趣事 XD
讓 LLM 巨幅加速的猛人，影片值得紀錄一下，再找時間看
全文連結
故事好像是從 I9 系列開始，部份體質不良的 CPU 在加壓猛操之後出現穩定性問題，甚至波及到商用市場，有商業大戶說 CPU 故障率在 10% 到 50% 之間。並且隨著調查進行，原本以為只是高端 I9 或 K 系列 CPU 有問題，變成 65W 以上 13、14 代 Intel CPU 都可能有問題，包括我新組的兩台 i5-13500 也是 65W CPU。並且，被「電壓問題」弄壞的 CPU 是永久致殘！我最近新筆電也是 13 代 mobile i7 CPU，好在 I 皇堅決否認筆電 CPU 會受影響，再看看。
目前看來 Intel 不打算 callback，只打算用 workaround 拖過三年保固期，令人失望。作為 I 皇的忠實用戶不知道多少年，第一次遇到 I 皇 CPU 集體烙賽還見證官方擺爛。為了保險起見，哪怕我新買兩台電腦沒有任何症狀，我也先更新了 BIOS 降低電壓。等八月中 Intel 測完 microcode update 再更新一次 BIOS，損失效能也沒辦法了，了不起效能倒退回 12 代 QQ
換新筆電值得紀錄 XD
之前出去玩，舊筆電 Lenovo T460 （2016）14 吋開 VS Code 寫程式眼睛吃力。決定換大螢幕筆電。
新機為華碩天選 5 pro，螢幕 16 吋、16:10 窄邊框最大亮度 400nit，2.2kg、螢幕大夠亮機器也不會太重，獨顯由 T460 的 940M 飛昇為 RTX 4060（Mobile）性能增加超過 10 倍。今天帶出門標資料感覺眼睛負擔輕多了。小缺憾是續航力比不上 9-cell 電池加持的 T460，約四小時上網、開 VM、標資料就剩 3X% 電，得買行動電源。
最後，台灣筆電價格實在是貴。相近規格 TUF F16 台灣可能要買 46K，螢幕規格還較差。京東買 40K 左右，有國際保，螢幕參數更好，有更多規格、顏色可選。至於簡體中文系統自己重灌就好。
這次學新東西的動機是為了手上的研究題目。上次成功挑戰一人標 6000 份資料的 NLP 研究題目。這次新題目，研究過 related work 後保險起見，決定用多一點的樣本，以確保可發表性，然後就腦子一抽收了 10000 份了（這還不是同類 study 中第一多的 OwO 當然我們有另外的賣點）。這次資料至少標三個 feature，其中一個 feature 是原始醫囑與放射科報告的分段，是否為 one-to-one 的關係，例如原醫囑是 L spine AP + Lat. 以及 L spine Flex.+Ext. 共兩筆，放射科醫師整合成一份 L spine 報告，就變成 many-to-one。
因為樣本量大的關係，一開始先用 regular expression 以及一些簡單邏輯去做 prelabeling ，再根據 prelabeling 先自動排序一輪方便後續檢視，這些自動化標注是一定有的，但標完還是得檢查自動標的對不對，然後痛苦就開始了。
原本使用的 doccano 標注軟體，就只是個標注軟體，沒辦法自動 highlight 報告中的 subsection 讓人一眼看出報告分成幾段，也不能將醫囑中同一部位有多個 view 的醫囑（例如 Chest PA 及 Chest Rt Lat，這種醫囑容易在報告中被「合併報告」）自動標出，人工 check label 真是十分痛苦。
剛看了兩三千份就決的有點難做了，覺的要嘛少收點（但又怕未來投稿失敗）要嘛得整一套更方便檢視的工具才有辦法做。第一時間想到用惠我良多的 Bootstrap Datatable 做個簡易編輯器，但研究後發現，要加入 CRUD edit 功能就得付費，還得自己鎚後端出來。在不知道怎麼辦的時候，注意到在 Firefox console 下可以很方便的去修改、Highlight doccano DOM 中的文字和排版，就想到也許可以用 patch UI 的方式來做。
於是在 console 弄懂幾個操作 doccano DOM 的關鍵點後，在 ChatGPT 的輔助下，成功在一兩小時內鎚出「真．強化版．doccano」。原始 UI 被我加了幾個 control，可以用 regular expression 去自動 highlight 報告疑似 subsection head 的部份，另外加個 panel，把同一個部位有好幾個不同 view 的部位特別提醒。做完這些後標資料的速度就爆增，至少在這個 feature 努力點可以一天 review 一千份 label。
未來第二、第三個 feature 預期可以用 AI 標再人為抓錯，但一樣需要輔助工具，預期拿這套腳本改一下再弄個不同的「強化 UI」出來。腳本基本沒有通用性，一個任務要改 N 次。不過樣本量大，也值得特事特辦了。
全文連結
第一次踩到 rclone 的雷。
事情根本原因是母校要限縮無限空間，需要趕緊備份。原本我用現成的 docker image但是從 Google Drive -> Onedrive 會出現小 bug，需要更新版本解決。所以我自己 rebuild 了 docker image 把 rclone 升級到 1.67 然後繼續拷。
更新後同步開始出現類似 "The resource has changed since the caller last read it; usually an eTag mismatch" 的 log，Linode 開始跳流量警告。不過檔案還是正常完成拷貝我就沒太留意。
然後昨天就收到帳單，Linode 裡面的額度一口氣用光還出現負債，最新月份帳單一看 $120 鎂，找原因發現六月份 outbound traffic 26.4T，我原始資料也不過 2T。趕快試著改了參數，確認重要資料有備份完後就砍原始資料、終止備份了。
事實證明該會的基本管理還是要會，一知半解的使用工具很危險 QQ
Doccano 是我標注 NLP 訓練資料經常用的軟體（咦你不是只有一篇嗎？）。官網教學詳細，但沒有 docker-compose.yml。其實照著官網教學，加上自己補細節就很容易生出來
version: '3'
services:
doccano:
image: doccano/doccano
container_name: doccano
ports:
- "8000:8000"
environment:
- ADMIN_USERNAME=xxx
- ADMIN_EMAIL=xxx
- ADMIN_PASSWORD=xxx
volumes:
- ${PWD}/data:/data這次郵輪行程還包括韓國的濟州島和日本的鹿兒島，每個地方我們都上岸玩了一天，體驗當地風土人情。日本鹿兒島跟團行程有點太緊，三個景點，最後一個還是購物中心！感覺就第一個點晃了下建築，吃個點心，就趕去吃飯了。吃飯因為人數太多，每個店都需要排隊，導致寶貴上岸時間就耗費在排隊上。購物中心行程就...。
韓國濟州島因為團沒開成，倒是可以自由行，我們請了導遊小姐，帶我們看三個點。行前功課沒做足，第一個濟州島去的濟州民俗村其實不合胃口，類似特別去看古早農村，還遇到推貨的導遊，車程還要一個小時！之後導遊帶我們去看的商店街和購物中心尚可。但後來想想，應該就直接找碼頭附近景點最密集的地方，一路密集看過去就好。但整體而言，韓國相比日本，應該不會更想再來 XD
船上的收費就是讓人肉痛的事情了。帳單有一半都是網路費！郵輪上只有衛星網路，當我在頁面上選購上網套餐時，看到的價格是每套設備單價 $15 美元（買 3 台）或 $14 美元（買 4 台）。我想說價格看起來不貴，為了玩的盡興，就買了四台設備的額度，其中一個額度算是給家人備用。結果，這個價格竟然是「每24小時」的價格！實際價格是那個數字乘以5！也就是說，4 台網路「整個航程」的價格是 USD$280，相當於 9,000 多台幣！看到帳單的那一刻，我差點吐血。但後來想想，其實在郵輪上不上網路也是不太可能的，至少我和家人還有筆電共三個份額是必須的。但如果只買三個份額，應該可以省下一兩千元。
最慘的是，旅途中我還生病了，可能是飲食沒控制好，皮膚異位性皮膚炎復發，面積不大但直接發在臉上。現在收假上班還是要一兩分鐘毛巾溼敷一下臉，再擦個乳液，不然臉像螞蟻爬似的，沒辦法專心工作。每天晚上十點多就睡覺，吃了好幾天的素菜，乖乖喝中藥調理身體。
排除這些問題，這次旅行還是非常棒。船上的飲食、表演遠超預期。免費的劇院表演我覺得可以直接地面上開團了，呆在船上真的委屈，只有第一天能預約到表演，第一天的演出之後每天的額度一釋放就被秒殺。免費 buffet 幾乎隨時可去吃，免費單點的餐廳也是超過水準，義大利麵、羊排....對標地上的話應該有相當千元一餐或以上的口味，還能無限續盤。剛上班幾天就又開始想放假了 XD
