影片：90%被拒稿的論文都是因為你的idea太“虛”

影片連結

 這影片說到心坎裡了，模型縫合怪和方法移植，然後附上花裡胡哨的性能對比正是我最愛幹的事情。甚至我連縫模型的能力都沒有 QQ

重點：做研究別想一步登天。永遠先問自己三個問題
1. 當前問題的根本在哪裡：領域經典論文有沒有讀懂、讀透？
2. 現有方法的痛點在哪裡？
3. 你的解方是什麼？解方是針對哪個痛點設計？和別人的方法比起來如何？

全文連結

好文 - [問卦] 有人有Gmail帳號被盜的經驗嗎?

出處

恐怖的故事，應該是亂點檔案， browser cookie 被偷，後面全線崩盤。不過失主運氣好，帳號被偷的時候剛好在電腦旁邊，而且駭客腳本漏了另一隻 2FA 手機，這才有辦法把帳號搶回來。

好在偶從來不用什麼 Google password manager 或 authenticator。Google 帳號被偷 password manager 和 authenticator 跟著自動叛變實在夠瞎。

沒想到竟然被駭，Gmail差點拿不回來！
週五晚下載檔案後，掃毒軟體確認安全，結果點開後沒異狀，就繼續使用電腦。
過一陣子，卻發現Gmail登入不了，二階段認證的手機也無法使用，
密碼輸入竟然沒辦法進入帳號。急忙嘗試密碼重設，但手機遲遲收不到驗證通知。
這可是從beta 用起用了快20年的Gmail啊！
好不容易進到救援頁面，認證資訊竟然都被改掉，幸好最後一個選項的號碼
像是之前多設一支少用的備用手機號，試了一下竟然收到驗證碼。
趕快改密碼，進入帳號管理，果然所有認證資訊都被更改，立刻刪除並恢復原設定。
忙了40分鐘，終於拿回主控權！

駭客入侵後，短短三分鐘內就成功奪取我的Gmail，估計是直接跑腳本：
New passkey added to your account
A new sign-in on Windows
Your password was changed
Recovery phone was changed
Recovery email was changed
Phone number added for 2-Step Verification
2-Step Verification backup codes generated
Google Account PIN changed
Recovery secret question was changed
看來像是,
- 新增通行密鑰
-  Windows新登入
- 修改密碼、恢復手機、備用郵件
- 設置2步驗證手機號，生成備份碼
- 更改Google帳戶PIN與密保問題

接下來的40分鐘內，駭客利用我的Gmail掌控我存在google password manager
的所有帳密，並透過帳號綁定他的手機，使Authenticator也轉移過去。
接著掃蕩我的虛擬幣平台（Nicehash、Coinbase、Binance），轉走資產；
侵入社群帳號（Facebook、Instagram、X）及 Steam 修改密碼、亂發內容；
甚至在Facebook Market上狂做交易。
幸好這一切發生時我還沒睡，搶回Gmail後迅速追回其他帳號，
但仍花費不少時間，還得通知交易中的買家停下交易。

事後補救：電腦,手機和網路Router全面Factory reset，
密碼全部更換並改用KeePass儲存，移除Google綁定的信用卡，
定期檢查登入裝置並登出陌生設備。在帳號添加多支手機號，2FA必須開啟，
更重要的是管好手避免亂點不明檔案或連結。

幸好這次在醒著的狀態下才得以救回帳號，如果是趁我睡著才下手,利用我的身份
進行詐騙，後果真不堪設想。

這邊要問個卦, 駭客怎摸那麼厲害,明明帳號有設2FA,
為什麼駭客改我帳號時, 我手機竟然push或簡訊都沒收到??
要等到被sign out 才知道???
還有人知道萬一Gmail 真的被盜, 資訊全被改要怎麼找回嗎?
谷歌有服務專線可以打嗎? :p

全文連結

資源：大隊長手把手帶你發論文

連結

最近 B 站刷到最有用的資源，作者廣泛閱讀大量論文、將重要模型架構拆解成模組，每個模組附上講解甚至改善的思路，再加上精簡的 PyTorch 源始碼，只賣 199 人民幣，正適合我小白入門，反正我是買了 :P 對岸研究生真的捲到爆炸 orz

全文連結

某 S 網站替代品

連結

某站已經長久不更新資源目錄，上面的東西都是舊的，很多比較新的資源都找不到。替代品資料也不完整，從來沒找到需要的東西。翻了知乎和常去社區都沒看到穩定的替代品。後來突發奇想在 Youtube 上下關鍵字，發現有網站在低調打廣告。實際花小錢辦最高級會員試用一個月，發現資源非常齊全，該有的都有。

目前感覺使用不方便，必須 PC 安裝程式，還必須非 Unicode 設定為簡體中文，非 Win11 電腦還要手動安裝 WebView2 才有辦法執行，付費限定支付寶、微信等強國方式。不過使用不方便也許不是缺點，這種資源還是小眾點好。

全文連結

如何寫好一篇論文(10) - 如何從文獻推出自己的論點

連結

- 從文獻出發，推出自己的觀點
- 寫作終極目的：為讀者創造價值，不是為了證明自己。要以服務讀者為中心
    * 推出自己論點前，把各方面情況掰開揉碎給讀者，幫讀者自己判斷，自己的意見當成參考意見，在讀者獲得充分信息之後再呈給讀者，反而有好影響力
- 五段落寫作模板
    * 第一段：分析、分解問題。幫讀者問題分析和考量我們面臨問題的各種不同方面，各種不同角度
    * 第二、三段：對不同方面、不同角度組織文獻資料分別進行討論。
        # 例如第二段講正方，第三段講反方，並在兩者間達成平衡
    * 第四段投入核心論點、關鍵砝碼，打破平衡，實現影響力
    * 第四段要補充、提昇讀者現有認知或文獻討論體現的認知
        # 例如一直以來認為重要的，你認為是次要的
        # 大家認為是複雜的問題，但你看出簡單的邏輯
        # 不同角度切入問題，發現新的威脅、機遇、衝突
        # 現有衝突中發現新的關鍵問題、解決方案
    * 第五段：對第四段提出的論點進一步發揮
- 先建立平衡，再打破平衡的模式，類似古代謀士，先提出上中下三策分析利弊為君主提出充分信息，顯示自己考慮問題細緻和客觀公正。最後只要關鍵處輕輕一點、就能打破平衡、影響決策。

全文連結

影片：拯救資工系學生的基本素養

影片

新爬到的播放清單，內容涵蓋軟體工程的許多方面入門，如 clean code、CI/CD 等。未來找時間看看 全文連結

科學空間

連結

找 ML/DL 資料時看到很多人推薦的猛人，博主是數學專業，有能力梳理 ML/DL 論文背後的數學、思想脈絡並整理出來，從 2009 年一路寫部落格到現在。

全文連結

Probabilistic Machine Learning -- Philipp Hennig, 2023

Youtube 播放清單
投影片

好課，把 ML/DL 會用到的機率知識整合起來，而且深度非常夠。

現在坊間「AI 背後的數學」課和書籍不少，但大多數太淺，例如微積分可能就講到 chain rule。對於看 paper 來說完全不夠用，課本和 cutting edge research 有巨大落差。直奔數學系的課，內容又太多不知從何學起，像本座高等微積分現在才換了老師剛看到收斂數列的性質，初微、線代課看完了現在習題都沒做 XDDD 課程還提供投影片讓人自習。非常慷慨。

原本是 B 站上看的，但 B 站沒搬運到最新的版本，且字幕不全，就去 Youtube 找最新完整版了。

全文連結

網路文章：投期刊返修寫Response的時候，應該寫詳細一些還是簡要點？

出處

 知乎上很好的文章，擷取重點：

1. 所有的回復目的只有一個：說服 Editor，必須解決所有審稿人的疑慮，突出文章的貢獻。

2. 如何得體又有理有據的回覆強硬拒絕的審稿人

3. 一定要對 Editor 說一些好話，這要在整體回復審稿人意見之前寫上去。


得體回覆審稿人的模板：We appreciate the reviewer for carefully reading our manuscript and makingtheir insightful, critical, and constructive feedbacks. We appreciate that their comments have enabled us to prepare a greatly improved manuscript.（誇他） However, we respectfully disagree with the assessment of this reviewer regarding ourinnovativeness,analysis, and conclusions that the （自己的東西) is a common and unconvincing architecture. （反對他）We apologize for the previous poor formatting and some disputed descriptions of our manuscript, which may have made some of this evidence unclear. （對自己文章不足進行道歉）For this reason, we have revised the statements in our introduction and discussion to better highlight the novelty and advancement of our work.（改進並指明亮點）隨後對自己的亮點進行總結說明，包括那幾點

全文連結

兩門 Computer Vision 課程

CS 198-126: Modern Computer Vision Fall 2022 (UC Berkeley)  

Computer Vision — Andreas Geiger 

紀錄下最近囤到的 CV 課，松鼠黨的收藏又增加了 XD

之前 B 站的 CS231 課也不錯，但只有 Justin Johnson 講的我聽的懂，Serana Yeung 在講什麼根本電波對不到。並且課程到後來速度越來越快，只能把一堆研究稍微帶過去，學到的東西很少。換別的課看手氣會不會好點 XD

全文連結

淺談 Prompt 自動最佳化工具

連結 

今天被介紹、推坑了 LLM prompt 最佳化的文章，文中帶出了很多 paper。粗看下來最優先需要了解的應該是 AutoPrompt，其對應 paper 如下：  

Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases 

其他 research 和 paper 乍看也不錯，但暫時沒有動力去看 Q<>Q 

最近要做 LLM 和 GPT 有關的 study，這算是及時雨 XD

全文連結

MedAI Session 20: Many Faces of Weak Supervision in Medical Representation Learning 觀後感

今天用用冗餘時間把 MedAI Session 20: Many Faces of Weak Supervision in Medical Representation Learning 看完一遍。感覺還是卡在同樣的地方，特別是如何用 noisy labeler 產生 probabilistic label 的部分，看來還是要繼續問 GPT 還有補數學。 

看的過程中，發現要看的 paper 也更多了。  

Data Programming: Creating Large Training Sets, Quickly 

 這篇也是講 Snorkel 的，但看來比之前看到那篇好懂一些。再努力看看  

Doubly Weak Supervision of Deep Learning Models for Head CT  

Cross-Modal Data Programming Enables Rapid Medical Machine Learning  

Multi-task weak supervision enables anatomically-resolved abnormality detection in whole-body FDG-PET/CT 

這三篇應該算重要收穫了。醫院放報告和影像一大堆，如果可以用報告加影像直接 train model 那做 deep learning 就會變得容易很多（謎之音：我也不用爆肝）。特別是有論文提到用 BERT 去把原始報告轉換成 study-level 的 label，現在有 LLM 可以用 few-shot 感覺這部份會容易很多。

全文連結

AI 手算與土炮資源

Tom Yeh Linked In
合集·手撕“Everything”系列，Transformer, Diffusion, LLM等

逛網路看到的好資源，分別是手算和土炮類神經網路。以後要扛 AI 研發任務的話還是要有基本功好，松鼠黨的收藏又增加了 XD

全文連結

Stanford MedAI group

連結 

在找尋 Weakly supervised learning 的時候挖到的。我想看的是這個：MedAI Session 20: Many Faces of Weak Supervision in Medical Representation Learning | Jared Dunnmon 

感覺根本就是 cutting-edge 寶藏海，挖 paper 題目就靠這些寶貝了 QQ

全文連結

矩陣微積分

機器學習中的數學-矩陣微積分
01 02 03

MIT 18.S096 用於機器學習及其他領域的矩陣微積分
播放清單

B 站發現的兩門好課。當初看完宋浩老師的高等數學（初等微積分）後，去看 ML/DL 論文，發現我缺了向量微積分和矩陣微積分，B 站找到兩門課，第一門很簡短的把 ML/DL 比較會用到的向量、矩陣微積分公式做了彙整，MIT 18.S096 則是正式的大學本科課，講的就詳細很多，先看精簡版再看 MIT 兼取兩者之長，可以得到 MIT course 的收穫但又不會迷失不知道重點。

全文連結

如何寫好一篇論文(09) - 文獻分析的三種邏輯推理方法

連結

- 有說服力的邏輯推理方法大體有三種：歸納、演繹、溯因
- 可對文獻資料進行分析來推出自己的論點，例如衝突、解決方案等
- 也可以用於論文的討論和結論

- 歸納 inductive reasoning
    * 由點到線，發現新的規律
    * 對各種不同的資料進行歸納總結
    * 由個別的證據推斷出一般性的規律
    * 人類幾乎所有的知識都來源於歸納
    * 常見的方式有求同和求異兩種
        # 求同：找出各種不同文獻資料之間的共同點，推斷出較為普遍性的規律
        # 求異：比較各種不同文獻資料之間的不同點，找到造成這種不同的關鍵因數或者是變量

- 演繹 deductive reasoning
    * 由一般到個別，建立新的證據
    * 文獻中已經總結出某種一般性的規律
    * 結合我們當前實際情況
    * 大前提 -> 小前提 -> 結論之三段論屬於演繹推理

- 溯因推理 abductive reasoning
    * 由點到虛線的推理方法，提出新的假說
    * 科學的前沿探索的過程中文獻中證據往往是雜亂而不完整
    * 由已知的所有線索排除各種可能性從而最終推斷出真相和最有可能的解釋
    * 從一堆看似雜亂無章的事實中獲得洞見
    * 比歸納和演繹更需要創造性思維，類似偵探破案
    * 要求研究者對於各種可能性有深刻的認識
    * 結果一般是新的假說，需要進一步的實驗論證

- 推理方法為退化的歸納、演繹法，並不嚴謹
- 語文教科書的舉例論證、引用論證、比喻論證、對比論證等傾向修辭學而非真正的邏輯推理方法

 

全文連結

Theory & Systems for Weak Supervision by Christopher Re @MLSYS 2020

Snorkel Github
Practical Weak Supervision: Doing More With Less Data

這陣子為了 computer vision 還有 weakly supervised learning 的事情頭痛。要發 paper 需要 label 動輒破千的影像資料讓我快燒壞腦袋。

這應該是這陣子聽到最重要的 talk。重點在於 Snorkel 這個 project。相較於 supervised learning 要專家直接標資料，Snorkel 將問題從 data labeling 轉變成如何找出夠多的 weak labeling function，然後在目前我還沒搞懂的 labeling model 或投票機制作用之下，weakly supervised model 或 gold + silver label 的方法訓練出來的成果不會比專家爆肝差太多，但專家爆肝可能要一年才有辦法幾千份，labeling function 快的話只要幾天。

只是目前看到的 tutorial 都還在用 NLP 說明，還不知道怎麼做 weakly supervised object segmentation or detection。不過有 Oreilly 有出書整理，應該會比直接啃論文快些。

全文連結

Brandon Foltz

連結

統計學和數學 up 主。剛看了 Statistics101 講的簡單俐落，之後認真學 SPSS 之前應該可以先設法看完 XD

全文連結

如何寫好一篇論文(08) - 用故事邏輯寫文獻綜述

連結

 

- 文獻綜述
    * 引導出我們自己的研究目標
    * 用文獻來支撐我們的自己的研究目標的重要性和合理性
    * 用講故事的邏輯來寫我們的文獻綜述，需要有起伏

- SCQA 模板
    * 情境、衝突、關鍵問題、解決方案
    * 可以包含多重起伏
        # 例如 Background and history -> 衝突1，解決方案1 -> 衝突2、解決方案2 -> ...-> 最終遺留問題
        # 最終遺留問題可作為 future direction
    * 可根據狀況調整順序
    * 關鍵問題和解決方案已可被讀者接受 -> 開門見山 QASC 或 QACS
        # 首先提出關鍵問題和解決方案直接點名本篇論文的研究目標
        # 隨後再慢慢的介紹情景和沖突
    * 追求衝擊力 -> CSQA
        # 首先提出沖突引發讀者的關注
        # 隨後再介紹前情和後續的解決方案

    * 情境（S）
        # 實現和讀者的對接，取得讀者的基本的信任
        # 挑出文獻中最不具爭議讀者最容易認同的部分來寫
    * 衝突（C）
        # 起伏的開始
        # 可能是一個顯然的挑戰
        # 也可能是通過文獻分析才能夠發現的一個潛在的威脅或者機遇
    * 關鍵問題（Q）
        # 作者需要明示出解決所提出沖突的關鍵點在哪裡
        # 往往最能體現出作者的眼光
    * 解決方案（A）
        # 一個有說服力的解決方案就能自然地帶出本篇論文的研究目標和它存在的意義

全文連結

好文：一文搞清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法

出處

知乎上看到的好文，總結了 LLM 微調的有效方法，包括 LORA、Prompt Tuning、P-Tuning、Adapter、Prefix Tuning。很多之前網路上或李弘毅老師的課看過，或大概聽過。但還是有些概念比較新，例如 Prompt Tuning、P-Tuning、Prefix Tuning。應該能當作淼 NLP paper 的靈感庫了。

全文連結