好文：The RAG Obituary: Killed by Agents, Buried by Context Windows

連結

這文章真是打動我心，明顯作者踩了一堆坑。RAG 本質就是 workaround，當 LLM context window 不夠長，無法塞進足夠資料的前提下，RAG 就是沒有辦法的辦法。RAG pipeline 很長，Chunking、Embedding、Search、Reranking 每個步驟都可以 fail。而且 upstream 爆了，往往 downstream 錯誤不會消失，只會放大，最終變成災難性的低準確度。而且 RAG 方法有先天缺陷。例如本文提到的，長文本之間會有複雜的依賴關係，一旦進行 chunking 可能某些語義或查詢路徑就不見了。

不過說這麼多，對我個人好像也沒什麼幫助啊。我司不想買，連 RAG 的單顯卡都下不來。真的要做 RAG 的話，也只能開源系統套一套，開源沒辦法，就真的沒辦法囉。至於像這篇說的一樣開發 agentic search，只能說夢裡什麼都有 XD

全文連結

第一次 Vibe Coding 成功！

這次需求是英文聽打。之前一直用 AudioPen。AudioPen 即使沒對口音做校正也非常精準，不過它的免費版有個致命的，官網上沒有提到的小問題，就是免費版竟然是有限制的！某天我在手機按下錄音，App 冷冷地告訴我不能用了，要用就要付錢！不過有七天免費試用期優（微笑）。之前一直想學 Vibe Coding，但沒想到好的題目。剛好遇到機會，直接拿這個題目開始做，用 VS Code + Cline + GPT-5 (BYOK) 搥一個 AudioPen 堪用替代品。

結果 GPT 一如既往比我聰明。我原本只想做個簡單的 Client，輸入 OpenAI API Key 存本機，對 Whisper 做 inference 就好。不過心念一動，想到最近某個 Google Gemini Vibe coding 爆雷的事情，還是決定把方案丟給 GPT-5，將 Reasoning 開最高，問一下這樣的計畫到底安不安全。果然 GPT 把我噴得滿頭滿臉，它給了幾個備選方案。我選了把金鑰保存在 Local 端且做成可攜的方案。

接下來就是被 GPT 教育的過程。例如：

Me：我可不可以輸入文字密碼，直接加密 API key 就行？
GPT：不行！你要經用雜湊 KDF 用 Argon2id 其中 target derivation time 至少 200-500ms，另外要有 16-32 byte 的 salt 12 bytes 的 nounce，金鑰長 32 bytes，加密用 AES-256-GCM blahblahblah
Me：恩，好 OwO （當事人大腦已失去回應，系統提示：找不到「20 年前學的應用密碼學」）

另外一次，我發現長語音會造成 App crash。我請 GPT 補 Error Logging，再把 dump 丟給 GPT-5 high reasoning，GPT-5 就直接告訴我這是 PyAudio 的哪個 function 因為什麼樣的原因造成 C runtime 的 stack overflow，然後就幫我把 code 改好。重新執行 Bug 也不見了，我完全沒進 debugger。

這樣一套做下來，發現我真的菜，擔心我到底價值在哪裡？雖然我還是有 function，例如我能告訴 GPT 該怎麼樣切模組，第一步做什麼第二步做什麼逐步做出來，但真正難搞的難點都是 GPT 做掉的，特別是資安，GPT 還提了些我聽都沒聽過的打法（例如 TOCTOU 之類）

以前總覺得寫 Code 是通靈。但我發現錯了，以前根本沒真的通過靈！用 Vibe Coding 才是真通靈，呼叫 AI Agent 就是請神上身施展道法，瞬間寫 code 品質還很好。App 穩定下來後，我還要好好讀 AI 生的 code，因為 AI 的產出比我手寫義大利麵程式碼更結構，看來更好讀、好維護、而且用了不少我還不懂的 Python 細節和技術。

不過這些折騰還是有收獲的。至少現在真的有了 APP，可以勉強實現 AudioPen 免費版和一咪咪的付費版功能，當然都有點劣化，也有些額外小問題，比如只有 PC 端，顯然沒有手機版，網頁版。程式 crash 得自己找問題，得自己申請 OpenAI API Key 搞定付費、金鑰授權...。呼叫 Whisper 和 GPT-4o-mini 顯然也不是真的免費，只是比直接買包好的產品便宜。當然最重要的是有成就感，這也是我自己整一套最重要的原因。

P.S 自己寫 Prompt 調模型做改寫後，發現模型 behavior 跟 AudioPen 很像。推測 AudioPen 很大可能是 Whisper 加上 GPT 改寫套殼 QQ

全文連結

Low Level Technicals of LLMs: Daniel Han

讓 LLM 巨幅加速的猛人，影片值得紀錄一下，再找時間看

全文連結

影片：不要浪費錢買課了，喂飯式教你訓練大模型llama3

連結

今天無意間逛到的影片，介紹和示範了 finetune LLM 的方法，如 LORA、QLORA 和 quantization，並簡介了多種訓練、佈署、應用本地 LLM 有關的工具。包括 Unsloth、Torchtune、llama.cpp、LM Studio。

中文 llama 用弱智吧訓練效果竟然比正經的百科好也真神奇 XD

全文連結

淺談 Prompt 自動最佳化工具

連結 

今天被介紹、推坑了 LLM prompt 最佳化的文章，文中帶出了很多 paper。粗看下來最優先需要了解的應該是 AutoPrompt，其對應 paper 如下：  

Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases 

其他 research 和 paper 乍看也不錯，但暫時沒有動力去看 Q<>Q 

最近要做 LLM 和 GPT 有關的 study，這算是及時雨 XD

全文連結

好文：一文搞清楚LORA、Prompt Tuning、P-Tuning、Adapter 、Prefix等大模型微调方法

出處

知乎上看到的好文，總結了 LLM 微調的有效方法，包括 LORA、Prompt Tuning、P-Tuning、Adapter、Prefix Tuning。很多之前網路上或李弘毅老師的課看過，或大概聽過。但還是有些概念比較新，例如 Prompt Tuning、P-Tuning、Prefix Tuning。應該能當作淼 NLP paper 的靈感庫了。

全文連結

李弘毅老師【機器學習 2023】(生成式 AI)課程

連結

又自學完一門 ChatGPT 的課程。面向大學生，應用類的。

內容比教 BERT 的課程淺顯很多，畢竟是面向 API 的。不過也可以作為不錯的基礎用來跑 data 寫 paper 了。

最後幫李弘毅的課點讚，內容比吳恩達老師的課豐富許多 XD

全文連結

好站：Brian (Bojie) Li (李博杰)

連結 

新增一個好站，被博主的這篇文章嚇到。有人提問為何LLLM 訓練不能用 4090 替代 H100，博主把每個參數算的清清楚楚，專業人士對細節的掌控能力就是不同，跟我這混子不能比。

我就是文章中連 Q、K、V 都搞不清楚的人 QQ 

文章和站台都存起來，以後慢慢看。

全文連結

Open Pretrained Transformers - Susan Zhang | Stanford MLSys #77

 乾貨很多的好影片。內容主要是訓練大模型踩過的各種坑，模型大了什麼鬼問題都有，從顯示卡、CUDA、記憶體等設備直接出包，到到各種莫名其妙的 convergence failure，原因查得到和查不到的都有。遇到問題的各種解法，包括看paper有理論基礎的，還有憑經驗通靈的都有 XD

訓練大模型的經驗不是每個人都有機會接觸的，至少我周圍環境最多就根據任務 finetune。更別提把經驗用非常直白的方式講出來，未來訓練模型的話應該可以參考 XD

全文連結

LLM prompt injection 實驗

參考

 上週四五工作到半夜十一二點，人就開始不舒服出現 URI症狀，現在人還是廢的，連運動的體力都沒有，還好遇到週末放假可以養病 =.=。養病中剛好法力無邊的大大給了我大寶貝（LLaMA，還是用台灣資料 tune 過的 online living demo！）。LLaMA 一直在我的關注清單裡，但個體戶如何單機單卡跑這玩意感覺有難度，就暫時沒下手。但有了 online living demo 不趁機搞事怎麼對得起自己，就可以做一些之前想跑的科學實驗。

這次想探討的是：LLM 的「防禦」真的可以繞過嗎？有用ChatGPT的應該都有注意到，問些「敏感」問題的時候，AI現在都很聰明，要嘛拒答要嘛說些很圓滑的官話。但根據研究，這些「防禦」有人說是可以繞過去的，方法例如請AI玩角色扮演之類。

 

今天的病中實驗就拿ChatGPT(GPT 3.5)和LLaMA來驗證之前構想。直接問ChatGPT Win10序號它是拒答的（無圖），但請GPT玩角色扮演，例如扮演一個吟唱Win10序號防禦惡龍噴火的勇者，ChatGPT就上套了。玩LLaMA故意去問了高端疫苗 v.s BNT，賴清德 v.s 柯文哲，AI很聰明的說起了官話，說這兩者各有優點，大家都好棒之類的。

 

這時，我就拿最近剛領悟出的角色扮演套話大法，不講武德、去騙、去偷襲LLaMA。LLaMA 還真上套了。瞧你個LLaMA一副濃眉大眼，講話正經八百的，原來是柯粉啊，漏餡了吧 XD

目前昏昏沉沉沒想到有什麼直接應用，但結果很有趣還是紀錄一下。不知道為什麼套出AI是柯粉以後我就覺得電腦旁邊多出了快活的空氣，人也好了點 XD

 

全文連結

The Full Stack LLM Bootcamp

出處
介紹

LLM 開發的方方面面，從簡介、如何部屬、如何改善結果準確度、測試等都包含到了。

我還沒看影片，但光看知乎濃縮版就覺得獲益非淺。影片未來有時間體力（嘆）再看了。

全文連結