小踢先生的部落格

連結 這文章真是打動我心，明顯作者踩了一堆坑。RAG 本質就是 workaround，當 LLM context window 不夠長，無法塞進足夠資料的前提下，RAG 就是沒有辦法的辦法。RAG pipeline 很長，Chunking、Embedding、Search、R...

這次需求是英文聽打。之前一直用 AudioPen。AudioPen 即使沒對口音做校正也非常精準，不過它的免費版有個致命的，官網上沒有提到的小問題，就是免費版竟然是有限制的！某天我在手機按下錄音，App 冷冷地告訴我不能用了，要用就要付錢！不過有七天免費試用期優（微笑）。之前一直...

讓 LLM 巨幅加速的猛人，影片值得紀錄一下，再找時間看

連結 今天無意間逛到的影片，介紹和示範了 finetune LLM 的方法，如 LORA、QLORA 和 quantization，並簡介了多種訓練、佈署、應用本地 LLM 有關的工具。包括 Unsloth、Torchtune、llama.cpp、LM Studio。 中文 l...

連結   今天被介紹、推坑了 LLM prompt 最佳化的文章，文中帶出了很多 paper。粗看下來最優先需要了解的應該是 AutoPrompt，其對應 paper 如下：   Intent-based Prompt Calibration: Enhancing prompt...

出處 知乎上看到的好文，總結了 LLM 微調的有效方法，包括 LORA、Prompt Tuning、P-Tuning、Adapter、Prefix Tuning。很多之前網路上或李弘毅老師的課看過，或大概聽過。但還是有些概念比較新，例如 Prompt Tuning、P-Tun...

連結 又自學完一門 ChatGPT 的課程。面向大學生，應用類的。 內容比教 BERT 的課程淺顯很多，畢竟是面向 API 的。不過也可以作為不錯的基礎用來跑 data 寫 paper 了。 最後幫李弘毅的課點讚，內容比吳恩達老師的課豐富許多 XD

連結   新增一個好站，被博主的 這篇文章 嚇到。有人提問為何LLLM 訓練不能用 4090 替代 H100，博主把每個參數算的清清楚楚，專業人士對細節的掌控能力就是不同，跟我這混子不能比。 我就是文章中連 Q、K、V 都搞不清楚的人 QQ  文章和站台都存起來，以後慢慢看。

 乾貨很多的好影片。內容主要是訓練大模型踩過的各種坑，模型大了什麼鬼問題都有，從顯示卡、CUDA、記憶體等設備直接出包，到到各種莫名其妙的 convergence failure，原因查得到和查不到的都有。遇到問題的各種解法，包括看paper有理論基礎的，還有憑經驗通靈的都有...

參考  上週四五工作到半夜十一二點，人就開始不舒服出現 URI症狀，現在人還是廢的，連運動的體力都沒有，還好遇到週末放假可以養病 =.=。養病中剛好法力無邊的大大給了我大寶貝（LLaMA，還是用台灣資料 tune 過的 online living demo！）。LLaMA 一直...

出處 介紹 LLM 開發的方方面面，從簡介、如何部屬、如何改善結果準確度、測試等都包含到了。 我還沒看影片，但光看知乎濃縮版就覺得獲益非淺。影片未來有時間體力（嘆）再看了。