LLM knowledge base 連假碎碎念

感覺又要戴上痛苦面具

上頭臨時要我做 LLM KM。同事還帶來了「成果」，結果只是 Ollama + UI pull model，model 還跑步起來。問了下硬體，是單卡 Tesla T4 以後會「升級」到 4060Ti。還有另外一位說可以用 LoRA finetune 做 LLM KM 以後洗資料就靠我。

這個連假，設法弄出了 SSHd + Ollama + AnythingLLM 三合一 docker image，在 Linode GPU VPS 和 vast.ai 上執行，成功 index document 執行 RAG 回答問題。目標下次見面用 live demo 拿回技術主導權。LoRA 建 KM 還跑不起來的方案我還是算了。

弄好 docker image 後人也病倒了。禮拜四還有新版研究計畫截止目前一個字都沒寫、被退回的稿子還沒再投。週四還排了兩場教學、然後業務排得多還有值班...

全文連結