星期三, 11月 29, 2023

斯坦福李飛飛 CS231n 計算機視覺課程

連結

記錄一下最新上完的課,奔著 Stanford 大學的名字去的。不過有點失望,課程有點虎頭蛇尾。前面講深度學習基礎的部分還可以,講的深入淺出,但從 RNN 以後的課基本上就不行,都是帶一堆 paper,然後每個重要 work 抓幾個沒頭沒尾的公式出來講,都聽不大懂,抓不到 intuition。特別是其中還有一位講者,講得非常混,ppt 念稿大師,重要內容含糊帶過,觀眾在彈幕一致吐槽。

課程最後一集來賓演講就非常好,第一位華人講者 Song Han 大神分享很多深度學習優化乾貨,訓練、推論、軟體、硬體都具體而微帶過了,第二位來賓是 Goodfellow 大神,講 Adversarial Attack,不過後半部就講得比較深聽不懂。

感覺還是得乖乖念 paper QQ




全文連結

若渴活動分享

11/25在愛好者活動進行分享,值得紀錄一下。難得被邀請,主題講知識管理也有點關係,就把之前做的地址分析還有 NLP 研究拿出來。

分享的東西技術水平不深。地址分析的梗在於花幾年的時間大力出奇蹟的工人智慧 data cleaning,然後做到一半才發現工研院早就把能做的東西做出來了,算法細節摳得比我更完善。下個版本我應該會照抄吧 XD

NLP 的部分,主要是用 BERT 過濾否定語句(No evidence of...)讓搜尋引擎提高搜尋正確率。這在 NLP 好像是純應用,且不熱門的的主題。難怪 paper 寫好了沒人要 cite(轉圈圈)。也沒用很難的技術,就只是大樣本(一人標六千筆!)開路,其他就套模型調參。然後指出非深度的算法都有局限,對文本都有不實際的假設。例如醫院的報告,很可能連「報告的英文是個句子」的假設都不成立(metastasis(-) HBV(+)),導致通用的 NLP 庫各種掛點。

除了指出大樣本訓練 BERT 專治各種不服,有價值的部份應該就是優化吧。當初發現生產環境上沒有 dGPU 給我用真的傻眼。最後換 TinyBERT 搭 ONNX runtime 解決 CPU inference 問題。












全文連結

星期三, 11月 22, 2023

半轉職

每次職業倦怠症,都會想如果當年走工程師職,現在會是什麼光景。結果沒想到我沒有實際轉職,半轉職就自己來了。

為了方便撈資料,自己花了幾年做了一個基於 Elasticsearch 的玩具系統,把資料請下來,慢慢經營起來。沒想到因緣際會變成我司需要的系統,也因此後可能就成混合職業,雙途徑菜雞 XD

雖然可以做自己有興趣的事,但也可能從 Teamwork、溝通、專案管理到執行都要包。沒前例可循,事情都要摸 XDDDD

現在心情才慢慢消化完,跟兩位強悍又低調的大大一起吃飯。經過兩位大大點撥某高級 Fullstack Hello-World Intern,現在總算心中踏實點 XD


全文連結

星期日, 11月 19, 2023

和學長吃飯

這週跟認識學長送別。我專業可以成長,也少不了學長和前輩們的指導。學長臨走之前,還把多年教學資料一口氣給了我,整整快 1T 自己做出來還有蒐集的的投影片和資料。

學長是很認真的人,很遺憾健保體制之下,不容許慢工出細活把事情做好又不積極追求產值的人。

跟學長夫婦吃完義大利麵,幫忙把電腦弄好,順便陪伴聊天。也只能默默祝福他新生涯順利了 

照片附上餐廳的貓貓大美腿 XD

全文連結

星期日, 11月 12, 2023

Serious Sam: Siberian Mayhem

Steam 商店連結

換新電腦後第一款FPS XD

Serious Sam 也是從小玩到大了。高中時玩第一代,印象中跟 DL、Twsam 他們在 302 偷偷連線,牛形怪沖過來的時候 DL 還會大喊一聲「牛~~~~」,年輕的日子回不去了(嘆)。轉眼間,第三代破過一輪也是2016年的事,四代也全破了。換電腦後為了感受新電腦和 6650XT 的效能,就把這款拿出來玩 XD

遊戲長度略短,三、四代我記得都二三十小時才破一輪,這款十幾小時就破過一輪。

難度感覺比本傳來得大,一開始玩「困難」,結果第一關連1/3都過不去,只好換普通難度。普通的難度其實也偏高。有些地方就是無腦堆怪,例如,印象中有一個支線任務要坐電梯到地底,電梯向下的過程之中怪就一直噴出來,問題是,電梯平台很狹小,還沒有障礙物和高低,根本沒有地方可以躲,只能瘋狂身法閃躲還有用血條跟怪換。有個專長是用近戰攻擊殺怪可以吸血這時候才知道原來是這樣用的。

反倒是有的關卡怪更多,但是能找到 chokepoint 或猥瑣點位,能把怪聚在一起用 AOE 清掉反而還好

最後打 Boss 是本傳叛徒 Brand。Boss的最終戰做的很用心,Brand 的動作都非常帥,還有二段變身。二段變身看起來機制上是可以斷的,但我沒有一次瞬間輸出足夠 XD。

遊戲後半越來越難,靠自動存檔根本撐不過去,才想起有手工存檔。後來就一路 S/L 過去了。

遊戲還有不止一輪 New Game+,可以繼承武器、專長點數。還有新道具,然後敵人變三倍,敵人和你都變得更脆皮 etc. 不過暫時不想玩 XD

全文連結

好站:Brian (Bojie) Li (李博杰)

連結 

新增一個好站,被博主的這篇文章嚇到。有人提問為何LLLM 訓練不能用 4090 替代 H100,博主把每個參數算的清清楚楚,專業人士對細節的掌控能力就是不同,跟我這混子不能比。

我就是文章中連 Q、K、V 都搞不清楚的人 QQ 

文章和站台都存起來,以後慢慢看。

全文連結

星期日, 11月 05, 2023

整理家中

工作換院區、搬家,兩臺舊電腦退役、整理家裡面發現好多老物,一代神卡 AMD HD7850,放到現在還能力壓我電競筆電的 940M 獨顯,還有 RX380、RX460 XD。鎖在櫃子吃灰的 Intel Q8600 和板子,還有放到忘掉的 LG G pro 2 和開機就過熱的 LG V20。

現在備(ㄌㄥˇ)用(ㄅㄢˇ)機(ㄉㄥˋ)更換為技術進步數代的 Intel i5-4460 和 AMD RX580。更之前的上古設備就回收了。我筆電好像還有台大學五年級得到的 IBM X200,配備主流的 Windows XP 作業系統,現在還能正常開機使用不過好像被我灌成 Linux 了。一堆沒玩的遊戲光碟也丟了,新機器也沒有光碟機了。

電腦設備和時間真的都好快 QQ 新的生活,新的工作,開始。

先進的 AMD HD7850,支援主流顯示規格DV還有先進的HDMI、MiniDP。VRAM多少我忘了QQ 放到現在還是能力壓我筆電獨顯 940M
 
HD7850 正面照
 
上下分別是 LG G pro 2 和 LG V20,後者一開機就馬上過熱,重設都沒用。 
全文連結