實變函數聽課心得

影片

社會人士資工自學計畫又有了新進展，值得紀錄：終於完整「聽」完一次實變函數課。

聽課前就聽聞這門課高難，所以一開始就決定 easy 模式破關就好，B 站逛了一圈挑了一門評價高、純用中文、老師刻意講白話，好聽懂的課（我就廢 :P） 即使如此，實變也是我聽過最 hardcore 的數學課，沒有之一。第一次聽課能聽到物理性眩暈。

這門課的難度每個章節都指數提昇，一開始介紹集合論、De Morgan’s law、上下極限這些章節覺得抽象但好像還行？後來講基數、伯恩斯坦定理的證明就開始腦疼，但這些在接下來測度論、 Sigma 代數的面前又黯然失色，一路上到課程最後講勒貝格積分、葉戈羅夫定理、法圖引理這些重要理論時，大腦開始反覆熱當，一個影片重播兩次是家常便飯，到最後進入勒貝格積分微積分基本原理及其限制這些大後期課程我其實已經跟不上，只是抱著聽懂多少是多少的想法勉強把課聽完。

修這門課也是第一次發現，原來數學課還可以上到情緒跌宕起伏。有堂課老師檢討習題，題目是「一間大學的學生以及全國的大學生，何者的基數較多」老師用非常痛苦的語調指出她本意是送分，但竟然有 20% 的學生答「一樣多」，聽到這我就樂了，學這玩意學成智障的不只我一個 XD

另一個印象深刻瞬間，是老師介紹完勒貝格測度，開始講勒貝格積分的第一節，老師用非常颯爽的聲音說「前戲終於介紹完了，可以開始進入正題」，這一瞬間真的有想砸爛螢幕的衝動，看影片彈幕，有這想法的並不少人 XD

整門課聽完後，很悲情的發現，單學實變好像根本沒用，只是有了修其他課的資格而已。不過聽這門課也只是為了未來深入理解機率、統計做鋪墊，至少可以試著解讀那些用測度論語言包裝出來的高等機率論，不至於第一張投影片就開門秒殺。

但一切前提是先鞏固所學，影片指定程其襄老師的書太精簡看不懂，三步一個「顯然」五步一個「請讀者自證」讓人絕望。Folland 那種英文硬書更是連 introduction 都啃不下去 orz 好在根據網路評價，程的中文書並不是最簡單的，還有更簡單更適合新手周民強老師版 XD 決定找最簡單的中文書，過例題就好，至少課程不要白聽，至於實變習題 CP 太低果斷放棄。

之後不大想碰這麼純理論的數學課了 orz 老師還推薦集合論、拓樸學上起來很有趣，老師請猜猜我信不信？XD

全文連結

影片:程其襄《實變函數》實變部分

連結

過完（？）高微之後就試著進階實變了。很幸運的是實變的部份也找到好的課程。

好課真的幫助巨大，之前遇過另一位老師，高微開頭直奔 metric space 的定義然後各種證明，用未知概念解釋未知概念，最後上到霧煞煞只能放棄。雖然老師講的很認真，清晰，但就是不適合我的程度或情況。

這門課老師會先用不大精確的例子說明 intuition，然後給出精確的定義和證明建構理論。先講證明背後的思路，再給嚴格證明，不失嚴謹的同時卻又兼顧好懂，上起來感覺好太多，例如講內外測度的時候，先講用尺量身高「有餘」和「不足」的譬喻，metric space 不直觀的性質，先說在 Rn 上的情形，再推廣回一般 metric space 比較兩者差異，於是這個性質在 Rn 和一般 metric space 上都整明白了。講者是中國清華大學數學系碩博，省級高考狀元，確實厲害。

全文連結

高微聽完一輪！

高微聽完一輪，值得留念一下。

研究數學是為了讀 deep learning 的 paper。（在職）碩士畢業，看到連乘符號∏只能「那葛像拱門的符號是什麼」然後關 paper，讓人汗顏。

一開始自學中文書，但發現數學荒廢二十年，加上年齡體力不如以往，高中能熬夜讀書，現在太累就眩暈耳鳴頸椎病皮膚炎一波帶走，看書自學計畫失敗。

後來刷到 B 站播放量一億宋浩教學影片，自學計畫復活，竟然成功把整套初微影片看完，中文影片中文課本把初微過了一遍。Rudin 那種名著就不指望了。靠著宋浩大神還順便聽了線代和基礎機率。

自修初微後，狀態改善但還不夠，所以想自學點更深的數學。

但遇到高微就開始嚴重卡關，宋浩老師的數學分析跟初微重疊太多，感覺不像數學分析，聽了一部分後棄。其他老師有把金剛經和數學合在一起講的，有當成武俠小說講的，「戴德金分割，duang 的一聲在數線上砍出了無理數！」，有的老師講的清晰，但起手就講 metric space，本 Rn 都整不明白的萌新撐沒幾章就棄了。

所幸後來找到師範大學李國瑋老師的課，再度成功復活。李老師的課建構在實數系上，看到「Bolzano-Weierstrass theorem @ Rn」實在淚流滿面，斯是 Rn，惟實數馨，無 metric space 之亂耳，無拓樸之勞形。那些更抽象的東西，實變再還。

如果有面板，現在應該會顯示技能「實變函數」已經可以開始加點。起碼現在看了第一堂影片，透過狄利克雷函數黎曼不可積來論述黎曼積分侷限性，不會馬上大腦過熱掉線。如果能熬完實變，應該能接測度論、高等概率，複習一下線代應該就能再戰 deep learning 的數學。很多好東西因為數學卡住而放棄，例如某門 Probabilistic Machine Learning，上到第三堂老師開始介紹 Sigma algebra 我人就不好了，現在只能一直擺著。

現在最大的問題，就是習題進度嚴重跟不上。目前習題進度還卡在初微如何運用積分表的章節，跳著做搭配例題還是做不完。要把高微這種難課的證明全做一遍鞏固修為遙遙無期。預估真實戰力頂多相當本科生 PR10~PR15。

有趣的是，李老師的課程影片 Homepage 在我聽完課後竟然就 404 ，Internet archive 只有舊版，好在我在 ipad 上翻到還沒關掉的分頁，趕快另存新檔匯出，有種武俠小說洞天福地找到傳人後就自行銷毀的感覺，也算趣事 XD

全文連結

Software Engineering at Google 影片

連結

神書的線上影片版。有空再來補。

全文連結

影片：拯救資工系學生的基本素養

影片

新爬到的播放清單，內容涵蓋軟體工程的許多方面入門，如 clean code、CI/CD 等。未來找時間看看 全文連結

三門數學課

來源

B 站看到的神 comment。「测度论和概率论看IMPA，大样本理论（渐近统计）看UCLA的jingyi jessica Li，高维概率论看原作者Vershynin，高维统计看UCLA ARASH AMINI的，机器学习理论看斯坦福tengyu ma的。统计学Phd在B站可以上完了」

這陣子看神課 Probabilistic Machine Learning 看完兩堂，但看到第三堂 ppt 真的越來越 yabai，投影片看起來需要技能樹非常硬核，可能是實分析 -> 測度論 -> 機率這個硬派進階路線。但我數學分析才剛開門，大佬別玩我 >"< 可能先繼續看下去，如果老師講的完全聽不懂只好回頭補數學了。整理三門課先放著 XD

實分析

大佬陶哲軒的。手上有中文課本和習題解答，選這堂應該有機會事半功倍。數學和寫程式一樣，做題才是本體 QQ


概率論

測度論

全文連結

Probabilistic Machine Learning -- Philipp Hennig, 2023

Youtube 播放清單
投影片

好課，把 ML/DL 會用到的機率知識整合起來，而且深度非常夠。

現在坊間「AI 背後的數學」課和書籍不少，但大多數太淺，例如微積分可能就講到 chain rule。對於看 paper 來說完全不夠用，課本和 cutting edge research 有巨大落差。直奔數學系的課，內容又太多不知從何學起，像本座高等微積分現在才換了老師剛看到收斂數列的性質，初微、線代課看完了現在習題都沒做 XDDD 課程還提供投影片讓人自習。非常慷慨。

原本是 B 站上看的，但 B 站沒搬運到最新的版本，且字幕不全，就去 Youtube 找最新完整版了。

全文連結

Stanford MedAI group

連結 

在找尋 Weakly supervised learning 的時候挖到的。我想看的是這個：MedAI Session 20: Many Faces of Weak Supervision in Medical Representation Learning | Jared Dunnmon 

感覺根本就是 cutting-edge 寶藏海，挖 paper 題目就靠這些寶貝了 QQ

全文連結

矩陣微積分

機器學習中的數學-矩陣微積分
01 02 03

MIT 18.S096 用於機器學習及其他領域的矩陣微積分
播放清單

B 站發現的兩門好課。當初看完宋浩老師的高等數學（初等微積分）後，去看 ML/DL 論文，發現我缺了向量微積分和矩陣微積分，B 站找到兩門課，第一門很簡短的把 ML/DL 比較會用到的向量、矩陣微積分公式做了彙整，MIT 18.S096 則是正式的大學本科課，講的就詳細很多，先看精簡版再看 MIT 兼取兩者之長，可以得到 MIT course 的收穫但又不會迷失不知道重點。

全文連結

Brandon Foltz

連結

統計學和數學 up 主。剛看了 Statistics101 講的簡單俐落，之後認真學 SPSS 之前應該可以先設法看完 XD

全文連結

Weakly supervised semantic segmentation for CNN

 我司最近忽然提起可以試著用醫學影像發 paper。但我完全是外行，從數學到模型到寫程式都需要自學，還沒有人標資料，差點把我嚇出心臟病。

CV 和之前玩 NLP 不同。NLP （至少我自己那篇）可以用 regex 或其他方法先弄出不那麼精確的 label 再人工校正，不需要真的從無到有通通自己標，但 CNN 至少我目前還不會這些方法。所以只好趕快去問網路。

目前找到一門課還有一份 slide 可以看。

ECCV 2020 WSL tutorial: 1. Introduction to the tutorial on Weakly Supervised Learning



Weakly Supervised CNN Segmentation: Models and Optimization
來源

不管會不會看，松鼠黨先屯了再說 XD

全文連結

李弘毅老師【機器學習 2023】(生成式 AI)課程

連結

又自學完一門 ChatGPT 的課程。面向大學生，應用類的。

內容比教 BERT 的課程淺顯很多，畢竟是面向 API 的。不過也可以作為不錯的基礎用來跑 data 寫 paper 了。

最後幫李弘毅的課點讚，內容比吳恩達老師的課豐富許多 XD

全文連結

Aladdin Persson

Aladdin Persson Youtube 頻道

紀錄一下一個 Deep Learning 大神的頻道。這是研究 Yolo V1 看到的。大神表演現場用 Pytorch 手打 YOLOV1 訓練、推理、程式碼。連 import library 都直接背。Linkin 看了一下果然是相關職業背景。職業強者果然不一樣 XD  

全文連結

斯坦福李飛飛 CS231n 計算機視覺課程

連結

記錄一下最新上完的課，奔著 Stanford 大學的名字去的。不過有點失望，課程有點虎頭蛇尾。前面講深度學習基礎的部分還可以，講的深入淺出，但從 RNN 以後的課基本上就不行，都是帶一堆 paper，然後每個重要 work 抓幾個沒頭沒尾的公式出來講，都聽不大懂，抓不到 intuition。特別是其中還有一位講者，講得非常混，ppt 念稿大師，重要內容含糊帶過，觀眾在彈幕一致吐槽。

課程最後一集來賓演講就非常好，第一位華人講者 Song Han 大神分享很多深度學習優化乾貨，訓練、推論、軟體、硬體都具體而微帶過了，第二位來賓是 Goodfellow 大神，講 Adversarial Attack，不過後半部就講得比較深聽不懂。

感覺還是得乖乖念 paper QQ

全文連結

B站宋浩線上課程進度

《概率論與數理統計》教學視頻全集（宋浩）

《線性代數》高清教學視頻 “驚嘆號”系列 宋浩老師 

《高等數學》同濟版 全程教學視頻（宋浩老師）
 

看 deep learning paper 和教材的時候發現自己是數學文盲，這陣子補了點資工數學。

今天終於聽完 B 站上宋浩的高等數學、線性代數、概率與統計三門課，共聽了快 150 小時。

有教學技巧很好的老師帶還是差很多，果然大學以上數學不適合已散功20年的業餘人自學。還是聽中文老師用全中文教材安逸些 Q<>Q

但還是要吐槽對岸教材。同濟版高等數學還行，有老師帶還是能跟上，就習題分布非常詭異，一個導數的小章節，計算題可以出 60 題是怎樣。中國的線性代數教材就玄了，第一章先講行列式，接下來講矩陣，矩陣教完教向量，最後才講線性空間，這是詭異的什麼倒敘手法。概率與統計還行，先聽微積分，有辦法看證明才搞的懂某些東西在幹麻，但課聽完還是跟研究用的生物統計接不起來，好像技能樹還是有缺東西。

最後讚嘆網路的方便，以前大學時代根本沒這麼多資源可以看。然後勉勵自己習題要跟上，高數習題還卡在第二章（懶）

全文連結

《概率論與數理統計》教學視頻全集（宋浩）

連結

看完宋浩老師的第二門課，值得記錄，可喜可賀 XD

學機率與統計的原因，是為了更好銜接生物統計。當年在醬料系的時候，數學相關的課程基本時間不夠，跟臨床關係不大，老師基本都是匆匆帶過，接近亂教 QQ。所以到了後面的生物統計，因為數學底子不夠，基本上只能背課本考試，無法實際運用，還很快就忘光。現在臨床研究要使用，我連 t 分佈、線性迴歸都不會用了 QQ

這門課老師上課品質很好，節奏穩定不匆忙，所有概念都講得很清楚，加上看完高等數學後，能真正看懂需要積分進行的證明，比當年學習感覺好很多。雖然課程到了結尾，統計只涉及幾種常用的簡單分佈和基本假設檢定，臨床研究會用到的線性迴歸、ANOVA、存活分析等都沒提到，但我想有了更好的基礎，再去學應該狀況會好很多。

接下來下一門應該是線性代數，線性代數基本擋修深度學習，統計好像也仍然會用到，至少我看一些統計檢定（如 Shapiro-Wilk 常態檢定），推導和證明還是有向量和矩陣，等線性代數看完再來攻難一點的統計學好了。也期待習題進度可以快點，例如做幾萬年的高等數學習題 Q<>Q

全文連結

極安御信 - 30天逆向工程師速成訓練營

課程連結

今天逛B站偶然看到有人推廣逆向工程的課程，紀錄一下 XD

對逆向工程一直有點泛泛的興趣，但一直沒有好的系統性的課程可以學。B 站很多白嫖課各有各的問題，更不可能有課後作業教師解答。我又不大擅長自己歸納整理和做實驗形成體系。

難得看到有系統的課程、價格也沒太離譜、目錄看起來不錯，記錄一下，不確定會買就是。

全文連結

Elasticsearch 線上課程

課程網址

紀錄一門透過 B 站學習的 Elasticsearch 課程。

我之所以學 ES，是因為與其他部門合作的圖資系統需要使用它。目前，我已成功將基於ES的自行開發系統上線，並在科裡面運作良好。除非未來換工作，否則這套系統的開發維護應該就是我。

之所以決定學 ES 的線上課，是因為我在學習 ES 方面一直難以成長。我一直是通過看 tutorial 硬幹的方式來學，但這種方式已經遇到瓶頸了。幸運的是，我在 B 站找到了這門針對初學者的好課。這門課從 ES 的安裝開始，一直講到重要的查詢操作和背後的原理，還提供了一些應該避免的坑。

通過參加這門課程，我對 ES 的理解有了明顯的提升且變得更加系統。學完後重新檢視之前的系統設計，我發現許多地方都不理想，甚至是錯的。我對未來優化系統有了更多的想法和方向。

令人遺憾的是，這門課程只涵蓋了初級知識，只到講解了重要查詢操作為止。一些更進階的主題，如 clustering 和底層算法、資料結構，講者開了支票說未來會有更多影片，但已經隔了幾年沒有消息。看來應該是爛尾了。

不過，根據目前學到的知識，我想對於未來繼續開發現有系統已經很夠。系統目前日查詢不到一次，資料規模幾百萬筆，單節點單伺服器的架構已經夠用，應該可應付相當長一段時間。我也沒有考相關認證的打算，所以缺少的知識點，等有需要的時候看其他影片或書籍來補充應該就可以了。

全文連結

計算機網路課程

網址

又聽完了一門 B 站的好課。

網路一直是我想修的課，在 CS 也很基本。本來我是透過七拼八湊、片段的網路文章和書本章節學習，雖然唸了本 Computer Networking: A top-down approach，但因為沒有人帶、沒有考試、純粹娛樂性自修的關係，吸收多少存疑。一直沒有系統的理解，知識不成體系。我在職碩班也沒特別鑽研。

這門課用不長的時間，把網路從底層往上講，講者有網路實務經驗，穿插很多實例，講的簡單好懂，透徹明白，對我初學者領悟基本原理幫助大。

缺憾就是，應用層新應用講的不多，某些部份（如網絡安全）滯後且太過簡單，不過作為打基礎的課非常好。

全文連結

高數影片第一輪通關

《高等数学》同济版 全程教学视频（宋浩老师）

終於完成了一輪觀看同濟大學高等數學教學影片，影片總長76個小時。為了搞定這麼長的影片，我採用之前提到的「將晚上加班時間聽音樂改成聽課」的方法。這些影片若是在加班之後的下班時間觀看，大概沒時間體力看完。

之所以想學習高等數學，主要是為了深入了解深度學習論文。開始接觸深度學習的論文時，已經是大學畢業十多年後，本座只有高中數學的基礎，而且一大半忘了。雖然在大學時修過醫用微積分等理論課程，但實際教學品質很差。我的數學基礎實際上只停留在高中的程度，且已有一二十年未用。儘管後來參加了資工所在職進修，但主要學習應用類課程，而且在職班大家懂的，對於數學等內功的提升並不大。因此，在學習深度學習時遇到了嚴重瓶頸，永遠只能當調包俠、調參俠，無法真正理解背後的原理。

我試過很多方法，如購買專門講解深度學習數學的書，或找正規高等數學教材，但始終因為長期瘋狂加班而沒有時間和體力自學。此外，由於缺乏引導，即使有書籍也無法找到重點。或許花半天時間搞不清楚的證明或計算，其實根本並不重要，或許我自以為可跳過的內容實際上在後面做題時卻非常重要，等到發現時，基礎早已不牢固。另外，中文教材有些地方寫得並不清楚，某些部分可能需要老師的引導才能避免掉坑，而這些我都不知道。因此，我的自學進度非常緩慢，在勉強讀完微分和一些基本積分後，就完全停滯不前。

後來慢速聽完了那70多小時的影片後，重新回頭閱讀書籍時，因為已經有老師在影片中「帶路」，第二次學習變得簡單很多，有點像高中時聽補習名師教導一樣，感覺都回來了。

強烈推薦宋浩老師的教學影片。第一次聽課時，老師提到他的課程可以讓家庭主婦一邊拖地一邊聽，這吸引了我繼續聽。課程播放量已經超過一億次確實有門道，老師教學技巧非常優秀，基本上就像在教高中生。步調控制得非常穩健，預判同學會卡住的地方，也能適時地舉例、講解和比較，並時不時插入冷笑話或戀愛故事讓同學們保持專注 XD 儘管中間曾經有其他老師代課，教得非常差勁，但這部分糟糕的內容後來被其他影片所取代，很順利地將課程重新接回軌道。

目前已看完所有影片，並開始做練習題。雖然統計課本的習題才剛剛做完 1-1，但我對未來感到樂觀。接下來的課程應該會選擇線性代數或機率統計，完成當年遺漏的內功修煉。

全文連結