讀論文：Less is More: Recursive Reasoning with Tiny Networks

連結

這篇論文挺有趣，裡面提到的 HMM 和 TRM 架構，讓我想到 RNN 。不過在RNN中，Recurrent 是讓 latent space 隨時間演化，最後 prediction 才參考一次 gold label 進行 BPTT，而這篇文章中的 TRM 每次遞迴的大步（deep supervision）都維護「當前答案 y」與「推理潛變數 z」並參考 training gold label 進行更新 z 修正 y。

全文連結