新增一個好站,被博主的這篇文章嚇到。有人提問為何LLLM 訓練不能用 4090 替代 H100,博主把每個參數算的清清楚楚,專業人士對細節的掌控能力就是不同,跟我這混子不能比。
我就是文章中連 Q、K、V 都搞不清楚的人 QQ
文章和站台都存起來,以後慢慢看。
全文連結工作換院區、搬家,兩臺舊電腦退役、整理家裡面發現好多老物,一代神卡 AMD HD7850,放到現在還能力壓我電競筆電的 940M 獨顯,還有 RX380、RX460 XD。鎖在櫃子吃灰的 Intel Q8600 和板子,還有放到忘掉的 LG G pro 2 和開機就過熱的 LG V20。
現在備(ㄌㄥˇ)用(ㄅㄢˇ)機(ㄉㄥˋ)更換為技術進步數代的 Intel i5-4460 和 AMD RX580。更之前的上古設備就回收了。我筆電好像還有台大學五年級得到的 IBM X200,配備主流的 Windows XP 作業系統,現在還能正常開機使用不過好像被我灌成 Linux 了。一堆沒玩的遊戲光碟也丟了,新機器也沒有光碟機了。
電腦設備和時間真的都好快 QQ 新的生活,新的工作,開始。
Steam 堆了好多 3A大作:重製惡靈古堡4、霍格沃茲、法環、2077...都沒玩。原有的 RX580 已逐漸帶不動。本來想換顯卡就好,但老機器 i5-4460 也變成瓶頸,最後整台升級,還換兩台 XD,這次太舊的硬體就不移植了,老家的光碟機要移植才發現已經放到壞了,然後新機殼還沒可以插光碟機的位置....
本來想買 i5-12400,後來為了用久一點,捏上 i5-13500 多八個小核。板子也用 5k 的板。新機升級感非常強,M.2 SSD 飛快,秒解 4G 的 Office 365,升級感強而有力,強而有力口牙,就剩找出玩遊戲的時間測效能 QQ
本座想在 VPS 上架服務,但是又怕防火牆擋著連不到,就從 Stack overflow上的答案改了個土炮 port scanner,可應用於快速檢測哪些 outbound port 有開。本座主要修改為設定 thread 的數目上限避免執行環境出錯無法 create thread。小工具速度一般,但也夠用了,而且乾淨、方便。
# This script runs on Python 3
import socket, threading
def TCP_connect(ip, port_number, delay, output):
TCPsock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
TCPsock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
TCPsock.settimeout(delay)
try:
TCPsock.connect((ip, port_number))
output[port_number] = 'Listening'
except:
output[port_number] = ''
def scan_ports(host_ip, delay):
threads = [] # To run TCP_connect concurrently
output = {} # For printing purposes
num_thread = 64
for port_range in range(0,10000,num_thread):
# Spawning threads to scan ports
threads = []
for i in range(num_thread):
t = threading.Thread(target=TCP_connect, args=(host_ip, port_range+i, delay, output))
threads.append(t)
# Starting threads
for i in range(num_thread):
threads[i].start()
# Locking the main thread until all threads complete
for i in range(num_thread):
threads[i].join()
# Printing listening ports from small to large
for i in range(num_thread):
if output[port_range+i] == 'Listening':
print(str(port_range+i) + ': ' + output[port_range+i])
def main():
host_ip = input("Enter host IP: ")
delay = int(input("How many seconds the socket is going to wait until timeout: "))
scan_ports(host_ip, delay)
if __name__ == "__main__":
main()
全文連結
看 deep learning paper 和教材的時候發現自己是數學文盲,這陣子補了點資工數學。
今天終於聽完 B 站上宋浩的高等數學、線性代數、概率與統計三門課,共聽了快 150 小時。
有教學技巧很好的老師帶還是差很多,果然大學以上數學不適合已散功20年的業餘人自學。還是聽中文老師用全中文教材安逸些 Q<>Q
但還是要吐槽對岸教材。同濟版高等數學還行,有老師帶還是能跟上,就習題分布非常詭異,一個導數的小章節,計算題可以出 60 題是怎樣。中國的線性代數教材就玄了,第一章先講行列式,接下來講矩陣,矩陣教完教向量,最後才講線性空間,這是詭異的什麼倒敘手法。概率與統計還行,先聽微積分,有辦法看證明才搞的懂某些東西在幹麻,但課聽完還是跟研究用的生物統計接不起來,好像技能樹還是有缺東西。
最後讚嘆網路的方便,以前大學時代根本沒這麼多資源可以看。然後勉勵自己習題要跟上,高數習題還卡在第二章(懶)
準備換新電腦,CPU會上大小核i-13500。本座聽說 Win10 大小核 task scheduling 有問題,會出現小核爆忙大核喝茶圍觀的情況,但又不想升級 Win11 解決,所以去 Google 了解法,等新機器來再實驗。年紀大了,不想一直幫忙最新 OS 解 bug QQ
powercfg -attributes SUB_PROCESSOR 7f2f5cfa-f10c-4823-b5e1-e93ae85f46b5 -ATTRIB_HIDE
powercfg -attributes SUB_PROCESSOR 93b8b6dc-0698-4d1c-9ee4-0644e900c85d -ATTRIB_HIDE
powercfg -attributes SUB_PROCESSOR bae08b81-2d5e-4688-ad6a-13243356654b -ATTRIB_HIDE
powercfg -attributes SUB_PROCESSOR b28a6829-c5f7-444e-8f61-10e24e85c532 -ATTRIB_HIDE
「編輯電源計畫」->「進階電源設定」把兩個有關異質執行緒的都改成慣用更具「效能」的處理器。中文翻譯不大好,更具「效率」的處理器指的是更省電的 E-core,還有要選「慣用更具效能的處理器」,而非「更具效能的處理器」,前者大核忙時餵小核,後者會只用大核。
因為平常會使用至少兩台桌電和一台筆電,最近又可能組新電腦,就來研究怎麼自製 Win10 ISO,避免每次新安裝一台電腦都要重灌一堆軟體才能做映像檔
。
個人步驟如下
http://www.uup.ee/ 提供的檔案可以整合更新檔
去除 Windows Defender (我用其他免費防毒)、Cortana,其中組件要移除,後方對應設定要改。並調整 Windows 10 更新為自動下載但不自動安裝。禁止自動升級驅動程式(!),禁止在使用流量計費網路的時候下載更新。
用 VirtualBox 建 VM,用 NTLite 精簡好乾淨 ISO 裝系統,系統要建兩個硬碟(另一個槽後面要拿來暫存自建的 install.wim),預裝一卡車軟體,中間當然重要步驟都要快照,安裝軟體包括:
Locale Emulator
.Net framework 3.5、4.8
Directx 9.0C
Lumicons
Mozilla Firefox
Google chrome
Mactype
Notepad++
ConEmu
各版本 RPG Maker runtime
新酷音輸入法
Macrium Reflect Free
BandiZip
VC runtime 網路上 all-in-one
a. 裝好後用以下指令讓 Notepad++ 完全取代 Notepad
reg add "HKLM\Software\Microsoft\Windows NT\CurrentVersion\Image File Execution Options\notepad.exe" /v "Debugger" /t REG_SZ /d "\"%ProgramFiles%\Notepad++\notepad++.exe\" -notepadStyleCmdline -z" /fb. Win+R --> shell:startup--> 建立 .ahk 檔案,輸入以下內容,讓 Ctrl-space 可以代替 Win-Space,微軟注音移除。
^Space::#Space未來安裝英文語言包後,這些變更可以達成 Ctrl-Space 切換新酷音,不會被 Windows 10 的 Shift 和輸入法搞的很不習慣
c. 這次 Stopupdates10 暫時沒裝,先試試有沒有其他方法確保能裝安全性更新,同時避免被硬塞 Windows 11。上次用了 Stopupdates10 雖然擋了更新,但是還原不回來 QQ
d. 關掉系統還原
e. 照這篇用 gpedit 去除最近使用過的檔案紀錄
f. 用這篇gpedit 方法限制 Windows 最多更新到 20H2(主要是不想被硬塞 Windows 11)
sysprepd 還原到 OOBE、完事後關機。中間遇到衝突的軟體,參考這篇內容,用 Powershell remove-appxpackage 指令去除。
我用 Macrium Reflect Free 建立的救援媒體,下
dism /Capture-Image /ImageFile:D:\install.wim /CaptureDir=E: /Name:MyWin10Image /Compress:fast此處注意,dism 後面參數不需要 /boot。
dism 打包的 install.wim 用共享資料夾傳到 host PC。把先前 NTLite 精簡過的 ISO 解壓縮到暫時目錄,裡面的 source/install.wim 用自製 install.wim 蓋掉。
用 imgburn 將上個步驟的暫時目錄建立為 bootable ISO,其中「選項」我選擇包含隱藏、系統檔,檔案系統我選 UDF,「進階」->「可開機光碟」一定要勾選讓映像檔可開機,下方開機映像檔指向映像檔目錄 boot\etfsboot.com,載入碟區應為 8(我用 64bit ISO),其實 imgburn 偵測到燒錄內容有 install.wim,會自動偵測並警告參數錯誤,一律照 imgburn 的建議做修改!
VirtualBox 開另外一台 VM,用新建的 ISO 檔安裝系統,確認系統能進入桌面,額外裝的一大堆程式都在,完成!
放完假,不到兩個禮拜又感覺狀態變差,又把小確幸電腦程式拿出來玩
這次剛好手上有適合的案子,需要從某表單程式查大量資料然後抄到表格裡。順手把之前經過准許開發的AutoHotkey機器人拿出來,迎接它的第一單正式任務。雖然中間發現有漏 data 所以patch 了機器人重跑,但機器人很賞臉,三四天就能爬完八九百人的資料,代替人眼看過約幾十萬行文字。
之後 Python 寫好,一分鐘就填好了三萬多個 Excel 上的格子,用 AHK + Python 連環組合拳去對付 1998 年 VB6.0 表單程式,有種兩軍作戰武器領先好幾代的成就感 XD
以前就覺得,這種查表填表的工作用人力來堆,根本就大聰明•肝花不完,這次實作結果佐證此想法。而且目前我司某些系統建置還在 Coming Sooooooooooon 的階段,這套機器人和分析程式組合拳看來還能發光發熱很久 XD
不過再看了下 data 發現還是有些 missing value 和可能沒考慮到的 Column,之後回我司上班,再看一下到底是真的沒有,還是程式有 bug,設法把 missing value 能填多少就多少。
記錄一下新發現好吃的店,南紡排壽司郎排不到就發現這家了,已經去好幾次了。
價格有點小貴,套餐加個前菜就七八百,但義大利麵、燉飯、還有冰淇淋都好吃。冰淇淋口味跟餐廳常有的 Haagen-Dazs 等不同,吃起來奶香多些,另外雖然小貴,但整體價格感覺還是比南紡另外一家 BELLINI Pasta 便宜些。
現在還發現他有外帶 88 折,以後回臺南工作,應該可以時不時請小短腿來外送吧 XD
乾貨很多的好影片。內容主要是訓練大模型踩過的各種坑,模型大了什麼鬼問題都有,從顯示卡、CUDA、記憶體等設備直接出包,到到各種莫名其妙的 convergence failure,原因查得到和查不到的都有。遇到問題的各種解法,包括看paper有理論基礎的,還有憑經驗通靈的都有 XD
訓練大模型的經驗不是每個人都有機會接觸的,至少我周圍環境最多就根據任務 finetune。更別提把經驗用非常直白的方式講出來,未來訓練模型的話應該可以參考 XD
今天和母親一起去北投,因為異位性皮膚炎身體不舒服,就附近繞一圈、中間吃飯,就回捷運站結束北投行程。期待已久的餐廳今天還只有賣定食 orz
之後和母親分開逛,去了很久沒去的光華商場和三創,看到熟悉的光華商場和三創一樣熱鬧,不禁想起十多年前身為學生的時候,那時很喜歡打電腦但沒錢買高端設備,現在已經有能力買好點的設備但沒時間和體力打電動了 QQ,隨手買的明太子帝王蟹肉串,雖然貴了點($120),但好吃XD。三創宅店區,又比光華更熱鬧,看到這麼多同好內心無比欣慰,感覺國家未來有希望 XD。
回飯店和母親一起吃了晚餐,飯店天香樓真的貴,但東西好吃還很有儀式感,我們點過得菜色還特別用毛筆字弄個小作品讓我們可以帶回家,還真的是有心了。
今天新聞看到,不肖業者販賣AI製作的虛擬兒少色情圖,官員要依「兒童及少年性剝削防制條例」處罰,比照真人裸照。雖然我對維護社會清淨拍手叫好,但對法規適用不能認同。
依「兒童及少年性剝削防制條例」條文,其目的在保護兒童免於性剝削,虛擬照片除非可連結到真人,否則虛擬人物不是人,非該法適用的「兒童及少年」應無疑義,怎能比照傷害真人依該法辦理?
若說虛擬色情助長戀童歪風,未來恐傷真人,故應比照處罰,邏輯依不成立。舉例而言,也有人說電玩讓人學壞,虛擬世界殺人導致校園槍擊案,若官員邏輯正確,是否電玩中殺人也該比照殺真人辦理?為避免侵害人權,刑法應採嚴格、狹義解釋,把保護真人免於性剝削的法律,適用到虛擬人物,甚至卡通、漫畫人物也適用,恐不符立法意旨,甚至變成動輒入罪。
對不雅圖片造成歪風,已有刑法「妨礙風化罪」等法律處罰,實無必要頭上安頭,扭曲解釋。若虛擬「色情」等同真人,我只好第一個自首,我小時候天天看「小叮噹」,漫畫中大雄常偷窺宜靜洗澡,現在想想,真的好色情,好淫穢啊。
----
對時事感想,投稿希望會中 XD
- 文獻閱讀大體上分為兩個階段,兩個階段可能多次循環
- 第一階段
* 目的:明確和細化我們的研究目標
* 找尋研究目標的合理性和重要性
* 泛讀、從厚到薄
* 要很廣泛的讀,需要讀得快、有選擇的讀
* 讀一些相關的專業的課本或好的文獻綜述
* 累積與研究相關,較為普遍的大問題的知識
* 收集可以進一步精讀的素材
* 摘要->結論->引言->方法、結果
* 根據得到的新知,對具體研究目標修訂、細化,研究方向跟文獻更相符、更有貢獻、力量
* 眼光要大,切忌被低質量論文、不重要細節牽著鼻子走
* 累積和具體研究目標相關的知識、搜集可用具體素材
* 看過上百篇可能只有十幾篇和最終選定的研究目標密切相關 --> 精讀
- 第二階段
* 已經有了更明確、細化的研究目標,對下階段要閱讀的文獻進行精選、排序
* 目的:在文獻中收集可用的論據
* 精讀、從薄到厚
* 帶著目標去讀、讀的全、讀的細
* 要找出論證我們論點所需要的答案和證據
* 不僅讀出作者明確寫出的東西、更要讀出沒有明確寫出來的東西
* 區分隱含的前提、假設
* 區分何為觀點?何為事實?
* 讀作者的結論,還要去看他的結果和數據
* 根據自己判斷做出自己結論
* 需要做大量的筆記
這是第一次玩主打幫派和犯罪的遊戲,其他 Sleep Dog 等都還在收藏庫躺著。遊戲敘述了黑幫主角 Tommy Angelo 的江湖生涯,遊戲玩法是看黑幫電影劇情、中間夾雜戰鬥。不停重複看劇情和打架,直到遊戲破關。
遊戲戰鬥基本上有三種模式:賽車、潛行、FPS。
遊戲戰鬥以 FPS 為主,個人感覺並不十分理想。武器種類少,手槍、散彈槍、輕機槍(打字機)還有步槍。槍好像各自有亞種,但用起來感覺差不多,只知道子彈不能通用 QQ。槍跟子彈在戰役之間還會重置,連當個收集狂都沒辦法。
敵人從頭到尾都同一種人型怪,混混跟警察打起來根本沒什麼差,只有他們手上拿什麼槍可以讓人感覺到差別。開戰就是找掩體,大概抓一下敵人在哪裡,抓準他們探頭的時機探頭開火,對方倒了就衝去撿子彈,一直重複直到把敵人清光。
潛行的部分任務不多,玩起來頗有煩躁感,跟 Deus Ex 完全不能比。步驟都是看小地圖上敵人在哪裡,想辦法從後面摸過去,按 Q 敲暈 Y 扛走一套帶走,過程小心不要觸動警報。萬一被對方發現了,就搶在對方開槍以前,衝到對方前面按QQQQQ 搭配 Alt 防守,想辦法在對方開槍前徒手幹掉對方恢復潛行。
追逐戰也是煩躁的部分,賽車遊戲鑲嵌在 FPS 裡面,讓我這個不會玩賽車的很痛苦,每次警匪追逐或是要搶時間的場景,常常一種彎就是撞到柱子撞到車。記得有一關,主角Tommy 還得替受傷的賽車手上場參賽,還只能拿第一名,這裡就不曉得刷了幾遍了 QQ
雖然個人認為戰鬥乏善可陳,甚至有些地方有些煩躁感,但劇情真的就很棒了。劇情很漂亮的演繹出不同角色的心路歷程。扮演智囊但最後被黑幫生活壓垮最後順勢叛逃的Frank,很衝但有義氣沒有什么心機的 Paulie,聰明好相處但最後背叛的Sam,把 「家族」放嘴邊但一統江湖後,打破自己制定的規矩,欺騙手下去運毒,視手下安危於不顧的教父Salieri。最後就是有勇有謀、有自己原則底限,良知未泯,最後厭倦一切,選擇投誠自首換家人平安的主角 Tommy。而故事中的角色們,哪怕「家族」口號喊的再好聽,面臨威脅和利益仍然互相背叛,分崩離析,黑手黨「家族」本質仍然是一群合伙罪犯。
遊戲結局收尾不錯。主角 Tommy 還是過了幾年心目中平穩寧靜的生活,直到最後被當年的恩怨找上門,應了「出來混就是要還」。重製版結局,主角中槍後,確認黑幫不打算波及家人,在家人團團包圍中安心死去。這樣的結局,對踏上江湖路的主角多少還算善終吧。
查了一下,二三代在steam上面評價好像就不行,應該就玩一代就好 XD