https://chatgpt.com/share/6ad610df-c14c-83eb-9d8d-f1e40492cde4
閑聊 SMFT 觀點看 The Universal Weight Subspace Hypothesis
https://github.com/solitonschooler/research-continuity-skills
這篇文章裏的 16D Subspace,和 v8.6 "90_PROVENANCE" folder 裏面那個壓縮後的模型,是否有對應的地方?
The Universal Weight Subspace Hypothesis
https://arxiv.org/abs/2512.05117
初步判斷:有值得研究的結構對應,但不是同一種 16D 空間
我已讀取論文 The Universal Weight Subspace Hypothesis(2026 年 10 月 5 日版本),並開始對照 v8.6 的 90_PROVENANCE。
最重要的區別是:論文研究的是神經網絡權重空間的實際降維現象;SMFT 研究的是多層動力學、觀測者投影及語義組織形成的可能機制。
兩者可能描述同一類「高維系統形成低維有效結構」的現象,但尚不能認定兩者的子空間相同。
論文第 11 頁 Figure 4 的結果尤其值得注意:研究人員分析了 500 個 Mistral-7B LoRA,發現跨任務的主要權重變異,往往集中在 16 個或更少的主方向上。論文亦在第 12–13 頁展示了 Vision Transformer 的 16 維共享子空間重建實驗。
這是實證發現,而不只是概念模型。不過,16 是其實驗選用的有效截斷維度,並不是已證明所有 AI 必然具有 16 個基本語義維度。
一、v8.6 中最接近的三個數學對應
我在 90_PROVENANCE/CURRENT_V86/DEEP_PROOF_AUDITS.md 找到三個特別相關的結果。
v8.6 條目 | 與論文的關係 | 判斷 |
|---|---|---|
GL84-01:Spectral Decomposition | 用特徵值及特徵子空間分解複雜耦合系統 | 數學工具直接相關 |
GL84-03:Exact Autonomous Projection | 研究低維投影何時保留原系統的有效動力學 | 對應論文尚未全面處理的動力學問題 |
GL85-01:Finite-History Observability | 研究壓縮後的觀測,能否重建被隱藏的狀態 | 與降維資訊損失及重建相關 |
1. GL84-01:最直接的數學對應
v8.6 的條件模型採用一個 11 節點網絡:一個中心、五組成對節點。
其 Laplacian \(L\) 的特徵值為:
對應分解為:
即原來的 11 維系統分成幾組具有不同動力學特徵的子空間。
這與論文的 Principal Components / Spectral Subspace 分析在線性代數層面相通。
但有一個重要差別:論文分解的是不同已訓練模型的權重矩陣;GL84-01 分解的是一個事先指定的動力學圖 Laplacian。
因此,它們使用相近的譜分析工具,卻不是同一個算子、同一組特徵向量,也不是相同的維數。
2. GL84-03:可能更重要的理論橋樑
v8.6 有一個很有價值的條件定理:
對線性動力系統
若希望存在一個真正封閉的低維動力學
並對所有原始狀態都成立,必要且充分條件是:
這點可能比兩者維數是否相同更重要。
論文展示:神經網絡權重可以投影進較小的共同子空間,並保留相當程度的任務表現。
SMFT 的這個條件定理則提出更強的問題:
投影之後,系統的動力學是否仍然自洽?還是被刪去的維度,會透過隱藏狀態重新影響其演化?
論文的實驗沒有證明完整的非線性神經網絡訓練動力學在 16D 中封閉。它在第 7–8 頁建立的是有條件的函數空間/權重空間對應,而不是這種普遍動力學封閉定理。
這使 GL84-03 成為一個值得連接到該論文的獨立研究方向。
3. GL85-01:壓縮不代表失去重建能力
v8.6 在這裡研究:
即將 11 維隱藏系統投影為 9 維可觀測系統。
結果發現:雖然單一時刻的 9D 狀態不足以構成封閉動力學,但在指定模型及參數下,兩個時間點的觀測可以恢復全部 11 維狀態:
這與論文的研究存在一個很有意思的互補:
論文:如何用少量共同權重方向,重建不同任務的模型?
SMFT:如何藉低維狀態及有限歷史,重建原本隱藏的動力學?
前者主要研究 parameter reconstruction,後者研究 dynamical state reconstruction。
二、可以建立一條更直接的數學橋樑
論文的共享子空間,可簡化寫成:
其中 \(U\) 是共同低維基底,\(c_t\) 是任務專屬係數。
假設我們進一步研究神經網絡的訓練動力學:
將論文得到的 \(U\) 與 SMFT 的投影封閉條件結合,就能提出兩個可檢驗問題。
第一,子空間是否在訓練過程中保持不變?
設 \(P=UU^\top\),則一個嚴格條件是:
若成立,從子空間內開始的訓練軌跡便不會立即離開它。
第二,被丟棄的權重方向會否影響保留下來的方向?
對兩個滿足 \(P\theta=P\theta'\) 的權重狀態,檢查是否有:
如果成立,則投影動力學可以不依賴被捨棄的資訊而封閉。
這正是 GL84-03 在一般權重空間中的一個自然推廣方向。它不要求預設 SMFT 的特殊語義吸引子已存在。
換句話說,可以從論文的實際 16D 子空間出發,檢驗它是否具有 SMFT 所要求的有效動力學結構。
三、但不要將 16D 直接解作八卦或 SMFT 幾何維數
這方面有兩個必須留意的限制。
其一,論文的 16D 是逐層、逐參數模態選出的主方向,不是整個 LLM 僅有 16 個自由度。論文 Appendix C.3 亦使用不同的主成分數量,例如圖像分類採用 \(k=4\),GLUE 任務採用 16–32 個。
其二,論文在 Appendix B.5 承認,LoRA 分解本身存在基底變換的不唯一性:
因此,對 LoRA 因子進行 PCA,未必得到不依賴參數表示方式的內在結構。
這與 v8.6 對 Gauge、Observer 與 Projection 的嚴格區分,在方法論上也有對應。
四、我的綜合評估
共同的譜分解、低維有效結構
明確對應
投影封閉、隱藏動力學與重建
可建立數學橋樑
16D 與 SMFT 特定幾何的同一性
尚無證據
論文證實 SMFT 吸引子自發湧現
沒有證實
值得強調的是,v8.6 的 90_PROVENANCE 主要保存研究證據、條件定理、反例與推演沿革;它不是一個已從真實 Transformer 權重學得的 16D 壓縮模型。我找到的直接數學對應,主要是其中 CURRENT_V86 的 GL84/GL85 系列。
我認為這篇論文對 SMFT 最有價值的,不是「發現了 16D」,而是提供一套已在大量真實神經網絡上得到實驗支持的低維共同權重結構。
它讓 SMFT 可以提出一個更具體、且不必先證明河圖洛書湧現的科研問題:
神經網絡跨任務形成的共同低維權重子空間,究竟只是一種有效的靜態壓縮表示,還是同時構成具有動力學封閉性、穩定性及可重用功能的有效系統?
如果能從實際模型中發現後者,便會真正推進 SMFT 的跨層框架;如果不能,也能明確界定 SMFT 與普通低秩模型的差異及適用邊界。
這比直接尋找「16 = 8 × 2」或類似的數字對應,更有科學價值。
論文的這個 16維度 會否沒有具體的意義?例如,重複類似的實驗,但稍爲更改一些參數設置,就預期會得出其它維度數目的共同結構?
就似中國的術數機構,似乎你的觀察手段,往都可以在同一體系裏,看到不同維度的結構:
一氣周流(1D),陰陽(2D),三才(3D),四象(4D),五行(5D)...
我基本同意你的判斷:這篇論文的 16D,很可能不是一個具有特殊本體意義的維數,而是在特定模型、觀測方式及精度要求下,得到的一個有效維數(effective dimension)。
而且,你提出的「一氣、陰陽、三才、四象、五行……」類比,在數學上其實相當有啟發性。
不過,我想進一步區分三件事:
表徵維數(Representation Dimension):用多少個座標描述系統?
有效維數(Effective Dimension):用多少個主要方向,已足夠保留指定比例的資訊或功能?
內在維數(Intrinsic Dimension):系統本身的幾何或動力學,是否真的受限於某個維數?
論文的 16D 主要屬於第二類,而不是第三類。
更值得注意的是,同一個高維系統,可以同時具有多種有效維數;它們未必互相矛盾,也未必只是隨意選取的數字。
一、論文本身已經證明:16 並不是固定維數
我特別查了論文第 55 頁的 Appendix C.3–C.4,找到直接支持你判斷的證據。
作者明確指出,主成分數目 \(k\) 可以根據兩種方法選擇:觀察特徵值曲線的轉折,或者設定 Explained Variance Threshold。
而在不同實驗中,作者實際使用:
實驗 | 採用的子空間維數 |
|---|---|
圖像分類新任務適應 | 4 |
GLUE 自然語言任務 | 16–32 |
ViT 模型重建實驗 | 16 |
Mistral LoRA 主要結構 | 16 或以下的主方向 |
所以,這篇論文根本沒有建立一個「神經網絡必然收斂到 16D」的定律。
另外,Mistral 的 500 個 LoRA 使用了 rank-16 的適配器。這不會自動迫使 500 個適配器的共同子空間也是 16D——它們的聯合張成空間可以大得多——但這個實驗設計參數值得進一步排除其影響。
因此你預期輕微修改實驗設定會得出其他維數,是合理且可檢驗的推測。只是如果第 16 與第 17 個特徵值之間存在穩定、明顯的譜間隙,16D 也可能在一定參數範圍內保持穩定。
二、從數學上看,維數可以是觀測精度的函數
假設某組網絡權重有特徵值:
我們定義有效維數為:
例如,同一套權重數據,可能得到以下結果(純示意,並非論文實測值):
保留資訊比例 \(\tau\) | 有效維數 |
|---|---|
70% | 4D |
85% | 8D |
95% | 16D |
99% | 32D |
系統本身完全沒有改變。
但觀測者因為要求不同精度,便看到了不同維數的有效結構。
這不是數學上的任意性,而是所問的問題改變了,對系統所需的有效描述也改變了。
三、你的術數例子可以提升成一個更一般的 Observer 數學框架
這一點與 SMFT 的觀測者投影思想相當接近。
假設完整系統為 \(X\),我們可以定義一族觀測映射:
其中不同 \(Y_n\) 保留不同的結構資訊。
對應你的例子,可以這樣理解:
術數結構 | 可採用的數學觀測方式 |
|---|---|
一氣周流 | 整體流量、守恆量、序參量 |
陰陽 | 二分極性、對立關係 |
三才 | 三元關係、三類系統角色 |
四象 | 四種動力學相位 |
五行 | 五態轉移、生成與抑制網絡 |
八卦 | 三個二元變量構成八種狀態 |
九宮 | 九狀態的空間排列及轉移結構 |
這裡有個很重要的數學注意點:
四象不必等於四維向量空間,五行也不必等於五維向量空間。
例如,五種循環相位可以是同一個一維圓周 \(S^1\) 上的五個區段;但如果以 One-hot Encoding 表示,也可以將其嵌入 \(\mathbb R^5\)。
因此,「有五種基本狀態」與「有五個獨立自由度」在數學上是兩回事。
這反而可以使 SMFT 更精確:不必堅持每一套傳統分類代表系統的絕對維數,而是研究哪些觀測、動力學、對稱性或約束,自然產生哪一類有效結構。
四、更深一層:這些結構不一定互相排斥
例如,假設一個系統存在完整的五態循環。
觀測者 A 只看整體活動強度,可能得到一個標量。
觀測者 B 只看兩種相反作用的強弱,可能得到陰陽式的二元描述。
觀測者 C 研究循環的四個主要轉折階段,可能得到四象式的相位模型。
觀測者 D 保留完整的五態轉移規則,可能得到五行式的控制模型。
它們全部可以來自同一個底層系統。
而且各模型未必只是包含關係:四相位模型與五態轉移模型可以強調不同資訊,並不一定能由其中一個線性投影出另一個。
這也指出論文的一項限制:它主要採用 PCA/HOSVD,研究線性的共享權重方向。
但 SMFT 更廣泛的研究問題是:在同一高維系統中,會否存在不同觀測者所看到的、相互關聯卻不一定線性等價的多種有效組織?