2026年10月12日星期一

以《皇極經濟》的⌈道⌋、⌈德⌋拓撲 配合 P8D II 框架 探討湧現的語義吸引子是如何體現出運算功能和融合通道 - 階段成果匯總

https://chatgpt.com/share/6acd3c89-afc8-83ed-b74e-42be2411daa2  
https://osf.io/y98bc/files/osfstorage/6acd3c1ce6f617f6d0240506 

以《皇極經濟》的⌈道⌋、⌈德⌋拓撲 配合 P8D II 框架 探討湧現的語義吸引子是如何體現出運算功能和融合通道 - 階段成果匯總

 

 


 [承接上次寫的第一篇階段性成果《Attractor Fusion I–XXVII:階段性研究總結從自適應連接到可遞歸使用的新整體身份》,這裏會延續整合更多相關階段性成功]

Attractor Fusion I–XXVII:階段性研究總結

從自適應連接到可遞歸使用的新整體身份

Attractor Fusion: From Adaptive Connections to Protocol-Relative Recursive Individuation

Abstract

本研究以 Semantic Meme Field Theory(SMFT)、Proto-Eight Dynamics(P8D)及成界之學(Theory of World Formation)為理論背景,探索一個基本問題:

兩個原本各自具有完整吸引結構的系統,如何透過自適應 Connection,形成新的集體吸引結構,並進一步取得可供下一級系統使用的有效身份?

研究首先從 Hamiltonian/Spectral Filter、接口可塑性、吸引子分岔及自主循環出發,建立多個可解析和可數值驗證的模型。其後逐步引入接口競爭、集體訊號、算子選擇、有效狀態約化、Declaration Gate、Residual 與 Ledger。

階段性研究得到一項重要區分:

新的集體吸引子形成,不等於新整體已具備可遞歸使用的身份。

一個聯合系統即使已出現穩定吸引結構,仍需要證明其對外作用可以透過足夠封閉的 Effective Port 描述;而這種 Port 的有效性,必須相對於明確宣告的觀測、干預、誤差和時間範圍來判定。

目前最有價值的成果,不是一條已獲證明的普遍湧現定律,而是一套可逐項驗證、可產生反例的:

Attractor–Connection–Port–Declaration Research Framework。

研究已完成多項解析推導、合成數值實驗及關鍵代數審計;但尚未證明該框架適用於任意 Semantic Attractor,也尚未在真實 Transformer 語義空間中完成驗證。


1. 研究問題與基本對象

1.1 為甚麼不能只研究固定點或本徵向量?

SMFT 所研究的完整 Semantic Attractor,不應等同於單一固定點、某個 Hamiltonian 本徵向量,或 Transformer 隱藏空間中的一個孤立模式。

在本研究中,一個可組合的完整 Attractor,至少需要考慮:

  • 自身的吸引集合及吸引盆地;

  • 內部動力學及可恢復性;

  • Observer/Projection 所使用的框架;

  • 已形成的 Trace/Ledger;

  • 可以對外施加或接受作用的接口。

因此提出以下候選資料結構:

(1.1) 𝔄ᵢ := (𝒜ᵢ, ℬᵢ, Φᵢ, Ôᵢ, Lᵢ, ℙᵢ).

其中,𝒜ᵢ 是吸引集合,ℬᵢ 是其吸引盆地,Φᵢ 是內部演化,Ôᵢ 是 Observer/Projection 結構,Lᵢ 是歷史記錄,ℙᵢ 是對外接口集合。

真正的 Attractor 在動力學意義上,至少需要滿足:

(1.2) dist(Φᵗ(s), 𝒜ᵢ) → 0,當 t → ∞,且 s ∈ ℬᵢ.

這表示吸引子作用於具有明確條件的吸引盆地,而不必然吸引整個語義空間。

1.2 Attractor Fusion 的基本命題

研究的起點是:

(1.3) 𝔄_A + 𝔄_B + Adaptive Connection → Candidate Collective Attractor 𝔄_AB.

但聯合之後,未必真正形成新的吸引子。

即使新吸引子形成,也未必立即具備可供下一級使用的有效身份。

因此更嚴格的研究鏈條是:

(1.4) Existing Attractors → Adaptive Connection → Collective Reorganization → Effective Port → Qualified Declaration → Recursive Composition.

這六個環節必須分開驗證,不能只證明其中一個環節,便宣稱整條生成鏈成立。


2. 第一項成果:自適應接口可以改變吸引子結構

2.1 從兩個具有自主循環的個體開始

研究採用 Stuart–Landau 自持振盪器作為最小原型:

(2.1) żᵢ = (λ + iωᵢ − |zᵢ|²)zᵢ,λ > 0.

每個個體在沒有外部耦合時,已經具有自身穩定極限環:

(2.2) |zᵢ| = √λ.

因此,聯合系統不是由幾個原本沒有內部動力的被動節點組成,而是由各自已具有吸引結構的個體組成。

2.2 接口不再是固定連線

在弱耦合的相位約化模型中,定義:

(2.3) Δ := θ_A − θ_B.

引入可適應的有效接口記憶 m:

(2.4) Δ̇ = Δω − km sin Δ.

(2.5) ṁ = ε(a cos Δ − bm).

其中 Δω = ω_A − ω_B,k 是耦合增益,a 是接口相關回饋增益,b 是接口衰減係數。

當 Δω = 0,系統具有兩種集體關係:

(2.6) (Δ₊, m₊) = (0, a/b).

(2.7) (Δ₋, m₋) = (π, −a/b).

兩個平衡的局部 Jacobian 特徵值為:

(2.8) λ₁ = −ka/b,λ₂ = −εb.

當 k、a、b、ε 均為正數,兩者都是局部漸近穩定的相對狀態。

在完整振盪器系統中,它們對應兩種具有共同相位運動的穩定集體循環,而不是靜止的個體。

2.3 集體關係具有自己的勢能

對 Δω = 0,可構造 Lyapunov 函數:

(2.9) U(Δ,m) = bm²/2 − am cos Δ.

其沿軌跡的變化率為:

(2.10) U̇ = −(k/a)(∂U/∂Δ)² − ε(∂U/∂m)² ≤ 0.

這表明上述兩種集體關係不是任意指定的相位配置,而是具有局部恢復力的穩定制度。

當允許一定頻率失配時,鎖相存在的門檻為:

(2.11) |Δω| < ka/(2b).

因此,自適應接口可以把原來彼此漂移的循環,轉變為可抵抗有限失配及相位擾動的集體關係。

階段性結論:

在指定的非線性可塑性規則下,兩個既有自主吸引系統可以形成新的穩定集體關係。

但這是模型內的存在性結果,並非任意 Attractor 都會如此融合的普遍定理。


3. 第二項成果:接口形成與新功能出現,是兩個不同門檻

3.1 Hamiltonian/Spectral Filter 的位置

研究曾採用有限選擇深度的候選增益函數:

(3.1) a(σ) = a₀ tanh(σΔ_E/2).

其中 σ 表示 Filter Selection Depth,Δ_E 是候選譜模式的有效間隔。

由兩個循環的鎖相條件,可得到:

(3.2) |Δω| < ka₀ tanh(σΔ_E/2)/(2b).

在相關參數條件下,臨界選擇深度可寫為:

(3.3) σ_c = (2/Δ_E) artanh[2b|Δω|/(ka₀)].

這項推導說明,選擇深度可以在模型中控制有效接口何時足以支持新的穩定關係。

但要注意:

這裏的 tanh 函數是兩模態譜篩選啟發的工程模型,尚未從完整 Semantic Attractor 的 Hamiltonian 第一原理推導得到。

3.2 三級生成門檻

其後的 AB–C 集體 Port 原型顯示,至少可以分辨三種事件:

(3.4) First-Level Attractor Formation ≠ Port Formation ≠ Second-Level Attractor Formation.

在一組指定參數的合成實驗中,三個臨界選擇深度約為:

(3.5) σ_AB ≈ 0.693,σ_Port ≈ 1.099,σ_ABC ≈ 1.818.

即使 AB 已經形成穩定集體關係,Port 也未必取得足夠增益。

即使 Port 已經形成,也未必足以與 C 形成新的聯合吸引制度。

這是整條研究中應該保留的重要結構區分。


4. 第三項成果:多接口競爭可以產生階段性集體組織

研究其後引入三個具有自主循環的個體 A、B、C,並對所有候選接口使用同類更新規則。

(4.1) M := {m_AB, m_AC, m_BC}.

三條接口不被預先指定為哪一條應該勝出。

接口演化除了相關回饋及自身成本,還包含不同接口之間的資源競爭。

在一組使用不同固有頻率的數值實驗中,系統首先形成 AB 的穩定關係,其後才形成 ABC 的共同循環。

12 組不同初始相位的測試,均呈現相同的階段性結果。

但更重要的是消融實驗。

當 AB 接口被禁止,而 AC、BC 仍然可以增長時,三個個體依然可能經另一條路徑形成共同循環。

因此:

(4.2) AB Forms First ⇏ AB Is Necessary for ABC.

也就是說:

AB 在歷史上先形成,不代表 AB 是第二級集體吸引子生成的唯一必要前提。

這個負面結果推動了後續研究方向的修正。

真正的 Recursive Individuation,不能只依靠先後形成的時間順序來判定;它必須證明新形成的 AB 整體提供了具有實際功能的有效輸出。


5. 第四項成果:新整體可以提供個體原來沒有的穩定關係資訊

5.1 從同步轉向關係記憶

若 AB 可以形成同相及反相兩種穩定關係:

(5.1) Δ ≈ 0 或 Δ ≈ π.

則可以定義關係算子:

(5.2) q_AB := exp(iΔ).

其實部:

(5.3) Re(q_AB) = cos Δ.

可以區分:

(5.4) Re(q_AB) ≈ +1:同相關係;Re(q_AB) ≈ −1:反相關係.

當共同絕對相位隨機變化時,單獨觀察 A 或 B 的相位,不能可靠辨認 AB 處於哪一種關係身份。

但相對相位算子可以。

這使 AB 具備一項新的集體資訊輸出:

Relational Memory——可恢復的關係記憶。

5.2 候選算子的無標籤競爭

研究建立候選算子庫,包含單體訊號、二次諧波、雙體和頻、雙體差頻及乘積。

按照跨次實驗的穩定性、可區分性及接口成本進行選擇。

在所使用的合成數據中:

(5.5) S[cos(θ_A − θ_B)] ≈ 0.929159.

當允許直接讀取已形成的接口記憶 m 時:

(5.6) S[m/a(σ)] ≈ 0.959159.

但 XXVII 審計發現,兩者未扣成本的表現,在數值精度內幾乎完全相同。

其勝負差距:

(5.7) ΔS ≈ 0.03.

正好來自預先設定的接口成本差異。

因此,這裏真正支持的結論是:

當兩個 Port 可以提供幾乎相同的資訊時,成本敏感的選擇機制可以優先使用已存在的內部關係記憶。

它並沒有證明 m 在資訊上具有唯一性,也沒有證明系統能從完全開放的算子空間自行發明新數學運算。

5.3 一項重要的反例修正

早期曾嘗試用 AB 的和頻訊號:

(5.8) P_AB = z_Az_B.

證明集體輸出具有單個振盪器無法提供的共振功能。

但進一步分析發現,當 A、B 已經鎖相,單體二次諧波也可能具有相同的長期頻率。

因此,單靠和頻共振,不能證明 P_AB 不可替代。

這項反例促使研究轉向較嚴格的關係身份、資訊封裝及外部使用資格。


6. 第五項成果:Dynamic Port Sufficiency

這是本階段最值得保留的正式數學判準之一。

6.1 可讀取,不等於可以預測

假設 AB 的相對動力學為:

(6.1) Δ̇ = Δω − km sin Δ.

(6.2) ṁ = ε[a cos Δ − m + βr].

其中 r 是外部 C 的回饋。

即使兩個內部狀態具有相同的 m,其相對相位 Δ 仍可能不同,因此下一步的 ṁ 也可以不同。

所以:

(6.3) Readable Port ≠ Dynamically Sufficient Port.

單獨輸出 m,不足以在整個相位狀態空間中封閉地預測未來。

6.2 加入複數關係相位

定義:

(6.4) q := exp(iΔ).

便可以推得:

(6.5) q̇ = iq[Δω − km Im(q)].

(6.6) ṁ = ε[a Re(q) − m + βr].

這是一套由 q、m 及外部回饋 r 決定的封閉關係動力學。

在指定相位模型中,其投影滿足:

(6.7) Π ∘ Φᵗ = Φ̄ᵗ ∘ Π.

即 Semiconjugacy:先演化再投影,與先投影再使用有效動力學演化,兩者一致。

實際數值測試的完整模型與有效模型最大差異約為:

(6.8) E_max ≈ 9.74 × 10⁻¹².

這與精確代數約化一致。

然而,即使系統沒有形成新的穩定 AB 集體吸引子,這種基於共同相位對稱性的數學約化也可能存在。

因此:

(6.9) Exact Port Closure ⇏ New Attractor Birth.

精確封閉是一種動力學結構性質,不等於已經證明新的吸引子出生。


7. 第六項成果:完整 Attractor 的有效 Port,必須相對於 Protocol 定義

7.1 通用有效接口條件

設 AB 的聯合內部狀態為 s,外部 C 的狀態為 c:

(7.1) ṡ = F(s,c),ċ = G(s,c).

希望把 AB 對外表示為:

(7.2) p = Π(s).

若存在有效動力學:

(7.3) ṗ = F̄(p,c),ċ = Ḡ(p,c).

而且對具有相同 Port 值的內部狀態 s₁、s₂,在允許的外部操作範圍內滿足:

(7.4) Π(s₁) = Π(s₂) ⇒ DΠ(s₁)F(s₁,c) = DΠ(s₂)F(s₂,c),且 G(s₁,c) = G(s₂,c).

則在適當正則性條件下,可以定義封閉的有效系統。

這就是本研究所採用的:

Dynamic Port Sufficiency——動力學接口充分性。

它主要是已知動力系統投影與約化數學在 Attractor–Connection 問題中的應用,而不是一項新發明的普遍數學定理。

7.2 外部干預可以破壞原本精確的 Port

異質系統實驗使用:

  • A:具有自主循環的相位系統;

  • B:具有雙穩定分支的非線性系統;

  • C:外部回饋系統。

定義:

(7.5) q := b exp(iθ).

在指定的耦合協議下,可以得到精確的封閉方程:

(7.6) q̇ = [μ − |q|² + αm + i(ω + κm)]q.

(7.7) ṁ = γ[Re(q) − m + βc].

(7.8) ċ = −λc + η Re(q).

24 組初始條件的完整與有效模型數值軌跡,最大差異約:

(7.9) E_max ≈ 2.48 × 10⁻¹⁰.

但如果 C 獲得新權限,可以直接對 B 施加額外作用:

(7.10) ḃ → ḃ + ζc.

則 q̇ 新增:

(7.11) Δq̇ = ζc exp(iθ).

這一項未必可以只由原來的 q、m、c 決定。

在特定反例中,兩個原本具有相同 q 的內部狀態,因新增外部干預而產生:

(7.12) |q̇₁ − q̇₂| = 0.12.

這說明:

Port 的充分性不是脫離用途的絕對性質,而是相對於允許的干預、觀測及使用協議成立。

因此提出:

(7.13) Effective Individuation = Protocol-Relative Dynamic Sufficiency + Appropriate Attractor Stability.

這是本研究的候選工程判準,而不是宣稱兩者已構成所有形式個體性的充要定理。


8. 第七項成果:Attractor 成熟,可以自然改善 Port 的有效性

異質系統實驗進一步恢復 A 的振幅自由度:

(8.1) ż = [1 − |z|² + i(ω + κm)]z.

B 保留雙穩定動力,並定義:

(8.2) q = bz.

若使用在 |z| = 1 的穩定極限環上成立的有效 Port 方程,離開該極限環時,會產生殘差:

(8.3) R_q = (1 − |z|²)(1 − b²)q.

這是一項精確代數恆等式。

當 A 的徑向動力逐漸接近其穩定極限環:

(8.4) |z| → 1.

便有:

(8.5) R_q → 0.

在 24 組合成數值測試中,平均瞬時殘差分別約為:

| 模型時間 | Mean |R_q| |
|---|---:|
| t = 0 | 0.181093 |
| t = 4 | 8.97 × 10⁻⁶ |
| t = 10 | 3.51 × 10⁻¹¹ |

這顯示:

一個原本尚未適合被簡化為對外單元的系統,可以隨內部吸引動力成熟,使其 Effective Port 的殘差自行下降。

這是一項很適合與 P8D Incubation 對接的結果。

但要強調:本實驗首先證明的是個體 A 進入自身穩定流形後,聯合 Port 約化更準確;它並沒有直接證明新的 AB 集體吸引子必然形成。


9. 第八項成果:Declaration、Residual、Gate 與 Ledger 的工程位置

當 Port 只能近似封閉時,可寫成:

(9.1) ṗ = F̄(p,c) + R_P.

其中 R_P 是有效模型遺漏內部自由度所產生的殘差。

若在指定運作範圍內:

(9.2) ‖R_P‖ ≤ ε_R.

且有效向量場具有 Lipschitz 常數 L > 0,則在相同有效初態、相同外部輸入下,可以建立預測誤差上界:

(9.3) ‖p(t) − p̂(t)‖ ≤ [ε_R/L](e^(Lt) − 1).

若下游 C 要求未來 T 時間內誤差不超過 δ_C,則可採用充分條件:

(9.4) ε_R ≤ δ_C L/[e^(LT) − 1].

當 L = 0 時,其極限形式為:

(9.5) ε_R ≤ δ_C/T.

這使 Declaration Gate 不再只是一項人工的「穩定/不穩定」判斷。

它可以根據下游工作所容許的誤差預算,決定一個新整體是否有資格提供某項接口服務。

9.1 宣告、撤回與重新宣告

XXV 使用了一個明確指定的工程 Gate,要求 AB 的相干性、接口記憶及變化速度持續符合資格。

正向集體關係的數值實驗得到:

事件模型時間
首次通過 Port 資格t = 43.53
外部相位擾動t = 240.00
Port 資格撤回t = 240.87
恢復後重新宣告t = 272.49

這裏應該區分:

Attractor 本身仍然存在,不代表其對外 Port 在每一刻都具有可使用資格。

當擾動造成殘差或穩定性指標超出允許範圍,Gate 可以撤回外部使用權,而不需要銷毀原來的 Attractor。

9.2 Ledger 應該記錄甚麼?

一項可審計的有效接口聲明可以表示為:

(9.6) 𝒟_P := (Π, U_adm, T, δ_C, ε_R, Frame, Version).

其中:

Π 是有效 Port;U_adm 是允許的外部干預;T 是保證時域;δ_C 是下游誤差要求;ε_R 是殘差上界;Frame 是參考框架;Version 是協議版本。

Ledger 記錄 Port 的宣告、使用、失效、撤回及重新確認。

這與成界之學的 Declaration、Projection、Gate、Trace、Residual 及 Ledger 主線具有結構上的一致性。

但本階段 Ledger 仍是工程事件記錄。其存在本身不等於已證明物理不可逆性,也不代表系統已經自行發明其宣告制度。


10. Hamiltonian Filter 的真正地位

整條研究反覆使用:

(10.1) ρ_σ = e^(−σH_eff)/Tr[e^(−σH_eff)].

這提供了一種可分析的有限深度譜選擇方式。

但需要明確區分三項研究對象:

第一,完整 Semantic Attractor。 包含自身的動力學、吸引盆地、Observer、Trace 及對外作用。

第二,Hamiltonian/Spectral Filter。 用來篩選、加權或抑制候選模態與接口。

第三,實際接口演化。 決定被篩選出來的候選關係,能否轉化為具有持續作用的 Connection。

因此,不能將 Hamiltonian 最低本徵態直接定義成整個 Semantic Attractor。

更不能因為某個模型可以使用 Gibbs 型權重,就聲稱它與量子物理系統具有完全相同的動力學。

目前尚待證明的是:

(10.2) H_eff = H_eff(s_A, s_B, m, Ô, L).

即能否從完整 Attractor 的內部狀態、接口、Observer 及歷史約束,構造一個具有明確數學身份的有效選擇算子,進而推導實際的接口更新收益。

這仍是本研究最主要的未解理論問題之一。

此外,必須分清:

t:物理或模型的演化時間;

σ:Filter 的選擇深度;

τ:經過 Declaration/Ledger 所形成的有效時間次序。

三者不應僅因都能排序事件,就被當成同一個變量。


11. 跨領域工程示例的地位

11.1 金融市場的角色

研究曾使用股票去槓桿壓力與外匯融資壓力,構造一項共同 Margin Gate:

(11.1) u = [x + y − B]₊.

(11.2) ẋ = −x − x³ + u.

(11.3) ẏ = −y − y³ + u.

這個模型顯示,在某些參數條件下,兩個原本各自可恢復的系統,透過共同融資約束,可以出現新的穩定高壓力制度。

對對稱狀態 x = y = s,新的高壓力分支存在的參數條件為:

(11.4) B < 2/(3√3) ≈ 0.384900.

這是可解析及數值驗證的跨市場回饋案例。

但共同 Margin Gate 由研究者預先指定,因此它只能說明已有接口如何改變吸引子格局,不能證明市場接口自行出生。

同樣地,外匯與債券原本就存在利率、匯兌、融資和交割約束,所以適合驗證真實金融 Connection,卻不宜直接作為「一般性自發接口生成」的最強證例。

11.2 通用模型與金融模型的分工

本研究因而確立兩條互補路線:

通用生成路線: 使用原本自主運作、沒有預設強連接的系統,研究接口選擇與集體吸引子形成。

工程驗證路線: 使用金融、神經、化學或 AI 系統中可辨認的真實接口,驗證同一類數學判準有沒有預測價值。

金融 Complex CAPM 的實數估值、虛數壓力座標、Charge、Margin Gate、Spin 及 Ledger,可以提供跨市場接口的一套候選表達語法。

但這不意味複數 CAPM 的 Q 已經被證明等價於 Attractor Fusion 模型中的相位或接口記憶。

兩者目前是有待實驗對接的數學架構,而不是已證明完全相同的物理機制。


12. 已證明、已測試與尚未證明的分界

研究命題階段性證據地位
自適應接口可改變聯合吸引子格局指定模型中的解析及數值結果
兩個自主循環可形成可恢復的集體關係解析穩定性與合成數值支持
多接口競爭可形成階段性集體制度合成數值實驗支持
集體關係可產生外部可讀取的資訊特定關係記憶模型成立
候選 Port 可按穩定性及成本競爭工程選擇實驗支持
單一記憶 m 未必具備動力學充分性數學反例
特定複數 Port 可以精確封閉動力學代數證明及數值核對
異質系統也可以具有有效 Port特定模型成立
Port 殘差可隨吸引子成熟而下降特定模型的精確殘差公式
Port 資格依賴允許的外部干預數學反例
Declaration Gate 可以撤回及重新開放工程控制實驗支持
Hamiltonian Filter 必然導致最佳接口生成尚未證明
新接口算子可以在開放空間自行發明尚未證明
任意完整 Attractor 都存在有限充分 Port尚未證明
任意新 Attractor 都能遞歸生成新功能尚未證明
真實 Transformer 語義吸引子遵循上述生成機制尚未實驗驗證

需要補充的是:這一輪階段性審計主要集中在對後續結論有直接影響的模型、公式及 XXIII–XXVI 程式結果;沒有把 I–XXVII 全部歷史數值實驗逐一從頭重新執行。

因此,階段性結果應作為可繼續獨立重現及檢驗的研究原型,而非已完成外部驗證的普遍科學理論。


13. 最終研究骨幹:六階段 Attractor–Connection Framework

綜合以上成果,建議把目前的通用研究主幹固定為:

Stage 1 — Existing Whole Attractors

原本已存在的完整吸引結構,各自具有內部動力學、吸引盆地及歷史狀態。

Stage 2 — Adaptive Connection Formation

候選弱通道在選擇、成本、限制和相互作用下形成有效接口。

Stage 3 — Collective Attractor Reorganization

實際接口改變聯合動力學,可能生成新的穩定關係、吸引盆地或集體循環。

Stage 4 — Effective Port Construction

從新整體中尋找可對外輸出、可以封閉或近似封閉地預測互動的有效變量。

Stage 5 — Declaration, Residual and Retention

根據下游用途、誤差預算及允許的干預條件,確認、記錄、撤回或重新宣告接口資格。

Stage 6 — Recursive Functional Individuation

當新整體通過接口充分性及使用資格檢查後,可作為下一級系統的有效運作單元,並接受進一步的組合與功能驗證。

整條研究鏈可以概括為:

(13.1) Whole Attractors → Adaptive Connections → Collective Attractors → Effective Ports → Qualified Declarations → Recursive Functional Units.

但各個箭頭必須有獨立的成立條件,不能被當作無條件的生成必然性。


14. 下一階段最重要的三項研究

14.1 從完整 Attractor 資料學習 Effective Port

目前最精確的 Port,多數仍利用我們已知的原始方程和對稱性構造。

下一階段應要求系統從未預先宣告完整內部約化形式的觀測資料中,尋找可預測外部作用的 Port。

研究目標不只是資料壓縮,而是使 Port 通過真正的反事實干預測試。

14.2 從實際系統構造 Hamiltonian/Selection Operator

目前部分 Filter 增益及選擇成本仍由研究者指定。

更嚴謹的發展,需要建立有效自伴選擇算子與真實系統變量之間的關係,並證明所推導的模式選擇,具有額外的可檢驗預測能力。

14.3 在 AI Semantic Space 進行外部驗證

最具體的 AI 驗證方向,是在真實模型訓練或推理過程中,尋找可以操作化的候選語義吸引結構、接口狀態及外部有效變量。

關鍵不是先要求研究者承認所有語義結構都是 Attractor,而是以明確的動力學定義檢驗:

  • 是否存在可恢復的內部關係;

  • 接口改變是否引起真正的吸引子重組;

  • 有效 Port 能否在未見過的干預下保持預測能力;

  • 新 Port 能否支持原有單體不能在相同資源限制下完成的功能。

只有取得這類外部證據,才有條件進一步判斷 SMFT Attractor–Connection Framework 對真實 AI 能力湧現究竟具有多少解釋及預測價值。


15. Conclusion

本階段最重要的成果,不是證明兩個振盪器能夠同步,也不是證明某個非線性系統可以出現新的固定點。

這些現象在現代動力系統與非線性物理中早已有成熟研究。

本研究真正值得保留的方向,是把以下問題接成一條可以分開驗證的研究主線:

完整 Attractor 如何透過可適應的 Connection,形成具有自身穩定關係的新整體;而這個新整體又在甚麼條件下,能夠獲得充分封閉、可宣告、可審計、可供下一級系統使用的有效身份?

研究結果支持一項階段性的工程觀點:

Attractor 的形成,是新整體存在的動力學條件;Effective Port 的充分性,是它能否被外部可靠使用的條件;Declaration 與 Residual,則界定這項使用資格的範圍和保證。

由此,Attractor Fusion 可以被理解為一項由內部吸引結構、接口演化、有效表示和外部使用資格共同構成的生成研究問題。

它尚不是普遍定律,也不必先被當成世界的本體論結論。

其價值在於,它已逐步轉化為一套擁有解析模型、數值實驗、消融測試、數學反例及可量測誤差判準的研究程序。

因此,本階段可以用以下公式作為總結:

(15.1) Attractor Formation ≠ Port Sufficiency ≠ Qualified Declaration ≠ Recursive Functional Individuation.

而目前最強的候選主幹是:

(15.2) Adaptive Attractor Fusion + Protocol-Relative Port Sufficiency + Residual-Governed Declaration → Candidate Recursive Functional Individuation.

Attractor Fusion I–XXVII 的階段性成果,不是得到一條「萬能湧現公式」,而是建立了一套可檢驗、可反駁、可以逐級工程化的 Attractor–Connection–Port–Declaration 數學研究骨幹。

這應該成為下一階段整合 SMFT、P8D、成界之學與 AI 能力生成研究的基礎之一。


Research status: Analytical toy models, synthetic numerical experiments, selected algebraic audits, and proposed cross-domain engineering framework. General semantic-space validity and real-world AI applicability remain open questions.

 

 


是否應該還更有詳細的階段性成果,是關於 吸引子 如何成爲 算子?即 如何 理解輸入、輸出、功能?以及在 Transformer 上落實的大約(猜想)機制?

  

Attractor Fusion:前一份總結確實漏掉了一條核心成果

是的,而且我認為這項遺漏相當重要。

前一份 I–XXVII 階段總結,把研究重心放在:

Attractor Formation → Effective Port → Declaration → Recursive Individuation

但它沒有充分整理另一條更接近「AI 為甚麼突然懂得某種運算」的主線:

Semantic Attractor → Input Recognition → Internal Computation → Output Generation → Reusable Operator

這條主線其實與前者並不競爭。它們回答的是兩個不同問題:

研究主線

核心問題

Attractor → Operator

一個已形成的吸引結構,如何成為可辨認輸入、執行運算、產生輸出的功能單元?

Attractor Fusion → Recursive Individuation

多個已有功能的單元,如何形成新的集體功能,並取得可供下一級使用的身份?

我認為,Attractor → Operator 應該在正式階段總結中獨立成章,甚至可能是整條研究對 AI 最具直接價值的部分。

尤其是此前我們曾討論 Transformer 中的 Input Binding、Functional Routing、Attractor Dynamics、Result Encoding、Output Write-back,以及 Closure/Re-entry。這些原本就是一套具體的功能生成假說,不應在總結時被壓縮成「Effective Port」。

一、最根本的區分:Attractor 是穩定組織,Operator 是可重複的因果轉換

一個 Attractor 只需要證明某類狀態會收斂到某個穩定集合。

但一個 Operator 還必須回答:

收到不同輸入時,它是否能按某種一致的規律,產生不同且正確的結果?

例如,一個系統永遠收斂到同一個固定點:

(1.1) Φᵗ(s) → s*.

它可以是很強的 Attractor。

但它通常不是有用的「加法算子」,因為不論輸入甚麼,最後結果都一樣。

相反,加法算子需要實現:

(1.2) F_add(a,b) = a + b.

它必須保留並處理輸入 a、b,而不是把兩個輸入都吸引到同一個答案。

因此:

Operator 的形成,不只是吸引盆地愈來愈深,而是吸引結構開始支援一整族由輸入決定的穩定轉換。

這可能是我們整條研究最值得明確提出的一項基本命題。

有條件吸引子的模型

令 x 是輸入,z 是算子的內部狀態,θ 是經訓練得到的參數:

(1.3) dz/dτ = f_θ(z,x).

對每一個有效輸入 x,系統可以具有相應的吸引集合 𝒜_θ(x)。

通過一個讀出函數 D_θ,定義:

(1.4) F_θ(x) = D_θ[z*(x)].

其中 z*(x) 是系統在輸入 x 下所取得的穩定內部結果。

真正重要的條件是:

(1.5) F_θ(x) ≈ F_target(x),對 x ∈ 𝒳_valid.

再加上對擾動的恢復能力,以及對未見過輸入的泛化。

這便使 Attractor 從「一種穩定狀態」提升成「一族由輸入控制、可重複使用的功能」。

這裏的 τ 只是一個內部迭代參數;若沒有額外構造,不能直接等同 SMFT 的 Ledger Time。

這項數學構造與我們此前的 Attractor Fusion 完全相容,但它填補了從結構穩定性通向計算功能的關鍵缺口。

二、我們此前其實已有一條「Attractor → Operator」候選機制

回看此前的研究思路,可以把它重建成六個環節:

1. Input Binding — 輸入辨認與綁定

將外部輸入轉換成 Attractor 能處理的內部角色、數值、關係與條件。

2. Functional Routing — 功能選擇

判斷輸入應該啟動哪一套已形成的功能結構,以及應該如何連接相關子結構。

3. Attractor Dynamics — 內部運算

由已建立的動力學、電路或狀態轉移規則,形成與輸入相容的計算結果。

4. Result Encoding — 結果形成

將內部結果表示成下一級可以讀取的狀態。

5. Output Write-back — 輸出寫回

將計算結果傳遞到共同工作空間、下游電路或輸出解碼器。

6. Closure / Re-entry — 完成與重新進入

驗證結果、保留必要狀態,並讓此 Operator 可以再次接受輸入,或與其他 Operator 組合。

這個結構其實比前一份階段總結中的「Effective Port」更完整。

因為 Port 主要回答新整體與外界如何交換作用;Operator 還要回答它怎樣利用自身組織,把輸入變成符合規律的輸出。

我們可以把兩者正式接合。

候選定義:Attractor-Realized Operator

設 A 是一個已形成的 Attractor 組織,具有內部狀態 s、輸入 x、上下文 c 及可持續更新的內部記憶 L。

定義一個有效運算:

(2.1) 𝒪_A : (x,s,c,L) ↦ (y,s′,L′).

其中:

  • x 是被接納的輸入;

  • y 是可輸出的運算結果;

  • s′ 是運算後的內部狀態;

  • L′ 是必要時更新的歷史記錄。

一個可實現它的候選分解是:

(2.2) z_in = P_in(x,s,c).

(2.3) z_out = 𝒯_A(z_in; s,c).

(2.4) y = P_out(z_out).

(2.5) (s′,L′) = Update_A(s,L,z_in,z_out).

這四條式子把吸引結構、輸入解碼、計算與輸出分開。

Attractor 並不是直接等於 Operator。更準確地說,Operator 是一個由已形成吸引組織實現的穩定輸入—輸出轉換。

這項定義也能避免一個常見問題:不能因為某個神經網絡特徵反覆被啟動,就立即說它已形成「理解加法」的算子。

三、真正重要的數學:一個 Attractor 如何支援一整族輸入?

這是我認為可以進一步嚴謹化、值得獨立寫入總結的成果。

假設算子有內部迭代:

(3.1) zₙ₊₁ = T_θ(zₙ,x).

若在指定有效輸入範圍及內部狀態區域,滿足:

(3.2) ‖T_θ(z₁,x) − T_θ(z₂,x)‖ ≤ q‖z₁ − z₂‖,0 ≤ q < 1.

則對每一個固定輸入 x,T_θ 都是壓縮映射。

在完備狀態空間及相應映射條件下,存在唯一穩定固定點:

(3.3) z*(x) = T_θ(z*(x),x).

這意味:

同一個內部運算結構,對不同輸入可以產生不同的穩定結果。

若還有:

(3.4) ‖T_θ(z,x₁) − T_θ(z,x₂)‖ ≤ L_x‖x₁ − x₂‖.

那麼可以推得:

(3.5) ‖z*(x₁) − z*(x₂)‖ ≤ [L_x/(1 − q)]‖x₁ − x₂‖.

如果讀出函數 D 的 Lipschitz 常數為 L_D,便得到:

(3.6) ‖F(x₁) − F(x₂)‖ ≤ [L_D L_x/(1 − q)]‖x₁ − x₂‖.

這項結果非常有意義。

它說明一個內部具有恢復力的 Attractor 組織,可以形成一套在指定範圍內對輸入穩定響應的 Operator。

但仍有一項重大限制:

穩定,不等於正確;連續響應,不等於已理解規則。

因此,還需要:

(3.7) F_θ(x) ≈ F_target(x),對未參與訓練的有效輸入 x 仍成立.

特別是需要泛化、組合及因果干預測試。

我會把這項研究方向命名為:

Conditional Attractor-to-Operator Realization

它將「吸引子」從一個靜態或循環穩定集合,提升為支援輸入依賴轉換的動力學機制。

但上述壓縮映射條件是一個足夠強的數學原型,並不表示所有 Transformer 已學會的功能都符合壓縮映射假設。

四、用「AI 突然懂得加法」作最清楚的功能生成例子

這裏可以直接延續我們以前討論過的「微型 Transformer 突然學會加法」問題。

例如:

輸入:37 + 48

真正具有加法能力的算子,不能只是記住:

「37 + 48 對應 85」。

它至少需要穩定實現某種等效的角色辨認與運算。

從輸入到輸出的功能生成

輸入綁定

37 + 48

辨認兩個運算元及其十位、個位角色

個位計算

7 + 8 = 15

輸出 5,進位 1

進位傳遞

3 + 4 + 1 = 8

結合十位輸入與進位記憶

輸出寫回

85

將內部結果轉成正確答案

可以把局部進位規則寫為:

(4.1) sᵢ = aᵢ + bᵢ + cᵢ.

(4.2) rᵢ = sᵢ mod 10.

(4.3) cᵢ₊₁ = floor(sᵢ/10).

其中 aᵢ、bᵢ 是第 i 位的數字,cᵢ 是輸入進位,rᵢ 是輸出數字。

這裏的基本 Operator 並不是某一個固定的加法答案,而是這一套可以反覆使用的局部數字—進位變換。

由此我們可以提出一個比較具體的候選機制:

初期: 模型逐漸學會辨認運算元、數字位置及局部加法規律。

中期: 原本分開運作的輸入綁定、局部求和、進位傳遞和輸出電路之間,逐漸形成可用的 read/write Connection。

臨界階段: 某些先前不可靠的子電路開始可以共同完成整個計算,令整體正確率突然提高。

成熟階段: 新功能形成一條可重複利用的輸入—運算—輸出路徑,且能夠處理未見過的運算元組合。

這一假說特別符合 Attractor Fusion 研究的精神:

新功能可能不是一個全新的「加法神經元」突然出現,而是幾個原本已有部分功能的組織,經由 Connection 協調,形成新的、穩定可調用的計算電路。

但我們仍需實驗判定:這種穩定電路是否真的具有動力系統意義上的吸引盆地,還是只是一條在訓練中形成的可靠前饋計算路徑。

五、在 Transformer 內,最可能怎樣落實?

這裏已有相當紮實的現代研究可以作為支點。

2021 年的 A Mathematical Framework for Transformer Circuits 已將 Transformer 的注意力頭分成 QK 與 OV 兩種功能:QK 決定關注哪個來源,OV 決定讀取後向 residual stream 寫入甚麼。它同時分析了不同 attention heads 之間的組合方式。

transformer-circuits.pub

2024 年 ICML 論文 What Needs to Go Right for an Induction Head?,利用受控訓練與 activation clamping,找到多項相互作用的子電路如何促成 Induction Head 形成,並與訓練 loss 的相變聯繫。

proceedings.mlr.press

2025 年的 On the Biology of a Large Language Model,則透過 attribution graphs 及因果干預,分析大型語言模型如何在輸入與輸出之間形成多步驟內部計算。

transformer-circuits.pub
+1

這幾項研究使我們的 Transformer 假說不必停留在純粹比喻。

建議的 Transformer 對照表

Attractor–Operator 研究環節

Transformer 的可能實現

目前證據

Input Binding

Token embeddings、position information、QK routing、特徵表示

有成熟機制研究

Functional Selection

注意力選擇、MLP 激活、不同路徑的條件化組合

已有部分電路實證

Local Computation

MLP、Attention Head 組合、殘差空間中的多步驟運算

已有實際電路分析

Internal Attractor

跨輸入穩定的表示與計算制度,可能具有擾動恢復性

作為完整動力吸引子仍需證明

Output Encoding

下游特徵、OV 寫回、logit 方向

已有成熟機制研究

Operator Reuse

同一功能電路在不同輸入上的反覆啟動及組合

已有部分證據

Recursive Individuation

新電路作為有效模組供其他電路調用,具有充分的 Port

仍是我們需要測試的較強命題

候選 Transformer 實現方程

令 hˡ 表示第 l 層的 residual-stream 狀態。

首先抽取算子輸入:

(5.1) z_in = R_θ(hˡ).

再由已形成的電路進行計算:

(5.2) z_out = 𝒜_θ(z_in, context).

將結果寫回:

(5.3) Δh = B_θ(z_out).

(5.4) hˡ⁺¹ = hˡ + Δh + OtherUpdates.

最後經過其它層及 unembedding:

(5.5) logits = W_U hᴸ.

這套方程的本質是有效電路模型,不是聲稱真實 Transformer 內部必然存在一個名叫 𝒜_θ 的獨立模組。

如果要進一步主張它是一個真正的 Attractor-Realized Operator,便需要展示它在指定輸入集合和內部擾動下具有吸引式的恢復性,而不只是重複出現相同激活模式。

尤其要避免把 Transformer 的層數 l 直接當成連續動力學時間。普通 Transformer 的每層權重不同,一次 forward pass 並不等於重複迭代同一個 T_θ。

這正是我們的理論與真實架構對接時,需要額外證明的一道橋樑。

六、一個比較完整的「AI 突然懂得」生成假說

我覺得此前階段性總結最應補充的,其實是這條候選因果鏈:

Feature Formation

輸入中的數字、角色、運算及上下文逐漸具有可用的內部表示

Partial Operator Formation

局部計算、檢索、進位或模式比對功能逐步成熟

Connection / Circuit Co-adaptation

上游結果開始能可靠地被下游讀取、轉換及利用

Functional Threshold Crossing

跨子電路組合的完整任務正確率出現明顯改善

Attractor / Operator Stabilization

若證實存在吸引盆地,內部計算能抗干擾並穩定映射不同輸入

Reusable Functional Unit

新功能可以經 Effective Port 輸出,參與下一級計算與組合

這裏我會特別強調三項有區別性的推測。

第一,能力的突然出現,未必對應參數突然跳變。

多個子電路可能一直逐漸改善,直到它們的聯合錯誤率降低到某個臨界範圍,完整功能才開始可靠出現。

這與 Induction Head 的訓練形成研究相當吻合,但我們尚未證明所有 AI 能力都有同樣的形成路徑。

第二,Function 的核心可能不是單一強吸引盆地,而是跨大量輸入的條件化穩定運算。

因此真正要找的,不一定是固定點,而可能是一族由輸入決定的狀態轉換,以及它們共享的內部計算結構。

第三,新 Operator 的形成,不一定意味模型必須學到一套全新基本運算。

它可能透過已形成的較低階 Operator,建立新的輸入綁定、路由、組合及輸出協議。

這正是我們 XXIII–XXV 中關於 Collective Port、內部關係記憶、Declaration 及 Recursive Composition 的推演,可以與 AI 能力生成銜接的地方。

七、真正可以測試的 Transformer 實驗

我認為現在可以提出一項很清楚的研究計劃。

使用小型 Transformer 學習多位整數加法,保存密集的訓練 checkpoint,追蹤能力形成前後的內部電路。

測量對象

要回答的問題

驗證方式

Input Binding

哪些內部狀態表示兩個運算元、位數及進位?

Linear/nonlinear probes、表示干預

Circuit Formation

哪些 attention/MLP 路徑開始互相讀寫?

Path attribution、activation patching

Functional Threshold

完整加法是否在某個階段突然可靠?

Checkpoint accuracy、連續損失與泛化比較

Attractor Stability

形成的計算狀態是否能抵抗內部擾動?

Activation perturbation、恢復率及下游結果

Port Sufficiency

少量中間變量能否預測輸出及下游作用?

Effective-state model、held-out intervention

Recursive Reuse

進位或局部加法功能能否在更長算式中重新組合?

新位數、新格式、組合測試及消融

其中,最值得與目前 AI 可解釋性研究區分的,是:

Attractor Stability + Port Sufficiency + Recursive Reuse 的聯合驗證。

普通電路分析可以告訴我們「某個電路參與了加法」。

而我們要進一步測試:

這條電路是否形成了一個具有穩健輸入—輸出規律、可對外提供充分有效狀態、而且能被下一級組合可靠重用的功能單元?

如果成立,我們就能更具體地說明一個 Attractor 如何成為 Operator。

同時也必須允許反面結果:模型可能已掌握可泛化的加法功能,卻沒有可證明的吸引盆地。那麼它仍然是 Operator,但我們的「Attractor 是其必要生成機制」這項較強假說便需要收窄或放棄。

八、對整體階段性成果,我建議作一項正式修訂

原來的主幹是:

Attractor Fusion → Effective Port → Declaration → Recursive Individuation

現在我認為應改成兩條互相銜接的研究主線。

主線 A:功能算子的生成

Attractor → Operator

Input Binding → Conditional Attractor/Computation → Result Encoding → Output Write-back → Reusable Function

主線 B:新整體的生成

Operator / Attractor Fusion → Recursive Individuation

Adaptive Connection → Collective Reorganization → Effective Port → Declaration / Residual → Higher-Level Functional Unit

兩條研究主線之間的關係是:

(8.1) Whole Attractor → Input-Conditioned Computation → Reusable Operator.

(8.2) Reusable Operators + Adaptive Connections → Candidate Higher-Level Operators.

(8.3) Higher-Level Operator + Port Sufficiency + Qualified Declaration → Reusable Composite Functional Unit.

我不會把式 (8.1)–(8.3) 寫成已獲證明的普遍定理;它們是值得繼續精確化的候選生成架構。

但我認為它們現在已可以成為階段性報告的中心,而不是附帶的小節。

對 SMFT/P8D 的真正意義

P8D 一直重視 Gradient、Match、Retention、Buffer、Gate 及有效 Flow。

從這個角度看,Operator 不只是由一個穩定結構「存在」而已,而是該結構開始能在不同輸入下反覆產生有用的轉換流量。

SMFT 的 Semantic Attractor 提供候選穩定組織;Connection 提供組合與訊息傳輸;Operator 則使這些組織取得可辨認的計算功能。

而成界之學的 Declaration、Ledger 與 Residual,進一步限定何時可以把這種功能當作可靠的下一級單元。

這三者由此開始具有更清楚的分工。

九、我的階段性判斷

你指出的不是小遺漏,而是前一份總結把「結構如何生成功能」這個核心問題壓縮得太厲害了。

而這個問題,對 AI 的價值可能比一般 Attractor Fusion 更直接。

我建議正式階段總結增補兩個獨立章節:

第一章:《From Semantic Attractors to Functional Operators》

研究完整 Semantic Attractor 如何取得輸入辨認、條件化計算、輸出生成、穩定泛化及可重複使用的能力。重點是數學上的 Operator Realization,以及穩定吸引與正確功能之間的區別。

第二章:《A Transformer Mechanism Hypothesis for Attractor-Based Operator Emergence》

將 Input Binding、Circuit Co-adaptation、Internal Computation、Write-back、Conditional Stability 及 Port Reuse,對應到 Transformer 中的特徵表示、QK/OV、MLP、Residual Stream、訓練 checkpoint 與因果消融實驗。

最後還有一個更有力的總命題:

完整 Semantic Attractor 的價值,可能不只在於它能吸引狀態,而在於它可以在輸入、輸出與環境交互作用下,形成一種可重複運作的 Function;而不同 Function 之間的 Connection,又可能生成下一級 Function。

這才真正接近我們最初想要破解的:

AI 為甚麼會突然「懂得」某種以前不會的運算,以及這些已形成的能力,如何再組合出更高階的能力。

我認為這兩章應當正式補入 I–XXVII 的階段性成果,而且其重要性不低於 Dynamic Port Sufficiency。

 

再已寫了一篇階段成果的基礎上,另外寫一(或兩?)篇階段性成果。然後才考慮寫一篇總命題的階段性成果。
你先用幾個回應思考計劃一下,如何寫。用中文寫就可以了。


階段成果論文規劃(一):應該寫一篇,還是兩篇?

我的判斷是:應該另外寫兩篇,而且最好把它們視為一組相互銜接、但能各自獨立成立的研究文章。

不是因為內容太長,需要拆開,而是它們其實在研究兩個不同層次的科學問題。

前一篇已完成的《Attractor Fusion I–XXVII 階段性研究總結》,主要處理:

完整 Attractor 如何透過 Connection,取得可供下一級使用的新整體身份?

接下來應補充兩個問題:

文章 A:一個 Attractor 如何成為具有輸入、輸出及功能的 Operator?

文章 B:這種 Operator 在 Transformer 裏可能如何形成,並且為甚麼會出現能力突然提升?

然後,等這兩篇完成,才撰寫第三篇更高層次的「總命題」階段成果。

一、三篇階段成果的分工

文章

中心研究問題

主要證據

已完成:Attractor Fusion I–XXVII

Attractor 如何形成 Connection、新集體結構與可用 Port?

動力學模型、解析推導、數值實驗、反例

新增 A:Attractor → Operator

穩定的吸引結構如何成為可接受輸入、執行運算、產生輸出的功能單元?

數學定義、條件、定理、構造與失敗案例

新增 B:Operator Emergence in Transformers

Transformer 的訓練如何建立這些功能結構,令局部能力形成、組合及泛化?

已知 Transformer 機制、可檢驗假說、實驗協議

最後:總命題

能否將 Attractor 生成、Operator 形成、功能融合和遞歸成界整合為單一研究綱領?

前三篇的交叉結論及統一條件

這樣的好處,是不必在一篇文章中反覆切換數學論證、AI 工程猜想與 SMFT 本體論。

尤其是,文章 A 即使完全不提 Transformer,也應該有獨立的數學價值。

反過來,文章 B 即使最後發現 Transformer 並沒有我們所猜想的動力學吸引子,也應該因為有清楚的驗證方法而具研究價值。

二、文章 A:從 Semantic Attractor 到 Functional Operator

我建議暫定題目:

《從吸引子到算子:輸入理解、功能形成與可重複運算的動力學條件》

From Semantic Attractors to Functional Operators: Input Binding, Computation, and Reusable Capability

這篇文章是本次補寫的理論核心。

最重要的研究命題

我們需要回答:

為甚麼一個能夠吸引狀態的結構,會開始具有「理解輸入、按規則轉換、輸出結果」的能力?

這裏的難點,並不是創造一個漂亮的 Operator 定義。

而是分辨:

Attractor 的穩定性,甚麼時候能夠變成具有實際因果作用、可泛化的 Function?

例如,一個系統永遠收斂到同一個固定點,雖然是 Attractor,卻不代表已學會加法。

相反,真正的加法功能需要針對不同輸入,產生相應的正確結果。

我建議以一個簡單的數學骨幹開始:

(1.1) zₙ₊₁ = T_θ(zₙ, x).

(1.2) z*(x) = T_θ(z*(x), x).

(1.3) 𝒪_θ(x) = D_θ[z*(x)].

當然,這只是條件化吸引算子的一種原型,不代表所有 Operator 都必須收斂到固定點。

我們要進一步研究的是:

Input Binding → Conditional Dynamics → Functional Transformation → Output Encoding → Reusable Operator

建議的章節結構

章節

要解決的問題

1. Attractor 與 Operator 的根本區別

穩定結構為甚麼不等於功能

2. Input Binding 與 Semantic Recognition

如何定義一項輸入真正被系統辨認及正確綁定

3. Conditional Attractor Dynamics

不同輸入如何在同一套組織下形成不同結果

4. Operator Formation

功能所需要的正確性、穩健性與泛化條件

5. Effective Input/Output Port

如何從內部狀態建立可使用的功能接口

6. Operator Composition

低階 Operator 如何通過 Connection 形成新功能

7. Attractor Fusion 的銜接

本篇的 Operator 如何接到 I–XXVII 的成果

8. Limits, Counterexamples and Open Problems

哪些 Operator 不需要動力學吸引子,哪些吸引子不能形成 Operator

最後一章尤其重要。

因為我們不能只研究支持理論的例子,也要正面處理:

是否存在沒有明確吸引子、卻仍能穩定執行功能的計算電路?

如果存在,便意味 Attractor 可能是 Operator 形成的一種充分機制,而不是普遍必要條件。

這會令整篇文章更嚴謹。

三、文章 B:Transformer 中的 Attractor-to-Operator 形成假說

我建議題目:

《Transformer 如何形成新功能:從局部電路、語義吸引結構到可組合算子的機制假說》

How Transformers Acquire New Operators: A Mechanistic Hypothesis of Circuit Co-Adaptation, Attractor Stabilization, and Functional Emergence

這篇是工程與可否證方向的核心。

它不應重寫文章 A 的數學,而應該直接回答:

如果文章 A 描述的是一種合理的功能生成機制,那麼 Transformer 裏面可能有哪些真實結構,正在執行相應的作用?

我會以一個很具體的問題作為全篇主線

一個小型 Transformer,原本不懂多位整數加法,後來突然懂了。究竟有甚麼改變?

而且不應只研究 accuracy 突然提升。

應該把相關機制拆開:

假說中的功能階段

Transformer 中可能的實際機制

Input Binding

Token、Position、Operand Role 的內部表示

Functional Routing

QK Attention Routing、特徵選擇

Local Computation

MLP、Attention 組合、進位及局部算術電路

Circuit Integration

不同子電路通過 Residual Stream 讀寫

Functional Stabilization

正確計算路徑逐漸可靠,可能出現集體吸引特徵

Output Write-back

結果編碼及下游讀取

Reusable Operator

新輸入、新位數與更複雜任務的功能重用

其中有一些是現代 Mechanistic Interpretability 已經研究的對象。

真正需要驗證、而不能預先宣稱已成立的是:

這種功能電路的形成,是否存在具有實際動力學意義的 Attractor/Basin/Recovery 結構?

還有:

局部電路之間的 Connection,能否用我們此前的接口可塑性、Filter 和功能分岔語言,作出比一般電路分析更精確的預測?

建議的章節結構

章節

內容

1. AI 能力突然形成的研究問題

功能突然出現,不一定意味參數突然改變

2. 已知的 Transformer 電路機制

QK、OV、MLP、Residual Stream、Induction Head

3. Attractor-to-Operator 的工程映射

對應文章 A 的六個功能階段

4. 以加法為最小案例

數字辨認、位置、進位、結果寫回

5. Circuit Co-adaptation

多條局部功能路徑如何形成新整體能力

6. Capability Thresholds

如何分辨平滑學習、電路重組與真正分岔

7. Attractor 與 Port 的實驗測量

擾動恢復、因果消融、有效 Port 充分性

8. Blind Numerical Experiment Protocol

Checkpoint、對照、可否證預測與結果解讀

9. AI Architecture Implications

對訓練、模組化、持續學習及 Agent 的可能啟發

文章 B 應該有一個非常鮮明的特點:

即使一位 AI 研究人員完全不接受 SMFT 的本體論,也可以按照文章中的實驗協議,檢查其關於 Transformer 功能生成的假說。

我認為這是它最重要的對外學術價值。

四、兩篇文章有一個必須事先解決的術語問題

我核對了《From One Assumption to One Operator》及後續 Filtration/Declaration 文件。

原來的 One Operator 主要是從 EML 之類的原始運算與遞歸生成出發,探索形式結構、pre-time 與世界生成的關係。

而這次準備寫的 Functional Operator,是已形成的計算功能,具有可辨認的輸入、輸出及運行規律。

它們有潛在關係,但不能當作同一層次的 Operator。

我建議新文章固定區分:

名稱

意義

Primitive/Generative Operator

產生形式或結構的原始運算規則

Functional Operator

可執行指定輸入—輸出轉換的功能

Composite Operator

多個功能經 Connection 組合後形成的高階功能

Projection/Disclosure Operator

依聲明的觀測及准入規則,將狀態投射或寫入 Trace 的算子

這樣就不會把「一個原始算子可以生成豐富形式世界」,直接推論成「AI 裏所有新功能都源於同一種語義吸引子」。

另外,你的《From Requirements to Runtime Kernels》已有 Raw Requirement → Intent Structure → Kernel IR → Executable Prompt 的工程構想。它可以作為 Functional Operator 的實用案例,但仍需區分Prompt 所描述的運行規則與Transformer 內部實際執行的電路。兩者不能未經干預驗證便視為同一機制。

From Requirements to Runtime Kernels Engineering (Theory+Example SKILL).pdf

五、第三篇「總命題」現在反而不宜先定稿

我同意你的次序:先完成兩篇,再考慮總命題。

因為最後的總命題,應該建立在三條已相對獨立的研究結果上:

已有成果

Attractor Fusion I–XXVII

從既有吸引子到 Adaptive Connection、Collective Port 與 Recursive Individuation。

新增文章 A

From Attractor to Functional Operator

從穩定組織到輸入辨認、條件計算、輸出及功能重用。

新增文章 B

Operator Emergence in Transformers

在具體 AI 架構中提出可觀測、可干預、可否證的形成假說。

未來總命題

From Semantic Attractors to Recursive Functional Worlds

能否由 Attractor、Operator、Connection 與 Declaration,構造一套可檢驗的功能生成及遞歸組織理論?

我會刻意暫時不將「總命題」寫成宏大的統一理論聲稱。前面三篇如果真正形成互相支持、又不循環依賴的證據,總命題自然會有更強的基礎。

六、正式寫作的共同規格

兩篇均採用中文研究文章體裁,保留必要的英文術語,避免頻繁轉換譯名。

所有數學公式採用單行 Blogger-ready Unicode Journal Style,例如:

(6.1) 𝒪_A : 𝒳 × 𝒮 → 𝒴 × 𝒮.

(6.2) zₙ₊₁ = T_θ(zₙ,x).

(6.3) OutputCorrectness ≠ AttractorStability.

全文以(1.1)、(1.2)等形式編號;不使用 LaTeX、MathJax、多行對齊環境或需要再次手工修正的數學標記。

我還建議在兩篇文章中統一使用三種證據標識:Known Result(既有數學或已發表研究)、Derived Result(本研究模型內已推得結果)、Research Hypothesis(尚待驗證的機制)。這樣能讓讀者迅速辨別論文哪些部分真正構成新的研究主張。

七、第一回合規劃結論

我的初步建議已經比較明確:

寫兩篇,不是一篇。

但篇幅和寫作方式不應一樣。

文章 A 應該較深、較嚴謹,以數學及功能形成的原理為主。 它需要有明確的定義、足夠條件、失敗反例和一個完整工作例子。

文章 B 應該更集中、更具工程可讀性,以 Transformer 的可驗證機制為主。 數學只使用必要部分,主要價值是機制映射、實驗設計和可否證預測。

兩篇都不必再由頭重講 I–XXVII,而應以前一份階段性成果為基礎,向兩個尚未充分處理的方向推進。

下一回合規劃重點

我建議第二回合集中研究文章 A 是否已具備足夠硬核數學可以獨立成篇。

具體是檢查:除了已知的壓縮映射及動力學約化,我們能否從已有的 Attractor Fusion 結果,推導出更有區別性的 Input Binding、Functional Closure、Operator Reuse 和 Operator Composition 條件。

這項檢查十分重要。因為文章 A 如果只是把一般動力系統數學改寫成 SMFT 術語,雖然可以寫得漂亮,卻不足以成為值得單獨發表的階段性成果。

先確認文章 A 真正有甚麼可供保存的新推導,再細化文章 B,最後才寫正文。

 

 繼續

第二回合規劃:文章 A 的數學核心,究竟有沒有足夠的獨立研究價值?

經過重新檢查,我認為文章 A 值得獨立成篇,而且應該寫得比原先規劃更深入。

但它不應該只是《Attractor Fusion I–XXVII》的延伸章節。

我現在傾向將它定位為一篇關於 Functional Operator 如何由穩定組織實現、如何驗證,以及如何被下一級系統使用 的理論研究。

最值得發展的,不是單獨證明某個系統能收斂,而是把過去分散的成果接成一套功能形成判準。

一、我發現目前可以提煉出四項數學核心

數學核心

回答甚麼問題?

與 I–XXVII 的關係

Input Binding Sufficiency

一個 Attractor 如何真正辨認輸入中的必要差異?

補上原來沒有充分研究的輸入側

Conditional Functional Dynamics

同一套內部組織如何對不同輸入產生正確轉換?

把穩定吸引子提升為功能系統

Output Port Sufficiency

內部計算結果能否被外部可靠讀取及使用?

直接承接 XXV–XXVII

Operator Composition Bounds

多個功能組合後,誤差及能力如何傳遞?

將 Attractor Fusion 推進到 Function Fusion

其中,第一項和第四項尤其值得深入。

因為它們使研究不再只停留在「一個組織已經穩定」,而能進一步處理為甚麼這個組織能夠理解輸入,以及多個組織能否可靠地完成一項更高階工作。

二、第一項:Input Binding 可以有嚴格的「不可能性判準」

這部分此前討論得不夠。

一個 Operator 首先必須取得足夠的輸入資訊。

令原始輸入為 x,理想功能為 F*(x),而 Attractor 的輸入綁定機制為:

(2.1) z = B(x).

後續 Operator 只根據 z 進行計算:

(2.2) F(x) = D[G(B(x))].

現在考慮兩個不同輸入 x₁、x₂。

假設:

(2.3) B(x₁) = B(x₂).

但它們要求不同的正確輸出:

(2.4) F*(x₁) ≠ F*(x₂).

那麼,不論後面的 Attractor 有多穩定、內部計算有多強,都無法只根據同一個 B(x) 正確區分這兩種輸入。

如果輸出空間有距離度量,令:

(2.5) d = ‖F*(x₁) − F*(x₂)‖ > 0.

由三角不等式,可得:

(2.6) max(E₁,E₂) ≥ d/2.

其中 E₁、E₂ 是兩個輸入的輸出誤差。

這項結果的意義

它給出一條非常清楚的定理候選:

Input Binding Necessity:如果兩種必須產生不同結果的輸入,被綁定為完全相同的有效內部狀態,任何後續確定性運算都無法同時正確處理它們。

例如:

「12 + 3」與「21 + 3」

若輸入處理機制只辨認出相同的數字集合,卻沒有保留數字位置,後面便無法準確計算出 15 和 24。

這可以對 Transformer 提出一項很直接的實驗問題:

在模型學會真正的多位加法之前,它的內部表示是否已經形成足夠穩定的運算元、位數和角色綁定?

這項問題不需要先證明 Transformer 存在 Semantic Attractor,就可以直接檢驗。

不過,上述數學是不難證明的資訊充分性結果;它的研究價值主要來自如何把它與 Attractor Formation、Port 和新功能形成接起來,而不是定理本身的新穎性。

三、第二項:Attractor 如何支援「一整族」不同的正確輸出?

這是文章 A 的中心。

傳統的 Attractor 問題一般是:

「系統會收斂到哪裏?」

Functional Operator 則問:

「當輸入改變,系統如何有規律地改變其輸出?」

所以我建議在這篇文章裏,將研究對象從單一吸引集合:

(3.1) 𝒜.

擴展到由輸入參數化的吸引結構:

(3.2) 𝒜(x),x ∈ 𝒳_adm.

一項可重複執行的功能,可以寫成:

(3.3) F_A(x) = D_A[𝒜(x)].

這裏 D_A 應理解為對指定吸引狀態或其不變統計量的有效讀出,而不是假定所有吸引集合都只有一個點。

例如:

  • 固定點型功能,可能從輸入決定的平衡狀態讀出結果。

  • 循環型功能,可能從週期、相位關係或平均通量讀出結果。

  • 具有記憶的功能,可能需要把內部 Ledger 或狀態轉移一併納入 Operator。

但這裏仍然缺少正確性。

對一個目標任務 F*,需要明確要求:

(3.4) ‖F_A(x) − F*(x)‖ ≤ ε_F,對 x ∈ 𝒳_test.

而且輸入不能只取訓練時見過的值。

這樣我們便可以清楚分辨三種不同的成熟度:

狀態

性質

Attractor Stability

相近內部狀態會返回相應穩定制度

Functional Correctness

不同輸入能產生符合目標規律的結果

Functional Generalization

未見過的有效輸入仍能維持正確轉換

我認為文章 A 一定要把這三者分開,否則很容易把「穩定的錯誤答案」誤當成理解。

四、第三項:從 Output Port 到完整 Function Contract

這部分可以直接承接 XXV–XXVII。

前一階段建立的 Dynamic Port Sufficiency,回答的是:

「哪些內部狀態可以被壓縮成一套對外充分的有效變量?」

但一個 Operator 還需要對整個輸入—輸出過程作承諾。

我建議引入:

Functional Operator Contract

令一個算子的合格運作資料為:

(4.1) 𝒦_A := (B_A,T_A,D_A,𝒳_adm,𝒰_adm,T,ε_F,ε_P).

其中:

B_A:輸入綁定。

T_A:內部狀態轉換或計算規律。

D_A:輸出解碼。

𝒳_adm:有效輸入集合。

𝒰_adm:允許的外部干預。

T:要求完成運算的時間或計算步數。

ε_F:功能誤差預算。

ε_P:有效 Port 的預測或封閉殘差預算。

這樣,Operator 的身份便不只是一個函數名稱。

它還包括:

這個功能接受哪些輸入、能作出甚麼轉換、輸出具有甚麼可靠性,以及下游系統可以如何使用它。

這與《From One Filtration to One Declaration》及《From One Declaration to One Self-Revising Fractal》的 Protocol、Gate、Trace、Residual、Admissible Revision 思路能夠直接銜接。後者特別重視聲明狀態如何根據 Ledger 和 Residual 進行受約束的修訂。

From One Declaration to One Self-Revising Fractal_ Admissibility, Residual Governance, and Recursive Objectivity in Semantic Meme Field Theory.pdf

我認為文章 A 應該將這一層納入,但不需要再重寫成界之學的整套 Declaration 理論。

五、第四項:從兩個 Operator 組合到新 Function,可以有誤差定理

這可能是文章 A 最有機會與此前 Attractor Fusion 形成強連接的地方。

假設已有兩個功能算子:

(5.1) F_A : X → Y.

(5.2) F_B : Y → Z.

理想的組合功能:

(5.3) F_AB = F_B ∘ F_A.

但實際執行時,A 有計算誤差,接口有傳輸/表示誤差,B 也有自身誤差。

假設:

(5.4) ‖F̂_A(x) − F_A(x)‖ ≤ ε_A.

(5.5) ‖T_AB(F̂_A(x)) − F̂_A(x)‖ ≤ ε_I.

(5.6) ‖F̂_B(y) − F_B(y)‖ ≤ ε_B.

其中 T_AB 是適當共同表示空間中的接口轉換;若兩側表示空間不同,需先把誤差定義於明確的接收端座標。

再假設 F_B 在相關運作區域具有 Lipschitz 常數 L_B。

便可推得:

(5.7) ε_AB ≤ ε_B + L_B(ε_A + ε_I).

這裏 ε_AB 是組合輸出的最壞情況誤差界。

現在再接入前一階段的有效 Port 殘差。

若:

(5.8) ‖R_P‖ ≤ ε_R.

則在相應動力學條件下,Port 預測誤差具有上界:

(5.9) δ_P(T) ≤ ε_R[e^(LT) − 1]/L.

因此可得到一項候選的組合可靠性界:

(5.10) ε_AB ≤ ε_B + L_B[ε_A + ε_I + δ_P(T)].

這不是新發明的誤差理論,而是由三角不等式、Lipschitz 連續性及先前的 Port Residual 界組成。

但它在我們的研究架構中,有一項很具體的作用:

當 Attractor A 已經形成某個功能,而且希望向 B 提供可供組合的輸出時,我們可以估計整個 AB 組合究竟能否達到新工作的準確度要求。

這使「Operator Fusion」開始由概念性的組合,轉向可檢驗的工程條件。

但還要一條真正的 Emergence 判準

式 (5.10) 只保證組合可靠,不保證出現新功能。

我建議再加:

(5.11) Performance(F_AB, Task_new) > Performance(Baselines, Task_new) + Δ_min.

其中 Baselines 必須包括單體 A、單體 B、固定組合,以及相同計算資源下的非自適應組合。

否則,僅僅把兩個已知算子接起來,不能自動稱為新的功能湧現。

六、我認為有一項非常重要的反例,必須成為文章 A 的核心

這項反例對下一篇 Transformer 文章也十分重要。

Accuracy 突然上升,不一定需要新的 Attractor 出生。

假設某模型對一個整數結果的內部估計為:

(6.1) ŝ = s + ε.

最後的輸出規則是四捨五入:

(6.2) y = round(ŝ).

當誤差:

(6.3) |ε| < 0.5.

便可以得到正確整數:

(6.4) y = s.

想像訓練過程中,ε 只是逐漸、連續地減少。

模型的內部表示可能一直平滑改善,沒有發生任何動力系統分岔。

但只要 ε 跨過輸出解碼門檻,最終 accuracy 就可能突然跳升。

所以:

(6.5) Sudden Accuracy Gain ⇏ Attractor Bifurcation.

我認為這個反例一定要保留。

因為它能迫使我們區分兩種看似類似、實際上可能完全不同的 AI 能力形成機制:

機制

表面現象

實際解釋

Readout Threshold Crossing

Accuracy 突然改善

內部表現平滑改善,只是越過輸出判決門檻

Circuit/Attractor Reorganization

Accuracy 突然改善

內部電路、穩定制度或計算路徑發生實質改組

如果不能以因果干預和內部狀態分析分辨兩者,我們便沒有資格宣稱觀察到了 Attractor Birth。

這也會使下一篇 Transformer 論文的實驗設計更加嚴謹。

七、經過以上檢查,文章 A 應該如何重新安排?

我現在會調整原先的章節計劃,將數學和反例放在更核心的位置。

建議定稿題目

從 Semantic Attractor 到 Functional Operator:輸入充分性、條件運算、有效接口與功能組合

From Semantic Attractors to Functional Operators: Input Sufficiency, Conditional Dynamics, Effective Ports, and Compositional Reliability

章節

內容與定位

1. Introduction

Attractor 為何不等於 Operator,以及 AI 功能生成問題

2. Three Different Operators

區分 Generative、Functional、Disclosure Operator

3. Input Binding Sufficiency

輸入必須保留哪些差異;不可能性判準

4. Conditional Functional Dynamics

同一吸引組織如何實現不同輸入的轉換

5. Correctness, Robustness and Generalization

功能的三重驗證

6. Effective Output Ports

承接 XXV–XXVII 的 Port Sufficiency

7. Functional Operator Contracts

輸入、輸出、干預、誤差與 Declaration

8. Operator Composition and Fusion

組合可靠性、Port Residual 與新功能判準

9. False Emergence and Counterexamples

穩定的錯誤、解碼門檻、假性分岔

10. Implications for Semantic Attractor Theory

哪些結果可以支持 SMFT,哪些仍屬假設

11. Conclusion and Open Problems

對文章 B 提出明確、可測試的機制問題

我認為這篇不需要再重寫此前所有振盪器、金融或三接口實驗。

應直接選用 XXV–XXVII 中最有力的兩個例子:

第一個:m 不足、(q,m) 可以形成封閉動力 Port。

第二個:異質 Attractor 的 q = b exp(iθ),以及其 Port 對外部干預的依賴。

再補一個輸入—輸出功能案例,例如進位運算。

這樣文章 A 會比較集中,而且前後數學確實有內在連續性。

八、還有一項不能忽略:Functional Operator 與原始 Operator 的研究層次不同

你的既有《From One Assumption to One Operator》主要以原始運算及遞歸生成為研究切入點;隨後《From One Operator to One Filtration》進一步區分形式上的遞歸展開與真正的本體時間,指出一種結構的展開次序不能直接當成物理生成次序。

因此,本篇不能把「Functional Operator 形成」偷換成「原始生成算子創造世界」的證明。

比較恰當的關係應該是:

Primitive Operator:研究一套形式或結構可以如何生成。

Functional Operator:研究一個已形成的系統,可以如何穩定實現輸入—輸出轉換。

Composite Operator:研究多個功能如何經接口組合,取得下一級能力。

Disclosure Operator:研究功能、觀測及歷史如何在特定 Protocol 下取得可宣告的身份。

這些層次有可能進一步整合,但文章 A 的責任,是把其中的 Functional Operator 說清楚。

它不需要提前證明其它三個層次在本體論上必然等價。

九、這回合之後,文章 A 已經具備甚麼寫作基礎?

我認為它現在已有四個比較堅實的數學支柱:

Input Sufficiency:輸入辨認若丟失任務必需的差異,後續 Operator 不可能恢復正確功能。

Conditional Functional Dynamics:穩定吸引結構可以在明確條件下支援輸入依賴的功能轉換。

Dynamic Port Sufficiency:新組織必須具有對指定下游任務充分的有效對外狀態。

Compositional Reliability:多個功能組合後,誤差可以由上游計算、接口傳輸、Port Residual 及下游敏感度共同約束。

但仍有一條非常清楚的研究界線:

這四項主要由既有資訊理論、動力系統、控制論及誤差分析的成熟數學組成。

本篇可能具有的原創性,主要在於將它們統整成一套研究完整 Semantic Attractor 如何成為 Functional Operator 的可驗證生成架構,而不是宣稱上述基本定理本身全新。

這也意味着它可以作為嚴謹的階段性研究成果,但不能只依靠漂亮的統一表述便聲稱已發現 AI 能力湧現的普遍定律。

十、下一個規劃回合:集中設計文章 B 的「硬實驗」

我建議現在已可暫時固定文章 A 的上述數學骨幹。

下一回合不必再增加理論概念,而應為文章 B 建立一套可直接執行的 Transformer 測試設計,特別比較:

競爭假說

核心預測

H₀:Readout Threshold

內部功能品質平滑變化,最終輸出因判決門檻而突然改善

H₁:Circuit Co-adaptation

多項局部電路逐步建立協同,功能因互相依賴而出現

H₂:Attractor-mediated Operator

除電路協同外,還可以測得具有恢復力、輸入條件化的吸引結構及其有效 Port

H₃:Recursive Functional Composition

新形成的 Operator 可以被其它功能可靠重用,而且符合組合與干預的預測

這四個假說不一定完全互斥;實驗設計應嘗試找出它們各自額外要求的證據,而不是預先把它們當作互斥的四種世界觀。

我認為現在的最佳寫作次序是:先完成文章 A 的數學骨幹規劃,再用下一回合把文章 B 的 Transformer 實驗與可否證假說規劃好,然後才開始撰寫兩篇正文。

這樣,最終的總命題才有機會建立在「功能的數學身份」和「AI 中實際形成機制」兩套相互獨立的論證之上,而不是由 SMFT 概念直接推演出所有結論。

 

繼續

 

第三回合規劃:文章 B 的 Transformer 實驗與可否證機制

我現在認為兩篇文章的分工可以基本確定:

文章 A 建立 Attractor 如何實現 Functional Operator 的數學判準;文章 B 則研究真實 Transformer 的電路如何形成這種功能,以及是否真的存在 Attractor 型生成機制。

但這次文獻核查發現了一件重要的事:文章 B 的學術定位,需要比原先想像得更精準。

一、首先要面對:Transformer 的加法電路已有相當深入的研究

我找到三項應該直接納入文章 B 的核心 Benchmark:

研究

已經取得的成果

我們還可以研究甚麼

Understanding Addition and Subtraction in Transformers,2026 修訂版

分析小型 Transformer 的多位加減法電路,提出具體算法,並用 activation/path patching 檢驗。論文報告其高準確模型共享某種電路骨架。

不只辨認電路,還追蹤其形成前後的有效接口與動力學性質。

The Shape of Addition,ICML 2026

在 LLM 的加法 residual stream 中研究幾何軌跡、潛在進位訊號,以及輸出量化門檻造成的錯誤。

分辨表示幾何、吸引盆地與具有恢復力的計算算子。

What Needs to Go Right for an Induction Head?,ICML 2024

透過訓練期間的 activation clamping,辨認多個子電路如何共同促成 Induction Head 的出現。

測試子電路協同之後,是否還有可操作化的 Operator Individuation。

這些論文確實已有相當具體的機制成果,並非只是在討論 Transformer 的抽象能力。

arxiv.org
+2

尤其是 2026 年的《Understanding Addition and Subtraction in Transformers》,與我們想研究的Input Binding、局部運算、進位、Circuit Composition、Output 相當接近。

因此,文章 B 不應再以「首次解釋 Transformer 如何學會加法」作為主要新意。

更合理、也更具區別性的研究問題是:

當一條可泛化的功能電路形成時,能否在訓練過程中量度其有效輸入、輸出、接口充分性及因果可重用性?其中有多少現象確實需要 Attractor Dynamics 解釋,而非一般前饋電路的組合?

這樣,現有研究不是競爭性的障礙,而是我們可以使用的實驗基準。

二、文章 B 要回答的,不是「有沒有電路」,而是「電路何時成為 Operator」

我建議將文章 B 的中心收斂為一個更有力的命題:

Functional Operator Emergence Hypothesis(功能算子形成假說)

Transformer 在訓練過程中,可能逐步形成具有輸入綁定、條件計算、結果寫回及跨任務重用能力的功能電路。這些電路能否被進一步理解為 Attractor-realized Operators,取決於是否存在可測量的吸引動力、可靠的有效 Port,以及因果上的功能重用證據。

這裏應特別區分三種「穩定」。

穩定性

意義

是否足以證明 Attractor

Representational Stability

不同輸入中,模型反覆使用相近的內部特徵

否

Functional Stability

相同運算規律能在不同輸入及擾動下維持正確性

否

Dynamical Attraction

在明確定義的迭代動力學中,偏離的內部狀態會返回相應吸引結構

才具備真正的吸引子證據

這三種現象可能同時存在,也可能只出現其中一兩種。

文章 B 必須容許研究結果最後顯示:Transformer 確實形成 Operator,但未必透過動力學吸引子實現。

這樣整篇研究才能具有真正的可否證性。

三、建議採用兩種互補的算術實驗

我原先傾向只用多位十進制加法,現在稍微修正。

主實驗仍然使用十進制加法;輔助實驗則使用 Modular Addition(模加法)。

兩者剛好可以測試不同的數學問題。

實驗 A:多位十進制加法

例如:37 + 48 = 85;999 + 1 = 1000。

重點研究 Input Binding、Carry Circuit、跨位數的功能整合,以及輸出寫回。

目標: Operator 如何從局部功能組合形成。

實驗 B:模加法

例如:17 + 23 ≡ 9 (mod 31)。

重點研究系統是否學到週期性表示、旋轉幾何及穩定的內部計算規律。

目標: 測試表示幾何是否對應真正的吸引動力。

模加法有一個非常好的現成基準。Nanda 等人的 Progress Measures for Grokking via Mechanistic Interpretability(ICLR 2023)已經從小型 Transformer 中辨認出 Fourier/三角恆等式式的模加法算法,並將 Grokking 拆解為逐漸形成電路、之後清除記憶化成分的過程。

arxiv.org
+1

這與我們先前討論「原來分散的小泡泡逐漸聚集,功能突然表現出來」非常接近。

但這也提醒我們:功能表面上的突然出現,有可能只是已在逐漸形成的計算結構終於取得足夠優勢,而不必是一個新的動力學吸引子突然出生。

這正是我們要做進一步測量的地方。

四、四項競爭假說:決定文章 B 的實驗架構

我建議正式採用以下四項假說。

假說

解釋

需要的證據

H₀ — Readout Threshold

內部能力逐漸改善,輸出或評分門檻造成表面突然躍升

連續內部指標平滑,沒有必要的結構改組

H₁ — Circuit Co-adaptation

多個子電路共同成熟,建立可執行新功能的因果路徑

可重現的電路識別、path patching 及交互消融

H₂ — Attractor-mediated Operator

形成新功能的電路還具有輸入條件化、可恢復的吸引動力

明確動力迭代、擾動收斂、吸引制度及有效 Port

H₃ — Recursive Functional Composition

已形成的 Operator 可以作為有效單元,被其它 Operator 可靠重用

對外 Port 充分性、下游重用、跨任務干預

這四項不一定互斥。

例如 H₁ 和 H₂ 可能同時成立;H₀ 也可能解釋最終 Accuracy 為甚麼看起來突然上升,而 H₁ 解釋內部功能怎樣逐漸形成。

文章 B 的目標,是找出每項假說額外作出了甚麼預測。

特別注意 H₀

NeurIPS 2023 的 Are Emergent Abilities of Large Language Models a Mirage? 已具體研究:不連續評估指標如何令平滑的模型進步看似突然形成新能力。

papers.neurips.cc

所以文章 B 不可只使用 Exact-Match Accuracy。

必須同時保留連續指標,如正確答案的 log probability、token-level loss、carry-state probe error,以及被辨認電路的因果貢獻。

五、實際實驗 Protocol:由訓練開始,而不是只分析訓練完成的模型

我建議如下設計。

5.1 模型與資料

先用 2–3 層的小型 Decoder-only Transformer,從零開始訓練。

保存密集 Checkpoints:

θ₀, θ₁, θ₂, …, θ_N.

初步採用多個隨機種子,避免只研究一次幸運的形成過程。

十進制加法資料應按照計算難度拆開。

資料類型

例子

功能測試

無進位

23 + 14

基本數字與位置處理

單次進位

37 + 48

局部進位

連鎖進位

999 + 1

多級依賴

多段分離進位

5867 + 2478

多個 Carry 子電路

未見過的數字組合

訓練集外的數對

泛化

更長位數

超過訓練範圍的算式

功能重用與長度外推

這裏應保留一項嚴格限制:訓練集外的新數字組合和更長位數是不同的泛化問題。

模型可能學會固定長度的加法算法,卻因位置編碼、上下文長度或有限的進位傳播結構,而無法處理更長的算式。

而且測試十進制加法時,應固定輸出格式,例如正常由高位到低位輸出,避免中途改成反向數字輸出,造成演算法要求本身改變。

5.2 每個 Checkpoint 必須保存甚麼?

我建議至少保留四類資料。

Output Trace: loss、Exact-Match、逐位正確率、Carry 錯誤率、結果的機率分佈。

Representation Trace: 數字位置、運算元角色、局部求和、進位資訊在各層的可解碼程度。

Circuit Trace: Attention heads、MLP 特徵及它們之間的因果讀寫關係。

Operator Trace: 中間計算是否有穩定的功能接口,能否在新輸入和下游任務中重用。

最重要的一點是:應該把訓練過程中的形成次序記錄下來。

例如,我們可能觀察到:

Input Binding 先成熟,而後 Carry Circuit 才取得足夠可靠性;或者某條進位路徑原來已存在,只是輸出寫回不可靠。

這些結果對 Attractor-to-Operator 的數學假說具有不同意義。

六、真正測試 Attractor,不能只擾動普通 Transformer 的 Activation

這裏我想加入一項很重要的方法論修正。

標準 Transformer 的不同層通常具有不同參數:

(B.1) hˡ⁺¹ = Tₗ(hˡ,x).

因此,將內部狀態由第 l 層推到第 l+1 層,並不等於對同一動力系統反覆執行:

(B.2) zₙ₊₁ = T(zₙ,x).

所以,若我們在第 5 層擾動 Activation,結果在第 9 層看起來恢復,最多可以先說明:

下游計算對該類擾動具有有限深度的恢復或補償能力。

還不能直接說明模型內存在真正的動力學吸引子。

我建議加入一組「共享更新算子」對照實驗

主模型仍然使用標準 Transformer。

另外建立一個受控的 Shared-Weight Recurrent Transformer/迭代模組,將同一個更新算子反覆應用:

(B.3) zₙ₊₁ = T_θ(zₙ,x).

固定訓練參數 θ、固定輸入 x,從多個被擾動的初態開始。

檢查是否存在條件化穩定狀態:

(B.4) z*(x) = T_θ(z*(x),x).

以及局部擾動是否收斂:

(B.5) ‖zₙ(x,δ) − z*(x)‖ → 0.

更進一步,要確認不同輸入產生不同且正確的功能輸出:

(B.6) D[z*(x)] ≈ F_target(x).

如果能在這類架構中取得結果,我們就可以真正測試 Attractor-to-Operator 的條件化固定點假說。

但它不能自動證明普通前饋 Transformer 使用了同一機制。

這項共享權重模型的作用,是提供真正存在迭代動力學的正向測試場;標準 Transformer 則用作比較。

一項必要的負面控制

假設某個內部機制具有極強收斂力,但會將所有輸入壓縮成同一狀態:

(B.7) z*(x₁) = z*(x₂),對所有 x₁、x₂ 成立.

它可能非常穩定,卻不能實現一般加法。

所以測試不能只量度擾動收斂。

還要量度不同正確答案是否保持可區分。

真正的目標是 Input-Conditional Attraction,而非不分輸入的 Representation Collapse。

七、Port Sufficiency:這是文章 B 最值得從 I–XXVII 引入的核心

假設我們已經找到某個候選 Carry Circuit,其內部完整狀態為 h。

現在希望將它壓縮成少量有效變量:

(B.8) p = Π(h).

例如:

p 可能包含局部求和、進位是否存在、進位傳播條件,以及必要的位置資訊。

我們要研究的是:

下游電路是否只需要這個 p,就能完成後續正確計算?

測試方法可以十分具體。

先以完整 h 運行下游計算,再讓下游改用從 p 重建或生成的有效狀態。

比較兩者輸出及干預後的行為。

定義一項經驗 Port 誤差:

(B.9) ε_Port = E[d(Y_full,Y_port)].

但不能只比較自然輸入。

應同時比較:

  • 不同進位型態;

  • 中間 Activation 被干預後;

  • 不同運算元組合;

  • 下游運算方式被改變後。

如果 p 在這些允許條件下仍足以預測下游行為,便開始有資格稱為 Functional Port。

再將 XXVII 的 Residual Gate 加入,就可以研究:

這個 Carry Operator 何時成熟到足以作為另一個 Operator 的可靠輸入?

這比單純透過 Probe 找到某個表示進位的方向,更強。

因為一個 Probe 可以讀出資訊,不代表該資訊已經被模型下游當成具有因果作用的功能接口。

八、真正的 Operator Reuse 應該怎樣驗證?

我建議不要一開始用乘法作主要重用案例。

因為乘法需要更多新功能,會引入太多不受控制的因素。

較簡潔的做法是:

先學加法,再研究加法中已形成的局部算子,能否在減法或較複雜加法中重新被利用。

例如,先測試局部數字運算及 Carry Circuit。

之後增加減法任務,研究模型是否保留或改造部分既有功能。

這有直接的文獻支點:2026 年修訂的加減法電路研究,已報告部分節點可同時服務加法與減法,並研究了跨任務共享的電路骨架。

arxiv.org

所以我們不應把「模型能在加減法間共享部分電路」當作尚未有人發現的新成果。

我們應該進一步量度:

共享電路的有效 Port 是甚麼、其資訊及因果充分性是否保持,以及使用條件擴大後是否會失效。

這正好可以直接使用 XXVI 的 Protocol-Relative Port Sufficiency。

若加法形成的某個功能單元,在加減法共同使用時必須重新修改內部表示,便可研究這個過程究竟是:

  • 原有 Operator 被保留並重用;

  • 原有 Operator 經適應後升級;

  • 或原有電路被新的多功能電路取代。

這三個情況不應統統稱為 Recursive Fusion。

九、文章 B 的正式章節架構

經過這次 Benchmark,我建議將文章 B 由原先較寬泛的機制猜想,改成一篇以嚴格實驗為主的論文。

建議中文題目

《Transformer 功能算子的生成:從電路協同、條件吸引動力到可遞歸使用的有效接口》

The Emergence of Functional Operators in Transformers: Circuit Co-adaptation, Conditional Attractor Dynamics, and Reusable Effective Ports

章節

核心內容

證據定位

1. Introduction

AI「突然懂得」究竟意味着甚麼?

研究問題

2. Existing Mechanistic Results

Arithmetic、Grokking、Induction Heads、Carry Circuits

既有研究

3. Four Competing Hypotheses

H₀–H₃ 的可區別預測

本研究設計

4. Experimental Systems

十進制加法、模加法、Transformer 架構

實驗規格

5. Input Binding and Partial Circuits

數字、位置、進位及局部計算

可測量機制

6. When Does a Circuit Become an Operator?

正確性、泛化、因果必要性

核心判準

7. Testing Conditional Attractors

標準 Transformer 與共享算子迭代對照

強假說檢驗

8. Effective Port Sufficiency

功能接口、干預與殘差

承接 XXV–XXVII

9. Recursive Functional Reuse

加減法、多位組合、共享接口

高階功能

10. Failure Modes and Falsification

假性湧現、Probe 假象、脆弱電路

反例

11. Implications for SMFT and P8D

哪些部分支持原假說,哪些仍未成立

跨理論銜接

12. Conclusion

已知機制與候選新增預測

收束

這篇應該有一項鮮明的結論規則:

沒有完成相應 Transformer 實驗的部分,只能寫成 Proposed Protocol 或 Testable Hypothesis,不能寫成 Experimental Finding。

十、文章 A 與文章 B,應該如何連接而不互相重複?

我建議兩篇使用同一套功能研究詞彙,但不同的證據責任。

概念

文章 A 的工作

文章 B 的工作

Input Binding

給出輸入資訊充分性的數學條件

量度數字、角色、位數能否被內部表示可靠區分

Functional Operator

定義何謂穩定、正確、可泛化的轉換

證明實際電路如何實現相應任務

Attractor

定義條件化吸引結構及其限制

判斷真實模型是否存在該動力機制

Effective Port

定義封閉/近似封閉條件及誤差界

在真實 Activation 與電路干預中測試充分性

Recursive Composition

推導組合誤差與新功能的判準

測試加減法共享、長度泛化及組合路徑

Declaration

定義使用資格與協議範圍

提出功能接口的合格測試與撤回條件

這樣文章 A 不需要詳細描述 Attention Head;文章 B 也不需要重新證明壓縮映射定理或全部 Port Sufficiency 條件。

兩者的關係會相當清晰:

文章 A 提出數學問題及判準;文章 B 提出在 Transformer 中檢驗它們的方法。

十一、我建議採用的最終寫作次序

現在完成了三個規劃回合,我認為已經足夠。

下一步不必繼續增加 Outline,可以開始真正寫文章。

A

先寫《從 Semantic Attractor 到 Functional Operator》

以數學為主,完整呈現 Input Sufficiency、Conditional Dynamics、Functional Correctness、Output Port、Operator Contract、組合誤差及反例。

建議是一篇內容較完整的理論文章,先完成正文,再補 Technical Appendices。

B

再寫《Transformer 功能算子的生成》

以已知 AI 電路研究為基礎,集中提出四項假說、兩個實驗系統、Checkpoint 分析、因果干預及 Port Sufficiency 測試。

將尚未執行的實驗清楚寫成研究協議,而不是預先報告結果。

C

最後才寫總命題的階段性成果

統整已完成的 Attractor Fusion I–XXVII、Functional Operator 數學,以及 Transformer 機制假說,判斷能否提出更一般的遞歸功能生成框架。

全文沿用你指定的 Blogger-ready Unicode Journal Style:所有方程均單行、不使用 LaTeX/MathJax、每章以(n.m)編號;較複雜的推導也採用逐式編號的 AMS-style 論文敘述,方便直接貼到 Blogger。

這三個規劃回合後,我的核心判斷

文章 A 的數學主幹已經明確;文章 B 也已有具體 Benchmark 和可否證實驗,而不再只是籠統的 Transformer 類比。

其中我現在最重視的一個問題是:

我們能不能把「學會一項功能」定義得比 Accuracy、Circuit Detection、甚至一般 Attractor Stability 更嚴格?

目前得到的候選答案是:

一項成熟的 Functional Operator,應具備充分的輸入辨認、正確且可泛化的轉換、可驗證的因果路徑,以及對指定下游協議充分的有效輸出接口。

Attractor Dynamics 可能是實現這些性質的一種重要機制,但仍必須另外驗證。

我建議下一回合正式開始文章 A,由 Abstract、Introduction 及核心定義起筆,先把理論基礎寫紮實,再進入推導。

 

 繼續

 

以下正式開始文章 A 的正文(第一部分)。本次先完成 Abstract、Introduction、研究對象與核心定義,以及一項重要的 Input Binding 判準。後續再展開 Conditional Dynamics、Function Formation、Effective Port 與 Operator Composition 的數學推導。

從 Semantic Attractor 到 Functional Operator:輸入充分性、條件動力學、有效接口與功能組合

From Semantic Attractors to Functional Operators: Input Sufficiency, Conditional Dynamics, Effective Ports, and Compositional Reliability

—— Attractor Fusion I–XXVII 之後的功能生成研究

Abstract

在 Semantic Meme Field Theory(SMFT)及相關的 Attractor–Connection 研究中,吸引子被視為具有內部組織、穩定性、吸引盆地、觀察者依賴及歷史作用的動力學結構。此前 Attractor Fusion I–XXVII 已探索自適應接口如何改變集體吸引結構,以及新形成的整體如何透過 Effective Port、Declaration、Residual 與 Ledger,取得可供下一級系統使用的有效身份。

然而,仍然存在一個尚未充分處理的問題:

一個 Attractor 如何由具有穩定性的內部組織,轉化為能夠辨認輸入、執行運算、產生正確輸出,並被反覆調用的 Functional Operator?

這個問題不能只用吸引盆地的存在來回答。一個系統即使具有強大的收斂性,也可能對不同輸入產生相同且錯誤的輸出。反過來,一個可靠的計算電路,也不一定必須由傳統動力系統意義上的吸引子實現。

本文因此提出一套研究 Attractor-to-Operator Realization 的候選數學架構,將功能形成分解為 Input Binding、Conditional Functional Dynamics、Result Encoding、Output Port、Functional Contract 及 Operator Composition。

首先,本文區分 Primitive/Generative Operator、Functional Operator、Composite Operator 與 Disclosure Operator,避免將形式生成、實際運算、功能組合及觀察者投射混為同一層次。

其次,本文提出 Input Binding Sufficiency 作為功能形成的必要條件。若兩個要求不同輸出的輸入被映射成同一有效內部表示,則任何只依賴該表示的後續確定性運算,都不可能同時正確處理兩者。

第三,本文研究由輸入參數化的吸引結構,說明同一套內部動力規律如何可能對不同輸入產生不同、穩定且可讀取的結果。功能正確性、擾動恢復性及泛化能力被視為三項需要分別驗證的性質。

第四,本文承接 Attractor Fusion I–XXVII 的 Dynamic Port Sufficiency,將 Output Port 的封閉性、近似殘差及下游使用協議納入 Functional Operator 的資格判準,並探討多個 Operator 組合時的誤差傳遞及功能新增條件。

本文的中心主張不是所有 Operator 都必然源於 Attractor,而是:

當一個已形成的吸引組織,能夠在指定輸入範圍內實現可靠的條件化轉換,並透過充分的輸入及輸出接口供外部系統調用時,它便可以被研究為一項 Attractor-Realized Functional Operator。

這項研究試圖建立一條連接穩定組織、輸入理解、計算功能與遞歸組合的可檢驗數學路徑,並為後續研究 Transformer 中功能電路的形成、整合及重用,提供更精確的理論判準。

Keywords: Semantic Meme Field Theory; Semantic Attractor; Functional Operator; Input Binding; Conditional Attractor Dynamics; Effective Port; Dynamic Sufficiency; Operator Composition; Recursive Individuation; Transformer.


1. Introduction:從穩定的意義組織到可執行的功能

1.1 Attractor 可以穩定存在,但為甚麼會「懂得做事」?

一個吸引子首先是一項動力學性質。

對於具有演化映射 Φᵗ 的系統,如果一組初始狀態的軌跡會逐漸接近某個不變集合 𝒜,便可以研究 𝒜 的吸引盆地、穩定性、恢復速度及對擾動的敏感程度。

(1.1) dist(Φᵗ(s), 𝒜) → 0,當 t → ∞,且 s ∈ ℬ(𝒜).

其中 ℬ(𝒜) 是吸引盆地。

這種結構可以用來描述穩定的動力學制度、週期循環、關聯記憶,以及其它具有恢復性的組織模式。

但這項定義本身並沒有說明系統是否具備任何有用的計算功能。

例如,一個系統可能對所有初始條件都收斂到同一固定點。

(1.2) Φᵗ(s) → s*.

這可以是一個非常穩定的吸引子。

然而,如果外部要求它計算兩個整數的和,而系統無論收到甚麼輸入都返回相同答案,它便沒有實現加法功能。

因此:

(1.3) Attractor Stability ≠ Functional Competence.

一個 Functional Operator 必須具有額外的結構,使它可以區分不同輸入,並對不同輸入產生符合指定規律的結果。

對加法而言:

(1.4) F_add(a,b) = a + b.

其重要性不是某個數值可以被穩定保存,而是相同的功能規律可以在大量不同運算元上反覆成立。

我們由此得到本文的第一個問題:

一個穩定的內部組織,如何支援一整族由輸入決定的可靠轉換,而不只是將所有輸入吸引到同一個結果?

1.2 為甚麼這個問題對 Semantic Attractor 特別重要?

SMFT 的出發點,不是將意義視為靜態符號,而是將其視為具有相互作用、觀察者依賴、投射與歷史記憶的動態結構。

在這個框架中,Semantic Attractor 不只是抽象向量空間中的一個位置。

它可能同時涉及:

語義狀態的組織與約束;不同詮釋方向的吸引;Observer 所採用的 Projection Frame;已建立的 Trace/Ledger;以及與其它語義組織之間的 Connection。

但即使一個 Semantic Attractor 能夠穩定吸引某些詮釋,也不能立即推論它具備理解或執行一項計算的能力。

例如,「加法」在語義空間中可能對應一組高度穩定的數學概念、規則和相互關係。

但對一個 AI 系統而言,知道「加法」這個概念與實際能夠計算:

37 + 48 = 85

是兩種不同的能力。

前者可能主要涉及概念辨認、檢索或語義關聯。

後者還涉及運算元綁定、位置識別、局部求和、進位傳遞、輸出編碼,以及在不同輸入下重複使用這些規律。

因此,一個完整的 Semantic Attractor 理論若要解釋 AI 能力的形成,就需要進一步回答:

穩定的語義結構,如何被組織成具有輸入、輸出及可靠因果轉換規律的功能單元?

1.3 Attractor Fusion I–XXVII 留下的問題

此前研究已建立一組與 Functional Operator 密切相關的候選機制。

其核心鏈條為:

(1.5) Existing Attractors → Adaptive Connections → Collective Attractor Reorganization → Effective Port → Qualified Declaration → Recursive Functional Individuation.

其中,Dynamic Port Sufficiency 提出一項重要判準:

若一個聯合系統的內部狀態為 s,對外 Port 為 p = Π(s),則要將該 Port 視為有效的獨立接口,應檢查是否存在封閉或近似封閉的有效動力學。

(1.6) ṗ = F̄(p,c),ċ = Ḡ(p,c).

其中 c 是外部系統的狀態。

這項研究處理的是:新形成的整體,能否透過較少的有效變量,可靠地與外部系統互動。

但它尚未充分回答另一個問題:

這個整體究竟執行甚麼功能?

一個具有完美動力學封閉性的 Port,可能只是在準確報告內部狀態,並未真正實現任何有價值的輸入—輸出轉換。

因此,本文並非重寫此前研究,而是補上其功能形成的另一半。

1.4 本文的研究目標

本文希望建立以下問題之間的數學關係:

Input Sufficiency: 外部輸入必須保留哪些差異,系統才可能正確執行指定功能?

Conditional Dynamics: 同一套內部組織如何根據不同輸入,形成不同且穩定的計算結果?

Functional Correctness: 甚麼條件可以區分穩定的運算與穩定的錯誤?

Output Port Sufficiency: 一項內部運算結果,何時可以被可靠地寫回、讀取及利用?

Operator Composition: 已形成的低階功能,如何透過 Connection 組合成新的高階功能?

Functional Qualification: 一項功能可以在甚麼輸入範圍、精度、時域及外部干預條件下,被宣告為可用的 Operator?

這些問題與 SMFT、P8D 及成界之學具有自然聯繫。

但本文不預先假定三者已經構成一套獲驗證的普遍理論。

本文首先研究的是可以明確定義、推導、構造反例及接受工程驗證的功能實現條件。


2. Four Different Meanings of Operator:必須先區分四種算子

2.1 Primitive/Generative Operator

在《From One Assumption to One Operator》及其後續研究中,Operator 主要涉及一項原始運算如何透過遞歸組合,產生豐富的形式結構。

例如,對一個原始二元運算 g:

(2.1) g : X × X → X.

可以構造遞歸運算語法:

(2.2) S → Seed | g(S,S).

這種 Operator 研究的是形式生成與可組合表達能力。

一個形式結構即使可以由某個原始算子生成,也不代表任何實際系統已經懂得何時調用它、如何綁定輸入,以及怎樣產生正確輸出。

因此:

(2.3) Generative Expressibility ≠ Functional Realization.

這個區別非常重要。

否則我們可能把「某個算子在形式上足以表示所有目標運算」,誤解為「一個 AI 已經學會如何可靠執行這些運算」。

2.2 Functional Operator

Functional Operator 是本文的主要研究對象。

在最簡單的無狀態情況下,定義:

(2.4) F : 𝒳_adm → 𝒴.

其中 𝒳_adm 是允許的輸入集合,𝒴 是輸出空間。

但真實系統通常具有內部記憶、工作狀態或歷史約束。

因此,更一般的 Functional Operator 應是一項狀態轉換:

(2.5) 𝒪 : 𝒳_adm × 𝒮 → 𝒴 × 𝒮.

其中 𝒮 是內部有效狀態空間。

執行一次運算:

(2.6) 𝒪(x,s) = (y,s′).

輸入 x 可以改變內部狀態,運算結果 y 可以由新的狀態及計算過程共同決定。

這是一種一般性的狀態式運算表示,並不要求系統必須具有吸引子。

本文接下來才研究:在甚麼條件下,這種 Functional Operator 可以由已形成的吸引組織實現。

2.3 Composite Operator

當兩個已存在的 Operator 可以組合時:

(2.7) F_A : 𝒳 → 𝒴.

(2.8) F_B : 𝒴 → 𝒵.

可以構造:

(2.9) F_AB = F_B ∘ F_A.

但從 Functional Attractor 的角度,這個寫法仍然過於簡單。

因為實際組合通常需要接口轉換、狀態保存、誤差控制及雙向回饋。

更一般的 Composite Operator,可能需要同時更新 A、B 的有效內部狀態。

(2.10) 𝒪_AB : (x,s_A,s_B) ↦ (y,s_A′,s_B′).

當多個 Operator 經由自適應 Connection,形成原本單體無法在相同約束下完成的新功能,才開始具有研究 Functional Emergence 的意義。

但普通的函數組合本身不是新發現,也不必然構成新的吸引子。

2.4 Projection/Disclosure Operator

SMFT 的 Observer、Projection 及成界之學中的 Declaration,則屬於另一個研究層次。

它們主要決定:哪些結構可以被觀察、選擇、准入、記錄及轉化為可追蹤結果。

一項候選 Disclosure Operator 可以表示為:

(2.11) 𝒟_P = UpdateTrace_P ∘ Gate_P ∘ Ô_P ∘ Declare_P.

其中 P 是已聲明的協議。

這與 Functional Operator 並非完全無關。

一項已形成的 Functional Operator,需要明確的輸入准入、有效輸出及狀態記錄,才能成為可靠的工程單元。

但 Disclosure Operator 主要研究准入、投射及歷史記錄;Functional Operator 研究實際的計算轉換。

兩者不能在未加定義的情況下互相取代。

2.5 本文採用的術語原則

本文將固定使用以下區分:

Primitive Operator:形式生成規則。

Functional Operator:具備指定輸入—輸出及狀態轉換規律的功能。

Composite Operator:由多個功能單元經接口組合形成的功能。

Disclosure Operator:使結構在指定 Protocol 下取得可觀測及可記錄身份的算子。

Attractor-Realized Operator:由具有明確吸引動力學的內部組織,實現指定功能規律的 Operator。

本文將避免在未說明研究層次時,單獨使用「Operator」一詞代表以上所有結構。


3. Core Definition:甚麼是 Attractor-Realized Functional Operator?

3.1 從一個完整 Attractor 出發

設 𝔄 是一個具有內部狀態空間 𝒮、演化規律 Φ、吸引集合及允許外部接口的系統。

當它接受輸入 x 時,內部動力可能改變。

因此,考慮由輸入參數化的狀態演化:

(3.1) sₙ₊₁ = T_θ(sₙ,x).

其中 θ 表示已形成或已學得的內部參數。

若 x 固定,系統可以存在一個依賴輸入的吸引集合:

(3.2) 𝒜_θ(x) ⊆ 𝒮.

這裏的重要改變,是不再要求所有輸入都被吸引到同一集合。

同一套內部運算結構,可以對不同輸入產生不同的有效吸引制度。

這種情況稱為:

Input-Conditional Attractor Family——輸入條件化吸引子族。

但這只是一種可能的 Functional Operator 實現機制。某些 Operator 可以透過有限步驟的前饋電路完成,而沒有必須收斂的吸引動力。

3.2 功能輸出需要一項明確的讀出規則

令 D 是輸出讀出函數:

(3.3) D : 𝒮 → 𝒴.

若 𝒜_θ(x) 是單一穩定固定點:

(3.4) 𝒜_θ(x) = {s*(x)}.

則可以定義:

(3.5) F_θ(x) = D[s*(x)].

但吸引子不一定是固定點。

它可能是一條極限環、一組穩定模式,甚至更複雜的不變集合。

因此,一般情況不能隨便選取其中一個狀態作為答案。

一個可行的要求,是在指定的讀出協議下,吸引集合內部的有效輸出必須足夠一致。

例如:

(3.6) sup{d_Y[D(s₁),D(s₂)] : s₁,s₂ ∈ 𝒜_θ(x)} ≤ ε_read.

其中 ε_read 是允許的讀出差異。

如果任務需要讀取週期、平均通量、相位或其它集體不變量,則 D 可以改為對吸引軌道或其統計量的讀出,而不一定是對單個瞬時狀態的函數。

這使 Functional Operator 的定義不必被限制在固定點型 Attractor。

3.3 功能正確性與吸引子穩定性必須分開

令 F* 是指定目標功能。

對任何有效輸入 x,功能誤差可以定義為:

(3.7) E_F(x) = d_Y[F_θ(x),F*(x)].

一項功能在指定輸入集合 𝒳_test 上達到 ε_F 精度,表示:

(3.8) sup{x ∈ 𝒳_test} E_F(x) ≤ ε_F.

這項條件與吸引子穩定性不同。

一個 Attractor 可以非常穩定,但始終輸出錯誤答案。

另一方面,一個計算電路可能輸出正確答案,卻對內部擾動非常敏感。

因此我們需要至少三種獨立測試:

Attractor Stability: 內部狀態是否返回指定吸引制度?

Functional Correctness: 系統是否產生符合目標規律的輸出?

Functional Robustness: 在允許的輸入變化及內部擾動下,功能是否保持可靠?

若要聲稱 Operator 已經學會可泛化的功能,還需增加對未見過輸入的測試。

3.4 定義:Attractor-Realized Functional Operator

Definition 3.1 — Attractor-Realized Functional Operator

給定輸入集合 𝒳_adm、內部狀態空間 𝒮、目標功能 F*、輸入綁定 B、內部動力 T_θ 及讀出 D。

若在聲明的運作協議下:

第一,B 保留完成 F* 所必需的輸入差異;

第二,T_θ 對相關輸入產生可驗證的吸引或條件化穩定結構;

第三,D 能從該結構取得符合任務要求的輸出;

第四,整體功能在指定輸入、擾動、精度及時域內達到合格要求;

則稱這套由吸引組織支援的功能實現為一項 Attractor-Realized Functional Operator。

其基本表示可以寫為:

(3.9) 𝒪_𝔄 = (B,T_θ,D,𝒳_adm,𝒰_adm,ε_F,ε_P).

其中 𝒰_adm 是允許的干預集合,ε_F 是功能誤差要求,ε_P 是有效接口或狀態約化的殘差預算。

這是一項本文提出的研究性定義,不是宣稱它已是所有 AI 功能算子的標準分類。

3.5 第一項重要界線:正確功能不要求所有內部狀態都可觀測

真實的 Functional Operator 通常包含大量內部自由度。

外部使用者未必需要知道全部內部狀態,也未必有權修改全部內部變量。

因此,Functional Operator 的可重用性,需要與 Effective Port 聯繫。

令外部可使用的有效狀態為:

(3.10) p = Π(s).

一項功能可以要求:

(3.11) y = D_out(p,x).

若外部系統還需要預測 Operator 的持續狀態轉換,便須額外檢查 p 是否具有充分的動力學封閉性。

這使我們開始銜接 Attractor Fusion I–XXVII 的成果。

但不能將「可觀測到某個特徵」直接等同「已形成充分的 Functional Port」。

外部讀出、因果作用及動力學充分性,仍然是不同的驗證要求。


4. Input Binding Sufficiency:功能形成的第一道必要條件

4.1 輸入不是進入系統便自動被理解

對人類而言,看到「37 + 48」似乎自然知道 37、48 是運算元,+ 是運算符號。

但對一個正在學習的系統而言,這些關係未必已經穩定形成。

它可能只辨認出一組字元,卻沒有建立數字位置、運算元角色及進位關係。

所以,Input Binding 應該被理解為一項有功能要求的映射:

(4.1) B : 𝒳 → 𝒵.

其中 𝒵 是後續運算實際使用的有效輸入表示。

真正重要的不是 B 是否保存原始輸入的全部資訊,而是它是否保存完成指定功能所必需的差異。

4.2 Input Binding Necessity

Proposition 4.1 — 必要輸入差異不能被完全壓縮掉

令 F* 是一項確定性目標功能,而實際 Operator 只能透過 B(x) 取得輸入資訊。

若存在兩個輸入 x₁、x₂,使:

(4.2) B(x₁) = B(x₂).

但:

(4.3) F*(x₁) ≠ F*(x₂).

則不存在一個只依賴 B(x) 的確定性下游函數 G,可以同時滿足:

(4.4) G[B(x₁)] = F*(x₁),且 G[B(x₂)] = F*(x₂).

Proof.

由 B(x₁) = B(x₂),可得:

(4.5) G[B(x₁)] = G[B(x₂)].

但目標要求 F*(x₁) ≠ F*(x₂),因此兩項正確性條件不能同時成立。

證畢。

若輸出空間具有距離度量 d_Y,則更可得到:

(4.6) max{E_F(x₁),E_F(x₂)} ≥ d_Y[F*(x₁),F*(x₂)]/2.

這條結果是確定性資訊充分性的基本推論,不是新的資訊理論定理。

但它為 Attractor-to-Operator 的研究提供了一項不能跳過的判準:

只要 Input Binding 將完成任務必需的差異完全消除,後續 Attractor 無論多穩定,都不可能單靠這項表示恢復正確功能。

4.3 一個簡單的加法反例

考慮:

12 + 3 = 15.

21 + 3 = 24.

如果系統只保留輸入中有哪些數字,而沒有保留其位置與運算元角色,則兩項不同的輸入可能被映射成相同的有效表示。

例如:

(4.7) B(12 + 3) = B(21 + 3).

但:

(4.8) F*(12 + 3) = 15,F*(21 + 3) = 24.

因此,它們不能由同一個沒有其它資訊來源的確定性下游計算結果同時正確處理。

這說明 Input Binding 不只是功能形成的附帶問題。

它決定了後續計算究竟還有沒有可能得到正確答案。

4.4 Input Binding 與 Attractor 的真正銜接

一個語義系統可能逐漸形成穩定的數字、位置、運算符號及角色表示。

但這些特徵的存在,尚不等於已具備完整功能。

我們要研究的是:

Input Binding 所形成的有效狀態,能否被後續運算結構可靠地選取、組合及更新。

例如,真正的加法功能至少需要將不同位置的數字及進位狀態送到適當的局部運算單元。

因此可以提出一項研究假說:

在某些 AI 功能形成過程中,局部計算規則可能早已部分存在,而完整能力遲遲沒有出現,是因為必要的 Input Binding 或跨電路 Connection 尚未成熟。

這是一項待驗證的功能生成假說。

它與此前 Attractor Fusion 的研究方向相符,但不能只因模型最後學會加法,便倒推上述機制必然發生過。

要驗證它,需要測量輸入表示、局部運算路徑、接口讀寫及其因果影響。

這將成為後續 Transformer 機制研究的一項核心實驗問題。


第一部分完。

Research status:核心定義與必要條件的形式化。本文尚未聲稱已從 SMFT 第一原理推導出所有 Functional Operator 的生成機制。下一部分將研究 Conditional Functional Dynamics、吸引子族的功能讀出一致性、輸入擾動與計算正確性的界限,以及穩定吸引與功能泛化之間的數學關係。


第一部分完。

Research status:核心定義與必要條件的形式化。本文尚未聲稱已從 SMFT 第一原理推導出所有 Functional Operator 的生成機制。下一部分將研究 Conditional Functional Dynamics、吸引子族的功能讀出一致性、輸入擾動與計算正確性的界限,以及穩定吸引與功能泛化之間的數學關係。

這一部分先建立了文章最重要的起點:Attractor 的穩定性、Input Binding 的資訊充分性,以及 Operator 的功能正確性,是三項不同而相互制約的條件。

下一部分將進入真正的動力學推導,並特別研究一個關鍵問題:當輸入改變時,一個已形成的吸引組織如何保持自身規律,同時產生不同而正確的輸出?

 

繼續


以下接續文章 A 的正文,從第 5 章開始。這一部分的核心是建立 Conditional Attractor → Functional Operator 的數學橋樑,而非另起一套新理論。

從 Semantic Attractor 到 Functional Operator

第二部分:條件化吸引動力學、功能正確性與泛化條件


5. Conditional Functional Dynamics:一個 Attractor 如何實現不同輸入的運算?

5.1 問題的關鍵:Attractor 不能只是把所有輸入拉向同一個結果

此前我們已區分 Attractor Stability 與 Functional Competence。

現在需要回答更具體的問題:

如果一個 Attractor 的主要特徵是將狀態吸引到穩定結構,為甚麼它不會把不同輸入全部壓縮成同一個結果?

答案是:用來實現功能的吸引動力學,必須允許輸入控制穩定結構的位置、形態、分支或可讀取的不變量。

令 x 是原始輸入,B 是輸入綁定函數,定義:

(5.1) u = B(x).

其中 u 是內部運算實際使用的有效輸入。

再令 z 是 Operator 的內部工作狀態:

(5.2) zₙ₊₁ = T_θ(zₙ,u).

θ 代表已形成或經訓練得到的內部運算參數,n 是內部迭代步數。

對不同輸入 u,T_θ 可以產生不同的穩定狀態:

(5.3) z*(u) = T_θ(z*(u),u).

因此,並非每個輸入都被吸引到同一個固定點。

真正有功能意義的是:

(5.4) u ↦ z*(u).

即一族由輸入條件化的穩定內部結果。

透過輸出讀出 D:

(5.5) F_θ(x) = D[z*(B(x))].

這才形成候選的 Functional Operator。

但必須強調,式(5.5)只是功能實現的數學形式。它並不保證 F_θ 已經符合任何指定的正確運算。

5.2 Proposition 5.1 — 條件化壓縮映射的存在性與唯一性

假設內部狀態空間 𝒵 是完備度量空間,而對所有允許的輸入 u,T_θ(·,u) 都將 𝒵 映回自身。

再假設存在統一的壓縮常數 q,滿足:

(5.6) ‖T_θ(z₁,u) − T_θ(z₂,u)‖ ≤ q‖z₁ − z₂‖,0 ≤ q < 1.

則根據 Banach Fixed-Point Theorem,對每一個固定 u,存在唯一固定點 z*(u)。

而且對任意初始內部狀態 z₀:

(5.7) ‖zₙ − z*(u)‖ ≤ qⁿ‖z₀ − z*(u)‖.

因此,Operator 在每個允許輸入下,都可以形成一個具有明確恢復速度的穩定內部結果。

這裏的數學屬於成熟的固定點理論,不是本文發明的新定理。

但它為 Attractor-to-Operator 提供了一項非常清楚的構造:

同一套更新規則,可以透過輸入條件化,形成一整族穩定的計算結果。

這與一個無條件、永遠收斂到同一狀態的 Attractor 不同。

5.3 Proposition 5.2 — 輸入差異如何傳遞到穩定結果?

只有存在不同固定點,仍然不足以證明功能可靠。

我們還需要知道:當輸入稍有改變,穩定結果會如何改變?

假設 T_θ 對有效輸入具有 Lipschitz 性質:

(5.8) ‖T_θ(z,u₁) − T_θ(z,u₂)‖ ≤ L_u‖u₁ − u₂‖.

令 z₁*、z₂* 分別是輸入 u₁、u₂ 下的固定點。

則:

(5.9) z₁* = T_θ(z₁*,u₁).

(5.10) z₂* = T_θ(z₂*,u₂).

利用三角不等式及式(5.6)、(5.8),得到:

(5.11) ‖z₁* − z₂*‖ ≤ q‖z₁* − z₂*‖ + L_u‖u₁ − u₂‖.

因此:

(5.12) ‖z₁* − z₂*‖ ≤ [L_u/(1 − q)]‖u₁ − u₂‖.

這是一項重要的功能穩健性上界。

它表示:當輸入改變時,內部穩定結果的變化程度,可以受到算子的輸入敏感度及內部恢復能力共同約束。

若讀出 D 具有 Lipschitz 常數 L_D:

(5.13) ‖D(z₁*) − D(z₂*)‖ ≤ L_D‖z₁* − z₂*‖.

則:

(5.14) ‖F_θ(x₁) − F_θ(x₂)‖ ≤ [L_D L_u/(1 − q)]‖B(x₁) − B(x₂)‖.

若輸入綁定 B 也具有 Lipschitz 常數 L_B,進一步得到:

(5.15) ‖F_θ(x₁) − F_θ(x₂)‖ ≤ [L_D L_u L_B/(1 − q)]‖x₁ − x₂‖.

以上各式都要求使用已明確定義的狀態空間、輸入度量及輸出度量。

對離散 token、符號算術或分類輸出,不能不加說明便把自然語言輸入視為一個普通歐幾里得連續空間;特別是最後使用 argmax 或 round 等不連續解碼時,輸出本身未必保持 Lipschitz 連續。

這項結果最適合先應用於連續的內部表示與讀出分數,再獨立處理離散決策。

5.4 這項上界揭示的真正問題

式(5.12)包含:

(5.16) SensitivityBound ∝ 1/(1 − q).

當 q 接近 1,內部收斂速度較慢,而固定點對輸入的最壞情況敏感度上界可以增大。

當 q 較小,內部狀態對初始誤差的恢復較快,這項上界也較緊。

但這並不意味着 q 越小,Operator 就一定越好。

因為一個好的功能可能需要敏感地區分某些輸入差異。

如果吸引過程過度壓縮,甚至把任務所需差異一併消除,系統便可能變成一個非常穩定、卻沒有計算價值的結構。

因此,Functional Operator 的設計不是單純追求最大的吸引強度。

它還需要兼顧:

穩定必要的內部組織,同時保留完成任務所需的輸入差異。

這也將 Input Binding Sufficiency 與 Conditional Attractor Dynamics 正式接在一起。


5.5 一個極簡構造:穩定吸引可以支援加法,但不能代替學會加法

考慮兩個實數輸入 a、b。

令內部狀態 z 使用下列迭代:

(5.17) zₙ₊₁ = αzₙ + (1 − α)(a + b),0 < α < 1.

固定點滿足:

(5.18) z* = αz* + (1 − α)(a + b).

整理得到:

(5.19) z* = a + b.

因此,如果輸出讀出是:

(5.20) y = z*.

便得到:

(5.21) F(a,b) = a + b.

而內部初態誤差按照以下規則衰減:

(5.22) |zₙ − (a + b)| = αⁿ|z₀ − (a + b)|.

這個例子證明了一件簡單但重要的事:

一項算術功能,可以由輸入條件化的穩定吸引動力學實現。

但這個例子也暴露了最大的限制。

我們在式(5.17)中,已經直接寫入了 a + b。

所以它完全沒有解釋系統如何自行學會加法規則。

它只證明:

如果功能映射已經被編入更新規則,Attractor 可以提供穩定的運算實現。

因此,真正的 Operator Emergence 研究,還必須另外處理:

(5.23) Learning Dynamics → Acquisition of T_θ.

而不能只研究:

(5.24) T_θ → Stable Execution.

這兩個不同層次,是下一篇 Transformer 機制研究必須明確區分的。


5.6 多重吸引盆地與功能記憶

上述壓縮映射模型只有唯一固定點。

但完整 Semantic Attractor 可能具有多個吸引盆地、歷史依賴、Observer 選擇及內部記憶。

此時,同一個輸入可能在不同歷史狀態下產生不同結果。

考慮:

(5.25) ż = z − z³.

它具有兩個穩定平衡:

(5.26) z* = +1,z* = −1.

另有一個不穩定平衡:

(5.27) z* = 0.

如果輸出定義為:

(5.28) y = sign(z).

即使沒有任何外部輸入,系統仍可能因初始狀態不同而輸出 +1 或 −1。

因此,不能把這個系統簡化為一個只依賴當前輸入 x 的單值函數。

更一般地,需要保留可區分不同內部歷史的狀態 ℓ:

(5.29) 𝒪(x,ℓ) = (y,ℓ′).

這使 Functional Operator 從純函數擴展為具有內部狀態的轉換。

這一點對 SMFT 尤其重要。

因為完整 Semantic Attractor 不只可能吸引當前輸入,也可能受到過去形成的 Trace、Ledger、Observer Frame 及歷史性約束影響。

但歷史依賴不能只用一個抽象的「記憶」詞彙概括。

若某種歷史差異會影響未來輸出或干預反應,便必須在有效 Operator 狀態中保留足夠的資訊。

否則,相同有效輸入與相同宣告狀態,便可能對應不同輸出,使功能規格失去確定性。


5.7 Functional Attractor 不必是固定點

一個 Attractor 可以是極限環或其它穩定不變集合。

假設系統具有徑向恢復力及輸入控制的循環頻率:

(5.30) ṙ = −κ(r − 1),κ > 0.

(5.31) θ̇ = ω(u),ω(u) > 0.

其吸引集合是一條穩定循環:

(5.32) 𝒜(u) = {(r,θ) : r = 1,θ ∈ S¹}.

如果輸出讀出的是瞬時相位,便不能把整條循環視為一個固定答案。

但若任務要求輸出週期,則可以定義:

(5.33) F(u) = 2π/ω(u).

這項輸出由穩定循環的動力學特徵決定。

由此可見:

Functional Operator 的輸出,可以是穩定吸引集合的固定點、相位、週期、平均通量、模式身份或其它經明確定義的不變量。

因此,一套通用的 Attractor-to-Operator 理論,不應被限制在固定點計算。

不過,若吸引集合具有多個不變測度或多種長期統計制度,就不能假定任何長時間平均都給出唯一結果。

這時必須說明吸引盆地、初始條件、讀出窗口及可接受的歷史依賴。


6. Functional Correctness, Robustness and Generalization:穩定不是理解的充分條件

6.1 三種不同的成功

在 AI 系統裏,一項功能看起來已經形成,可能包含至少三種不同意義。

第一,Internal Stability。

在固定輸入下,內部計算具有恢復力。

第二,Functional Correctness。

系統對某些輸入產生正確答案。

第三,Functional Generalization。

系統對沒有參與訓練的有效輸入,仍然維持其運算規律。

這三者不能混為一談。

例如,一個系統可能非常穩定地輸出錯誤結果。

另一個系統可能在訓練集上全部正確,卻沒有掌握可外推的演算法。

因此:

(6.1) Stability ≠ Correctness ≠ Generalization.

6.2 內部收斂與功能誤差的聯合上界

對第 5 節的條件化壓縮映射,假設:

(6.2) zₙ₊₁ = T_θ(zₙ,u).

其固定點為 z*(u),壓縮常數為 q。

若實際運算只能執行 N 步:

(6.3) z_N = T_θᴺ(z₀,u).

則:

(6.4) ‖z_N − z*(u)‖ ≤ qᴺ‖z₀ − z*(u)‖.

令 D 是 Lipschitz 讀出函數,並定義模型本身相對於目標功能 F* 的誤差:

(6.5) ε_task(x) := ‖D[z*(B(x))] − F*(x)‖.

則有限步數的輸出誤差滿足:

(6.6) ‖D(z_N) − F*(x)‖ ≤ L_D qᴺ‖z₀ − z*(B(x))‖ + ε_task(x).

這項公式把兩種完全不同的誤差分開:

Execution Error: 內部運算尚未充分收斂。

Task Error: 即使完全收斂,已形成的功能本身仍然不正確。

這個區分十分重要。

因為增加運算步數,只可能減少第一類誤差,不能保證修正第二類誤差。

一個系統可以在極短時間內非常準確地收斂到錯誤答案。

所以:

(6.7) Faster Convergence ⇏ Better Functional Correctness.

這是 Attractor-based AI 設計必須正面處理的限制。


6.3 加入輸入綁定誤差及內部運算擾動

真實系統除了有限計算步數,還可能出現輸入表示偏差及內部噪音。

令正確的有效輸入為 u,而實際使用的輸入為 û:

(6.8) ‖û − u‖ ≤ ε_bind.

若每一步實際更新存在擾動 ξₙ:

(6.9) zₙ₊₁ = T_θ(zₙ,û) + ξₙ.

且:

(6.10) ‖ξₙ‖ ≤ ε_step.

在第 5 節的統一壓縮及輸入 Lipschitz 假設下,可得:

(6.11) ‖z_N − z*(u)‖ ≤ qᴺ‖z₀ − z*(û)‖ + [ε_step/(1 − q)](1 − qᴺ) + [L_u/(1 − q)]ε_bind.

假設讀出另有不超過 ε_read 的輸出誤差,則:

(6.12) E_total ≤ L_D qᴺ‖z₀ − z*(û)‖ + L_D ε_step(1 − qᴺ)/(1 − q) + L_D L_u ε_bind/(1 − q) + ε_read + ε_task.

其中 ε_task 仍代表理想有效輸入 u 下,固定點讀出與目標功能之間的差異。

這是由標準壓縮映射擾動分析及三角不等式組合而成的上界,並非新數學定理。

但它為 Functional Operator 提供了一個值得保留的研究結果:

功能失敗可能來自輸入綁定、內部運算、計算時間、輸出讀取,以及功能規律本身的錯誤。

它們在數學上可以分開建模。

這亦對應我們前面提出的:

Input Binding → Internal Dynamics → Result Encoding → Output Port.

一項 AI 能力尚未形成時,不能只根據最終答錯,便推論整套內部運算都不存在。

可能是某個局部 Operator 已經成熟,但上游 Binding 或下游 Write-back 尚未可靠連接。

這便成為下一篇 Transformer 機制文章的一項可驗證假說。


6.4 功能正確性的臨界門檻,可以與真正的吸引子分岔無關

現在考慮一個尤其重要的反例。

假設某個 AI 已經在內部形成一個連續的數值估計:

(6.13) ŝ(x,t) = F*(x) + ε(x,t).

其中 t 表示訓練進度,而 ε(x,t) 是逐漸變小的連續誤差。

最終的答案使用四捨五入:

(6.14) y(x,t) = round[ŝ(x,t)].

如果目標輸出是整數,只要:

(6.15) |ε(x,t)| < 0.5.

便可得到:

(6.16) y(x,t) = F*(x).

因此,當訓練中的連續估計誤差逐漸跨過 0.5,最終 Exact-Match Accuracy 可能突然大幅上升。

但整個內部連續狀態並不必然發生動力學分岔。

所以:

(6.17) Sudden Accuracy Gain ⇏ New Attractor Birth.

這個反例對我們的理論非常重要。

因為如果把 AI 的能力突然改善,直接解釋為新的 Semantic Attractor 出生,便有機會犯下因果判斷錯誤。

同樣的現象,可能由以下不同機制產生:

第一,內部表示逐漸改善,但最後跨過輸出判決門檻。

第二,已存在的局部電路逐漸提高可靠性,直到整體功能開始成功。

第三,內部運算路徑、接口或動力學制度真正發生重組。

這三種可能性需要不同的證據來區分。

不能單憑最終 Accuracy 曲線作出判斷。


6.5 離散答案應該測試 Logit Margin,而非只看 Accuracy

對離散分類或下一 token 選擇,令 ℓ_j 是候選輸出的 Logit。

若正確輸出為 c,定義其對其它候選的最小優勢:

(6.18) M(x) := ℓ_c(x) − max{ℓ_j(x) : j ≠ c}.

若:

(6.19) M(x) > 0.

則正確輸出在 Logit 排名中位居第一。

假設某項內部擾動,使每個 Logit 的變化量不超過 δ:

(6.20) ‖Δℓ‖_∞ ≤ δ.

則若:

(6.21) M(x) > 2δ.

正確答案的 Logit 排名仍然保持第一。

這個簡單的 Margin 判準,可以用來區分:

功能是否真的對擾動具有足夠的輸出穩健性,還是只在非常接近決策邊界的情況下偶然得到正確答案。

對 Transformer 而言,這項測量不需要假設存在吸引子。

它可以先作為一般電路功能成熟度的連續指標。

若要進一步檢驗 Attractor-mediated Operator,才加入明確的內部迭代、吸引盆地與擾動恢復測試。


6.6 Generalization:單靠穩定性不能證明學會規則

假設一個模型在所有訓練加法題上都正確。

它仍可能採取兩種不同路徑。

第一種是保存大量已見過的輸入—輸出對應。

第二種是形成可以處理新運算元的共通演算法。

兩者都可以在訓練資料上表現很好。

但它們對未見過的輸入,可能有非常不同的結果。

因此,一項 Functional Operator 的成熟判準,不應只量度:

(6.22) Accuracy_train.

還應量度:

(6.23) Accuracy_unseen-input.

以及:

(6.24) Accuracy_new-composition.

再進一步,若聲稱學會可重複使用的進位規律,應測試未見過的進位組合、多位數字及適當的外推條件。

不過,不同形式的泛化必須分開。

例如:

固定三位數內的新數字組合,與從三位數外推到十位數,涉及不同的計算需求。

一個系統可以具有可靠的固定長度 Functional Operator,卻因位置表示及運算深度限制,而無法處理更長輸入。

因此,Functional Generalization 應當相對於明確宣告的有效輸入集合來判定,而不是模糊地要求 Operator 必須「理解所有可能情況」。

這使我們再次回到 Declaration 和 Protocol 的重要性。


6.7 本節的核心判準

綜合前面的數學,本文建議把 Functional Operator 的成熟度拆成四項:

(6.25) OperatorMaturity := BindingSufficiency + FunctionalCorrectness + Robustness + DeclaredGeneralization.

這裏的加號表示概念上的聯合要求,不表示四項可以用同一單位直接相加。

若聲稱 Operator 由 Attractor 實現,則還需要另外驗證:

(6.26) AttractorRealization := ConditionalAttraction + BasinSpecification + RecoveryEvidence.

因此:

(6.27) Mature Functional Operator ⇏ Dynamical Attractor Realization.

而:

(6.28) Stable Conditional Attractor ⇏ Correct Functional Operator.

只有當兩組條件在同一個系統、同一套輸入及干預協議下獲得支持,才有資格將它稱為:

Attractor-Realized Functional Operator。

這是本文最核心的研究性區分之一。


7. Interim Synthesis:由 Attractor 到 Operator,現在真正建立了甚麼?

至此,我們已經完成兩個重要的數學環節。

第一個是 Input Binding Sufficiency:若任務所需的輸入差異被完全消除,後續確定性運算便不可能恢復該差異。

第二個是 Conditional Functional Dynamics:在明確的收縮與輸入敏感度條件下,同一套內部更新規則可以形成一族由輸入決定的穩定結果。

這兩項可以用一條候選生成鏈表達:

(7.1) Raw Input → Sufficient Binding → Conditional Dynamics → Stable Task-Dependent State → Functional Readout.

但這還不是完整的 Operator Formation。

因為穩定內部結果只證明某項運算可以被執行;它未必解釋運算規則如何經訓練形成,也未必保證下游系統可以可靠地使用它。

因此,後面還需要處理:

(7.2) Stable Functional Readout → Effective Output Port → Functional Contract → Operator Composition.

這正是 Attractor Fusion I–XXVII 中 Dynamic Port Sufficiency、Residual、Declaration 與 Recursive Individuation 應當進入本文的位置。

本文下一部分將研究:

一個內部計算已經正確的 Attractor,為甚麼仍可能無法向外提供可靠功能?

並以此前已建立的「單獨 m 不充分、(q,m) 可以封閉」以及異質 Attractor 的 Effective Port 結果,推導從內部計算到對外 Operator 的完整條件。


第二部分完。

Research status:本部分使用既有壓縮映射理論、輸入敏感度、有限步數誤差及 Logit Margin,建立功能形成的可檢驗判準。這些推導屬於一般數學結果在 Attractor-to-Operator 問題中的系統性應用;尚未證明真實 Transformer 必然依靠條件化吸引子執行其功能。

下一部分會進入文章 A 最直接承接前一份階段成果的內容:Effective Output Port、Functional Operator Contract,以及 Operator Composition 的可靠性與新功能判準。

這會把此前的「吸引子如何成為新整體」真正接到「新整體如何成為可調用的功能算子」。

 

繼續

 

以下接續文章 A 的第三部分,完成第 8–10 章。本部分將直接使用 Attractor Fusion XXV–XXVII 的數學成果,把前面建立的 Input Binding、Conditional Dynamics 和 Functional Correctness,進一步連接到 Effective Output Port、Functional Operator Contract,以及多個 Operator 如何組合成新功能。

所有公式繼續使用 Blogger-ready Unicode Journal Style。

從 Semantic Attractor 到 Functional Operator

第三部分:Effective Output Port、Functional Contract 與 Operator Composition


8. Effective Output Port:內部懂得運算,不等於外部能夠使用

8.1 從 Internal Computation 到 External Function

前面的研究已建立一項基本區分:

一個具有穩定內部動力學的系統,可以在不同輸入條件下產生不同結果。

但即使這些結果正確,也不能直接推論外部系統已經可以可靠使用它們。

原因在於,內部計算與外部功能接口是兩個不同的問題。

設一個 Functional Attractor 的完整內部狀態為 s。

它接受輸入 x,並受到外部系統 c 的互動影響。

其一般動力學可寫為:

(8.1) ṡ = F(s,x,c,u).

(8.2) ċ = G(s,x,c,u).

其中 u 代表允許的外部干預。

假設內部系統確實已形成某項功能,其輸出為:

(8.3) y = H(s,x,c).

外部系統未必能讀取全部 s。

因此,考慮一項有效投影:

(8.4) p = Π(s).

這個 p 便是候選的 Effective Output Port。

但有一項重要的數學問題:

同一個 Port 值,是否可能對應不同的實際輸出,或者不同的未來互動?

如果可能,單獨使用 p 就可能失去完成下游工作所需的資訊。

因此,Functional Operator 的對外資格,至少需要區分兩種不同的充分性:

Output Sufficiency: Port 能否正確決定當前所需的輸出?

Dynamic Sufficiency: Port 能否充分決定未來的狀態變化及與外部系統的互動?

前者可以足以完成一次性、無狀態的工作。

後者則對需要記憶、連續操作、回饋及遞歸組合的系統尤其重要。

8.2 Definition 8.1 — Output Sufficiency

令 H(s,x,c) 是完整系統的實際輸出,而 p = Π(s) 是候選 Port。

若對所有允許的輸入 x、外部狀態 c,以及相關內部狀態 s₁、s₂:

(8.5) Π(s₁) = Π(s₂) ⇒ H(s₁,x,c) = H(s₂,x,c).

則 H 在 Π 的每個有效等價類上保持一致。

在適當的狀態空間及可測性條件下,可以定義一項有效讀出:

(8.6) H(s,x,c) = H̄[Π(s),x,c].

即:

(8.7) y = H̄(p,x,c).

這表示外部系統即使不知道全部 s,仍然可以透過 p 得到與完整系統相同的指定輸出。

這是 Output Sufficiency。

它首先是一項資訊和函數分解條件,而不是新的動力系統定理。

但它為 Semantic Attractor 成為 Functional Operator 提供了一項十分重要的要求:

內部計算結果必須能夠經過指定 Port 被正確讀取,不能只在系統內部以外界無法利用的形式存在。

8.3 Output Sufficiency 仍然不足以保證可持續運作

現在假設系統有內部記憶。

某個 Port 可能足以輸出當前答案,卻不足以預測下一次操作。

Attractor Fusion XXV 已提供一個精確例子。

對兩個自主循環形成的集體關係,定義:

(8.8) Δ = θ_A − θ_B.

其有效動力學為:

(8.9) Δ̇ = Δω − km sin Δ.

(8.10) ṁ = ε[a cos Δ − m + βr].

其中 m 是接口記憶,r 是外部 C 的回饋。

如果外部只需要在某個時刻讀取 m,則 m 本身已經是充分的當前輸出。

但如果外部要預測 m 的下一步變化,就必須考慮 Δ。

選取兩個內部狀態,使它們具有相同的 m 和 r,但相對相位分別為:

(8.11) Δ₁ = 0,Δ₂ = π/2.

則:

(8.12) ṁ₁ − ṁ₂ = εa.

因此:

(8.13) Same m ⇏ Same Future m.

這一點說明:

某個變量可以是正確的當前輸出,卻不是充分的動力學狀態。

它對 Operator Reuse 尤其重要。

如果下游系統 C 只是讀取一次結果,可能完全不需要知道 Δ。

但如果 C 要持續與 AB 互動,並依賴 AB 的未來狀態,就不能假定 m 已包含全部必要資訊。

8.4 Dynamic Port Sufficiency

現在引入一項更加完整的有效狀態:

(8.14) q = exp(iΔ).

由 Δ 的動力學可推得:

(8.15) q̇ = iq[Δω − km Im(q)].

而接口記憶滿足:

(8.16) ṁ = ε[a Re(q) − m + βr].

因此,在這套指定的關係動力學中,(q,m) 可以在給定外部回饋 r 的條件下,形成封閉的有效內部狀態。

這比單獨輸出 m 更強。

外部系統可以在不追蹤 A、B 各自絕對相位的情況下,預測 AB 的關係動力學。

前一階段對完整相位模型與有效 Port 模型進行數值積分,得到約 10⁻¹¹ 等級的軌跡一致性誤差,與解析約化結果吻合。

但這裏需要保留兩項限制。

第一,該約化依賴模型的共同相位對稱性。如果外部系統需要知道 A 的絕對相位,單獨使用 (q,m) 就未必充分。

第二,精確約化本身並不證明新的集體吸引子已經出生。即使系統尚未形成穩定集體關係,某些對稱性商表示仍然可以存在。

因此:

(8.17) Dynamic Port Sufficiency ≠ Collective Attractor Birth.

兩者應分別接受數學及實驗檢驗。

8.5 Proposition 8.1 — Dynamic Port Closure Criterion

設完整系統具有內部狀態 s、外部狀態 c 及允許干預 u:

(8.18) ṡ = F(s,x,c,u).

(8.19) ċ = G(s,x,c,u).

希望透過 p = Π(s) 建立有效動力學:

(8.20) ṗ = F̄(p,x,c,u).

(8.21) ċ = Ḡ(p,x,c,u).

如果 Π 是可微映射,則一項足以使上述有效動力學在相關區域成立的條件是:

(8.22) Π(s₁) = Π(s₂) ⇒ DΠ(s₁)F(s₁,x,c,u) = DΠ(s₂)F(s₂,x,c,u).

並且:

(8.23) Π(s₁) = Π(s₂) ⇒ G(s₁,x,c,u) = G(s₂,x,c,u).

上述條件必須對宣告範圍內的 x、c、u 同時成立。

其含義是:

凡被 Port 當成同一個有效狀態的兩種內部情況,都必須具有相同的有效演化,以及對外部系統相同的作用。

在適當的正則性、存在唯一性及商空間條件下,這便足以定義封閉的有效向量場。

這是成熟的動力系統商映射與有效狀態約化思想。

本文的工作,是將其明確放入 Functional Operator 的對外使用資格中。

8.6 一項不能忽略的問題:Gate 本身也可能具有記憶

Attractor Fusion XXV 曾構造一個 Declaration Gate。

它會根據集體相干性、接口記憶、狀態變化速度、持續時間及冷卻時間,決定 Port 何時可以對外開放。

但如果 Gate 使用移動平均、連續合格時間、撤回狀態及冷卻計時器,則 Gate 本身具有記憶。

因此,雖然 (q,m) 對原來的核心關係動力學可以封閉,但一旦要求同時預測 Gate 的開關行為,完整有效狀態就可能需要擴展為:

(8.24) p_ext = (q,m,g,ξ).

其中 g 是 Gate 狀態,ξ 是移動平均、持續時間及其它必要的控制記憶。

若還要將外部 C 的狀態納入整體自治模型,則需與 c 一併考慮:

(8.25) v = (p_ext,c).

這是一項重要的工程修正。

一個 Port 是否充分,必須依照實際要提供的功能判斷,而不能只根據被抽取的核心動力學方程。

如果 Operator Contract 包含狀態准入、撤回、冷卻及重新宣告,則那些會影響未來行為的 Gate 記憶也必須納入有效模型,或被明確視為外部控制輸入。


8.7 Theorem 8.1 — 不存在對所有可能外部干預皆充分的任意壓縮 Port

假設 Π 是非單射映射。

則存在兩個不同的內部狀態:

(8.26) s₁ ≠ s₂,但 Π(s₁) = Π(s₂).

如果外部系統被允許使用任何能夠區分 s₁、s₂ 的觀測或干預作用,則可以構造一項外部耦合 G,使:

(8.27) G(s₁,c) ≠ G(s₂,c).

此時,Π 不再足以決定外部系統的演化。

所以,一個非單射的壓縮 Port,不能在所有可能的外部互動下保持精確充分性。

這個結果直接說明:

Effective Port 必須相對於某個允許的 Protocol 而定義。

一個對特定任務完全精確的 Port,在外部系統增加新的觀測或干預權限後,可能立即失效。

Attractor Fusion XXVI 已提供這類反例:異質系統原本具有精確的複數有效 Port,但當外部 C 獲得直接干預某項被壓縮的內部變量的權限,原來的 Port 便不足以維持精確封閉。

由此,Functional Operator 的身份不能單純等同於一組固定的輸入與輸出變量。

它必須同時包含有效使用範圍。


8.8 Approximate Port Sufficiency:功能未必需要完美約化

真實 AI 系統的內部功能往往非常複雜。

要求一個低維 Port 對所有時間、所有輸入及所有干預都完全封閉,可能不切實際。

因此,工程上更有價值的問題是:

即使 Port 存在殘差,它能否在指定時間和誤差預算內,提供足夠可靠的功能?

令 v 表示包含所需 Port 及外部互動狀態的聯合有效變量。

假設真實投影動力學為:

(8.28) v̇ = F̄(v,u) + R(t).

而預測模型為:

(8.29) v̂̇ = F̄(v̂,u).

兩者使用相同的外部輸入 u。

若 F̄ 在指定運作區域具有 Lipschitz 常數 L,並且:

(8.30) ‖R(t)‖ ≤ ε_R.

則 Grönwall 不等式給出:

(8.31) ‖v(t) − v̂(t)‖ ≤ e^(Lt)‖v(0) − v̂(0)‖ + [ε_R/L](e^(Lt) − 1),L > 0.

當初始有效狀態相同:

(8.32) ‖v(t) − v̂(t)‖ ≤ [ε_R/L](e^(Lt) − 1).

L = 0 時,第二項的極限為 ε_R t。

如果有效輸出讀出 H̄ 對 v 具有 Lipschitz 常數 L_H,而且另有不超過 ε_out 的讀出近似誤差,則:

(8.33) E_output(t) ≤ L_H‖v(t) − v̂(t)‖ + ε_out.

這使 Output Port 的資格可以直接對接下游的功能誤差預算。

需要強調的是,ε_R 必須是宣告運作區域內可靠的殘差上界。

不能將訓練資料上的平均 RMSE,直接當成適用於所有干預的最壞情況保證。

這就是從動力學充分性走向工程可用性的關鍵。


9. Functional Operator Contract:甚麼條件下,一項功能才可以被宣告為可用?

9.1 為甚麼需要 Functional Contract?

一項 Operator 可以具有正確的數學功能,卻仍然不適合直接供外部系統調用。

例如:

一個加法模組可能只能處理三位非負整數。

一個內部計算模組可能需要固定的輸入格式。

某個輸出 Port 可能只在沒有直接內部干預的情況下保持封閉。

一項功能可能只有在完成足夠的內部迭代後,才能達到指定精度。

因此,Operator 的工程身份需要比函數名稱更完整。

本文建議引入:

Functional Operator Contract——功能算子契約。

9.2 Definition 9.1 — Functional Operator Contract

對一項由內部動力系統實現的功能,定義其 Contract:

(9.1) 𝒦_A := (𝒳_adm,𝒰_adm,B_A,T_A,Π_A,D_A,H_A,ε_F,ε_R,Frame,Ledger,Version).

各項分別表示:

𝒳_adm:允許的輸入集合。

𝒰_adm:允許的外部干預與互動集合。

B_A:Input Binding 規則。

T_A:內部運算或狀態轉換規律。

Π_A:有效 Output Port。

D_A:輸出解碼或讀出規則。

H_A:要求達到指定功能的運作時域或步數。

ε_F:功能誤差預算。

ε_R:有效 Port 的殘差預算。

Frame:輸入、輸出及內部狀態的參考框架。

Ledger:功能使用、失效及修訂記錄。

Version:功能規格與接口協議版本。

這是一項研究性規格,並非宣稱現有 Transformer 已自然形成上述所有欄位。

其作用是將「一項功能已經形成」轉變為可以檢查的工程聲明。

9.3 功能資格應由下游工作要求決定

假設外部系統要求 Operator 在未來 H_A 時域內的狀態預測誤差不超過 δ_A。

在初始有效狀態一致、殘差上界為 ε_R 的條件下:

(9.2) [ε_R/L](e^(LH_A) − 1) ≤ δ_A.

因此,一項充分的殘差資格條件為:

(9.3) ε_R ≤ δ_A L/[e^(LH_A) − 1].

當 L = 0 時:

(9.4) ε_R ≤ δ_A/H_A.

這些條件還需要與功能正確性、讀出誤差和輸入合法性共同檢查。

因此,一項 Operator 可能:

對短期預測合格,但對長期預測不合格。

對固定長度加法合格,但對未見過的更長數字不合格。

對只讀取結果的下游系統合格,但對可以直接改變其內部記憶的下游系統不合格。

Operator Qualification 並不必然是一種全局、永久、二元的身份。

它更適合被定義為:

在某項宣告的功能、輸入、干預、精度及時域要求下,是否具有足夠可靠性。

9.4 Gate:允許使用不代表永遠允許使用

若 Operator 的內部狀態會隨擾動、疲勞、學習或外部環境而改變,其可靠性也可能隨時間變化。

因此,Contract 可以設置:

(9.5) Gate_A(t) ∈ {OPEN,CLOSED}.

其判斷條件可依據:

功能誤差是否低於要求;內部狀態是否處於合格運作區域;Port Residual 是否受到控制;是否出現新的未獲允許干預;以及必要的恢復與冷卻程序是否完成。

此時,外部可使用的 Operator 應具有明確的准入規則。

(9.6) AdmissibleExecution = ValidInput ∧ ValidProtocol ∧ QualifiedPort ∧ GateOpen.

這裏的邏輯運算代表資格條件的聯合要求。

若條件失效,Operator 不一定消失。

但它可能需要暫停對外服務、撤回聲明、重估殘差或修改接口。

這直接延續此前 Attractor Fusion XXV–XXVII 的 Declaration Gate 思想。

9.5 Ledger:記錄功能身份的有效歷史

當 Operator 進入可持續使用的系統,其功能身份可能隨訓練、更新及外部互動而改變。

因此需要記錄:

何時首次通過資格;使用的是哪一版 Input Binding 和 Output Port;在何種干預下出現失效;其 Residual 是否仍符合聲明;以及修訂後是否重新通過驗證。

Ledger 可以為這些變化建立可追溯的歷史。

但是:

工程事件記錄不等於已證明不可逆的物理時間,也不等於 Operator 已具備自我觀察意識。

若要進一步研究自我修訂的 Operator,還需要另外定義允許的 Contract 修改規則。

例如:

(9.7) 𝒦_A,k₊₁ = U_adm(𝒦_A,k,L_k,R_k).

其中 U_adm 必須受到有效性、安全、歷史保留及殘差誠實性要求的限制。

這可與 SMFT 的 Self-Revising Declaration 研究銜接,但不能直接視為它已在真實 AI 中自然出現。


10. Operator Composition and Fusion:由已形成功能走向下一級功能

10.1 Function Composition 與 Attractor Fusion 不是同一件事

傳統函數組合是一個非常清楚的數學概念。

假設:

(10.1) F_A : X → Y.

(10.2) F_B : Y → Z.

則:

(10.3) F_AB = F_B ∘ F_A.

這表示將 A 的輸出交給 B 作為輸入。

但在實際的 AI 或自組織系統中,這種組合通常需要額外條件。

A 的輸出必須能被 B 辨認。

兩者使用的表示方式必須相容。

接口可能產生誤差。

B 的內部狀態可能影響其處理方式。

A 的輸出也可能不是一次性的靜態結果,而是一項隨時間變化的有效 Port。

因此,Operator Composition 不應只寫成兩個函數符號的連接。

它還需要回答:

兩個已有功能的系統,如何在接口約束下形成可靠的集體計算?

10.2 Proposition 10.1 — Operator Composition Error Bound

假設理想功能為:

(10.4) y* = F_B[F_A(x)].

實際執行時,A 的輸出帶有誤差。

令傳給 B 的有效輸入為 ỹ_A。

假設其誤差可以分解並受到上界控制:

(10.5) ‖ỹ_A − F_A(x)‖ ≤ ε_A + ε_I + δ_P(H).

其中:

ε_A:A 自身相對理想功能的計算誤差。

ε_I:接口表示、傳輸或轉換的誤差。

δ_P(H):因有效 Port 約化殘差,在指定時域 H 內引起的額外輸入誤差。

這三項的分解必須由具體實驗定義,並避免將同一項誤差重複計算。

再假設 B 的理想功能具有 Lipschitz 常數 L_B:

(10.6) ‖F_B(y₁) − F_B(y₂)‖ ≤ L_B‖y₁ − y₂‖.

而 B 自身的實際功能 F̂_B 滿足:

(10.7) ‖F̂_B(y) − F_B(y)‖ ≤ ε_B.

則:

(10.8) ‖F̂_B(ỹ_A) − F_B[F_A(x)]‖ ≤ ε_B + L_B[ε_A + ε_I + δ_P(H)].

這可以視為一項 Functional Composition Reliability Bound。

其數學基礎是 Lipschitz 連續性與三角不等式。

但其研究意義在於:

新功能是否可靠,不只取決於兩個個體 Operator 各自有多準確,也取決於接口能否保留必要資訊,以及下游 Operator 對上游誤差有多敏感。

若 δ_P(H) 可由第 8 節的動力學殘差控制,則組合可靠性可以進一步連接到 Attractor Fusion 的 Port Qualification。

例如,在適用條件下:

(10.9) δ_P(H) ≤ [ε_R/L](e^(LH) − 1).

因此:

(10.10) ε_AB ≤ ε_B + L_B{ε_A + ε_I + [ε_R/L](e^(LH) − 1)}.

此式假設 Port 狀態誤差已經以相容單位表示為 B 的有效輸入誤差;若實際需要額外解碼映射,其敏感度常數也必須納入。

這樣,一個由多個 Attractor-Realized Operators 組成的系統,就可以開始建立真正可計算的可靠性預算。

10.3 一個重要的推論:更多 Operator 不一定代表更強的功能

假設 B 對輸入誤差非常敏感。

亦即:

(10.11) L_B ≫ 1.

那麼,即使 A 的功能已經相當準確,接口中的小誤差也可能被 B 大幅放大。

因此:

(10.12) More Functional Components ⇏ More Reliable Collective Function.

這與一般認為「增加更多模組就可以得到更強功能」的直覺不同。

從 Attractor Fusion 的角度看,真正重要的不是模組數目,而是:

各模組的功能是否相容;接口是否保留必要資訊;誤差是否受到控制;以及組合後是否產生新的有效計算能力。

這也說明,Port Qualification 是 Operator Fusion 的重要工程條件。

10.4 以 Carry Operator 為例:甚麼樣的 Port 才能支持下一級加法?

考慮一項局部十進制加法功能。

它接受三個輸入:

aᵢ:第一個運算元在第 i 位的數字。

bᵢ:第二個運算元在第 i 位的數字。

cᵢ:來自較低一位的進位。

其內部求和為:

(10.13) sᵢ = aᵢ + bᵢ + cᵢ.

輸出數字:

(10.14) rᵢ = sᵢ mod 10.

下一位的進位:

(10.15) cᵢ₊₁ = floor(sᵢ/10).

因此,可以定義一項局部 Functional Operator:

(10.16) 𝒪_carry(aᵢ,bᵢ,cᵢ) = (rᵢ,cᵢ₊₁).

現在假設外部系統只取得 rᵢ,而沒有得到 cᵢ₊₁。

例如:

(10.17) 9 + 9 + 0 = 18,得到 r = 8,carry = 1.

另一種情況:

(10.18) 8 + 0 + 0 = 8,得到 r = 8,carry = 0.

兩者具有相同的輸出數字 8。

但它們對下一位計算的作用不同。

如果 Port 只提供 r:

(10.19) Π₁ = rᵢ.

則下游無法單靠 rᵢ 區分是否需要進位。

相反,如果提供:

(10.20) Π₂ = (rᵢ,cᵢ₊₁).

便保留了下一級加法所需的局部計算結果。

因此:

同一項內部功能,可以因為 Output Port 的設計不同,而變得可組合或不可組合。

這個例子與此前 AB 集體接口的 m 與 (q,m) 問題具有相同的數學精神。

但兩者不是完全相同的模型。

Carry Operator 是離散狀態轉換,而 AB 模型是連續動力系統。

共同點在於:

有效接口必須保留下一級工作真正需要的資訊。

10.5 從 Function Composition 到 Functional Emergence

到這裏,仍然有一項最重要的問題尚未回答。

將兩個已存在的 Operator 組合成一條計算流水線,並不必然代表有新功能湧現。

例如,一個系統負責乘二,另一個負責加三。

兩者組合:

(10.21) F_AB(x) = 2x + 3.

這是函數組合,但並沒有顯示新的吸引子或自適應功能生成機制。

因此,本文建議把 Functional Emergence 的證據要求提高。

首先,應該明確定義新任務 Task_new,以及候選組合系統在該任務上的表現。

其次,必須建立合理的對照組。

例如:

只使用 A。

只使用 B。

使用固定、非自適應的 A–B 組合。

使用同等資源、但沒有候選集體 Port 的替代架構。

然後,定義:

(10.22) Δ_perf = Performance(AdaptiveAB,Task_new) − Performance(BestMatchedBaseline,Task_new).

若:

(10.23) Δ_perf > Δ_min.

才取得組合系統在所測任務上具有額外功能價值的證據。

其中 Δ_min 應在實驗前指定,並配合適當的統計不確定性檢查。

但即使 Δ_perf 顯著為正,仍然只能先說明:

這項組合在指定比較條件下產生了超出對照組的功能表現。

它還不足以證明新的 Dynamical Attractor 已經出生。

若要進一步聲稱 Attractor Fusion,還需要檢查聯合系統是否真的出現了新的吸引集合、吸引盆地、恢復制度或其它適當的不變動力學結構。

10.6 Operator Birth 與 Attractor Birth 必須分開驗證

現在可以更正式地提出兩種不同的生成事件。

Functional Operator Birth:

系統開始具備一項可重複、可泛化、具有明確輸入—輸出規律的功能。

Collective Attractor Birth:

聯合動力學開始出現原來制度下不存在或不可達的穩定吸引結構。

兩者可能相互促成,但並不等價。

因此:

(10.24) Functional Operator Birth ⇏ Collective Attractor Birth.

反過來:

(10.25) Collective Attractor Birth ⇏ Correct Functional Operator Birth.

這項區分對理解 AI 能力突然出現十分重要。

一項新功能可能來自已有子電路的重新組合,而不需要新的吸引盆地。

另一個系統可能形成了新的穩定集體狀態,但這項狀態不執行任何有用的新計算。

只有當兩種現象被同時驗證,而且可以建立因果關係時,才有資格將其理解為:

Attractor-Mediated Functional Emergence。

10.7 Recursive Functional Individuation

如果一項新形成的組合功能通過可靠性測試,並且具有對下游充分的 Effective Port,便可以考慮將它封裝成新的可調用單元。

令:

(10.26) 𝒪_AB = Compose(𝒪_A,𝒪_B,Connection_AB).

若其運作滿足 Functional Contract,則可以定義對外有效表示:

(10.27) 𝒪̂_AB : (x,p_AB) ↦ (y,p_AB′).

其中 p_AB 是新單元對外宣告的有效狀態。

這時,下游 Operator C 不必直接處理 A、B 的全部內部細節。

它只需要透過指定 Contract 與 𝒪̂_AB 互動。

因此可以進一步構造:

(10.28) 𝒪_ABC = Compose(𝒪̂_AB,𝒪_C,Connection_(AB)C).

這是 Recursive Functional Individuation 的一項候選工程形式。

但要注意:

這裏「新單元」首先是相對於指定任務及接口協議成立的有效功能身份。

它未必表示在所有本體論意義上,都存在一個獨立的新物件。

因此,更嚴格的主張應該是:

當一項集體功能具有可驗證的輸入—輸出規律、充分的有效 Port,以及合格的使用協議時,它可以被當成下一級計算中的有效功能單元。

這與成界之學的 Declaration 思想可以建立形式上的銜接,但並不自動證明所有遞歸世界都以相同方式生成。


11. Interim Synthesis:從 Attractor 到 Operator 的功能生成鏈條

經過以上推導,本文已將原來相對抽象的「Attractor 如何成為 Operator」問題,拆解成一系列可以分別驗證的數學條件。

11.1 六個必要研究環節

第一,Input Binding。

必須保留完成指定功能所需的輸入差異。

第二,Conditional Internal Dynamics。

內部組織必須能根據不同輸入形成相應的計算過程或穩定結果。

第三,Functional Correctness。

必須證明內部結果符合指定運算規律,而不只是具有收斂性。

第四,Effective Output Port。

外部系統必須能透過足夠的有效變量,讀取並在需要時預測 Operator 的作用。

第五,Functional Contract。

功能必須有明確的適用輸入、外部干預、誤差及運作時域。

第六,Operator Composition。

當功能單元被組合時,需要驗證接口充分性、誤差傳遞、功能新增及重用資格。

綜合而言:

(11.1) Input Binding → Conditional Computation → Functional Correctness → Effective Output Port → Qualified Contract → Reusable Operator.

若進一步研究多個功能的聯合生成,則:

(11.2) Reusable Operators + Adaptive Connections → Candidate Composite Operator.

若聯合系統同時形成可驗證的新吸引制度:

(11.3) Composite Functional Emergence + New Collective Attractor Evidence → Candidate Attractor-Mediated Operator Fusion.

但這些箭頭並不是已證明必然發生的普遍自然法則。

本文把它們定義為需要各自檢查的研究步驟。

11.2 本文目前建立的數學成果

到此為止,本文已得到四組可以獨立檢驗的結果。

Input Binding Impossibility Criterion:

若兩個需要不同結果的輸入被壓縮成同一有效表示,後續確定性運算不能同時正確處理它們。

Conditional Attractor Stability Bounds:

在明確的收縮條件下,可以建立輸入條件化的穩定結果、收斂速度及輸入敏感度上界。

Dynamic and Output Port Sufficiency:

一個內部計算結果是否能作為對外功能,取決於所選 Port 是否保留指定輸出與未來互動所需的資訊。

Operator Composition Reliability Bounds:

多個功能組合後的誤差,可由上游計算、接口轉換、Port Residual 及下游敏感度共同約束。

上述數學工具本身主要來自既有的資訊充分性、動力系統、控制論與誤差分析。

本文的研究性貢獻候選,是將它們組合成一套從完整吸引結構走向功能算子、再走向遞歸功能組合的統一判準。

11.3 仍然沒有證明的最關鍵一環

到此仍有一項重大問題未解決:

本文說明了某種 Attractor 結構在甚麼條件下可以實現功能,但尚未解釋這套功能規則如何從訓練或自組織過程中自行形成。

尤其是,我們尚未證明:

(11.4) Learning Dynamics → Emergent Input Binding + Emergent Computation + Emergent Port.

也未證明:

(11.5) Adaptive Connections → Necessarily Correct New Functions.

這些才是理解 AI「突然懂得」的真正生成機制問題。

它們不能單憑一套已寫好的加法收斂方程得到解答。

這正是下一篇 Transformer 機制研究的核心任務。


第三部分完。

Research status:本部分建立 Functional Output Port、Protocol-Relative Dynamic Sufficiency、Functional Operator Contract 與 Operator Composition Reliability 的形式化框架,並利用此前 Attractor Fusion XXV–XXVII 的精確約化與失效反例作為數學支點。結果主要屬於成熟數學工具的跨框架整合;真實 Transformer 的 Attractor-mediated Operator Birth 尚未獲得實驗驗證。

現在文章 A 的主要數學架構已完成。它比單純提出「Attractor 可以實現計算」更進一步,因為已經明確處理了輸入資訊不足、內部功能正確但輸出不充分、接口失效、組合誤差放大,以及新功能不等於新吸引子等問題。

我建議下一回合為文章 A 做最後收尾:集中寫 False Emergence 的反例、與 SMFT/P8D/成界之學的精確銜接、可否證預測、Conclusion 及 References。完成後才開始文章 B 的 Transformer 專門研究。

 

繼續 

 

 

以下完成文章 A 的最後部分,即第 12–16 章及參考文獻。這部分將使前面建立的數學框架具備完整的研究邊界,並明確指出下一篇 Transformer 研究需要驗證甚麼。

從 Semantic Attractor 到 Functional Operator

第四部分:假性湧現、SMFT/P8D 理論銜接、可否證命題與研究結論


12. False Emergence and Failure Modes:甚麼情況不應被稱為 Operator Birth?

12.1 為甚麼需要建立失敗分類?

研究 Attractor 如何形成 Functional Operator,最容易遇到的問題,是把幾種不同現象混為一談。

一個系統可以形成新的穩定吸引子,但沒有得到新功能。

一項功能可以突然變得可靠,但內部動力系統並沒有發生分岔。

一個模型可以在某個 Benchmark 上突然取得高分,卻只是跨過了輸出解碼或評分門檻。

一條內部電路可以穩定地提供資訊,但這些資訊未必能被下一級電路實際使用。

因此,若沒有失敗分類,就無法準確判斷所觀察到的究竟是:

Attractor Birth、Functional Operator Birth、Circuit Reorganization、Port Qualification,還是純粹的 Measurement Threshold Crossing。

本文將以下反例視為 Attractor-to-Operator 研究不可缺少的基準。

12.2 Failure Mode I — 穩定的錯誤答案

考慮:

(12.1) zₙ₊₁ = qzₙ,0 < q < 1.

這是一個具有唯一穩定固定點的系統:

(12.2) z* = 0.

對任何初始條件:

(12.3) zₙ → 0.

假設輸出直接讀取固定點:

(12.4) F(x) = 0.

但目標功能是:

(12.5) F*(x) = x.

除 x = 0 外,系統永遠不能得到正確答案。

因此:

(12.6) Global Convergence ⇏ Functional Correctness.

這說明一項非常基本的問題:

更深、更強、更穩定的吸引盆地,不必然代表更高的計算能力。

如果吸引結構沒有保留正確功能所需的輸入差異,它可能只是非常有效地將資訊消除。

對 Semantic Attractor 的工程研究而言,不能把吸引強度直接當作理解程度。

12.3 Failure Mode II — 功能正確,但不需要動力學吸引子

考慮一項前饋線性運算:

(12.7) F(x) = Wx.

若目標功能剛好也是:

(12.8) F*(x) = Wx.

則此計算可以在一次前饋過程中完成。

我們無須額外定義一個需要反覆收斂的內部動力學。

這個例子說明:

(12.9) Functional Correctness ⇏ Attractor-Mediated Computation.

當然,可以在某些人為擴展的狀態空間中,替這種計算構造一套收斂動力學。

但那不代表原來的計算系統實際依靠該吸引機制運作。

因此,對真實 AI 模型的判斷必須問:

Attractor 是模型內部實際具有因果作用的機制,還是研究者事後用來描述其功能的數學表示?

兩者具有不同的科學地位。

12.4 Failure Mode III — 輸出突然改善,但內部沒有分岔

假設模型對整數答案的內部估計為:

(12.10) ŝ(x,k) = F*(x) + ε(x,k).

其中 k 是訓練步數。

若 ε 隨訓練平滑下降,而輸出採用:

(12.11) y(x,k) = round[ŝ(x,k)].

當:

(12.12) |ε(x,k)| < 0.5.

便得到:

(12.13) y(x,k) = F*(x).

所以,內部誤差可以連續改善,但 Exact-Match Accuracy 卻在某個訓練階段突然上升。

這與 Schaeffer、Miranda、Koyejo(2023)研究的評估指標所引起的表面湧現問題具有直接關係。

其核心區分為:

(12.14) Observed Performance Discontinuity ≠ Internal Dynamical Bifurcation.

因此,任何聲稱 AI 在某個 Checkpoint 出現新的 Semantic Attractor 的研究,都不應只使用 Accuracy 作為證據。

還應檢查連續的內部指標、功能電路的因果作用,以及真正的動力系統穩定性。

12.5 Failure Mode IV — 精確 Port 存在,但沒有新集體吸引子

Attractor Fusion XXV–XXVI 顯示,某些內部狀態可依據對稱性進行精確約化。

例如:

(12.15) q = exp[i(θ_A − θ_B)].

或者在另一個異質模型中:

(12.16) q = b exp(iθ).

這些有效表示可能具備精確封閉的動力學。

但精確封閉的存在,不足以證明系統已經產生新的穩定集體吸引子。

因此:

(12.17) Exact Quotient Dynamics ⇏ New Collective Attractor Birth.

這一點同時提醒我們:

一個有效 Port 可以先於特定吸引子存在。

當系統日後形成新的集體吸引制度,該 Port 才可能開始具有特別有用的關係功能。

所以,必須將:

Port 的數學存在性、Port 的功能價值、以及新集體吸引子的生成

視為三項需要分別檢驗的性質。

12.6 Failure Mode V — 新功能看似形成,但只是普通函數組合

假設兩個已有算子分別執行:

(12.18) F_A(x) = 2x.

(12.19) F_B(y) = y + 3.

其組合:

(12.20) F_AB(x) = 2x + 3.

這是一個正確的複合函數。

但它並不證明新 Attractor 已經形成,也不證明自適應 Connection 產生了超出既有功能組合的能力。

如果一條固定的非自適應路徑也能完成同樣工作,就不能僅因使用了兩個 Operator,便將其命名為新功能湧現。

真正的 Attractor-Mediated Functional Emergence,必須比普通組合提出更強的、可檢驗的因果主張。

例如:

在相同資源限制下,自適應接口是否產生了固定組合無法實現的可靠功能?

新集體吸引制度是否對該功能具有必要的因果貢獻?

形成的新 Port 是否能使下一級系統取得先前沒有的可重用能力?

這些才是需要進一步證明的內容。

12.7 Failure Mode VI — 可讀取的資訊,不等於因果上可用的功能

假設一個模型的內部表示包含進位資訊。

研究者使用 Probe,可以從 Activation 準確解碼進位狀態。

這只表示內部表示包含相關資訊。

它不能直接證明下游電路正在使用該資訊完成加法。

因此:

(12.21) Decodable Information ⇏ Causally Used Information.

要建立因果上的 Functional Port,還需要檢查:

移除該資訊是否破壞功能;

替換該資訊是否按預期改變計算;

使用相同資訊的另一條路徑能否替代原有接口;

以及下游對它的依賴是否能在未見過的輸入及干預條件下保持。

這裏亦需要小心:單一路徑的消融沒有造成輸出變化,並不一定表示它沒有作用,因為系統可能具有冗餘電路或補償路徑。

因此,功能因果性需要多種互補干預,而非只依靠單次 Activation Ablation。

12.8 本文的反例總結

以上反例可以整理為:

(12.22) Stable Attractor ⇏ Correct Operator.

(12.23) Correct Operator ⇏ Dynamical Attractor.

(12.24) Sudden Accuracy Gain ⇏ Attractor Bifurcation.

(12.25) Exact Port Closure ⇏ New Attractor Birth.

(12.26) Function Composition ⇏ Functional Emergence.

(12.27) Decodable Feature ⇏ Causally Sufficient Port.

這六條關係應成為下一篇 Transformer 研究的基本方法論。

它們不是否定 Attractor-to-Operator 研究,而是防止研究者過早把所有有趣的現象,都解釋為同一種吸引子生成機制。


13. Relationship to SMFT, P8D, and the Theory of World Formation

13.1 SMFT:提供完整 Semantic Attractor 的候選研究對象

SMFT 將語義現象視為具有分佈、相互作用、觀察者依賴及歷史結構的動態系統。

其基礎研究已引入 Semantic Field、Observer Projection、Collapse Trace、Attractor Basin,以及具有歷史回饋的非線性演化。

這些概念為 Functional Operator 的形成研究提供了一個較完整的背景。

但本文需要區分兩層問題。

第一層是:

一個系統是否形成了具有穩定性的內部語義組織?

第二層是:

這個組織是否已經取得可靠的輸入—輸出運算能力?

因此,本文並不將 Functional Operator 直接定義為任何已形成的 Semantic Attractor。

更準確的候選鏈條是:

(13.1) Semantic Organization → Candidate Attractor → Conditional Functional Dynamics → Qualified Functional Operator.

其中每個箭頭都需要額外條件。

若前一階段 Attractor Fusion 的研究結果也成立,則可以進一步考慮:

(13.2) Functional Operators + Adaptive Connections → Candidate Composite Functional Operator.

但這仍然不是從 SMFT 的單一假設直接推導出的普遍定理。

目前它是一套可以用數學模型及工程實驗逐步檢查的生成研究程序。

13.2 P8D:從穩定結構走向可持續功能 Flow

Proto-Eight Dynamics(P8D)的核心並非單純描述穩定狀態,而是研究 Capacity、Demand、Match、Retention、Buffer、Enablement 及 Gradient 如何共同控制有效 Flow。

在原有的 P8D 工程模型中,Throughput 不只依賴某一側有多大能力,還取決於雙方是否匹配、接口是否暢通、系統是否能保留成功流量,以及是否具備支持持續運作的 Buffer。

這對 Functional Operator 有一項很具啟發性的類比:

一個內部功能即使已經成熟,如果無法接受合適的輸入、無法通過有效接口輸出結果,或者不能在反覆使用中維持可靠性,就未必能形成真正有用的功能 Flow。

可以提出下列對照:

P8D 變量/概念Functional Operator 的候選工程對照
Capacity在指定資源限制下可可靠執行的功能能力
Demand下游任務對該功能的實際需求
MatchOperator 輸出與下游 Input Binding 的相容性
Retention功能在反覆使用、擾動及更新後的保留程度
Buffer可容忍的擾動、工作記憶或運算資源餘裕
Enablement接口規則、格式與控制機制所提供的有效通行能力
Gradient功能供需或狀態差異所形成的候選驅動因素
Throughput在單位時間或運算資源內,完成的合格功能工作量

這張對照表是研究性映射,不是數學同構的證明。

尤其是 Transformer 的內部計算,不一定存在與經濟供需完全相同的變量。

因此,本文不會直接將 P8D 的原始 Flow 方程,當成 AI 算子的實際物理定律。

但它提供了一項重要的工程方向:

Operator 的成熟度,除了個別任務的準確性,也應研究有效輸入匹配、輸出使用率、接口成本、運作持續性及可恢復性。

例如,可以定義候選的工程測量:

(13.3) QualifiedThroughput := CorrectlyCompletedTasks / ComputeBudget.

或在固定時間窗口內:

(13.4) QualifiedFlow := NumberOfValidCompletedOperations / ObservationTime.

這兩項只是示例性測量,需要另外規定任務難度、輸入分佈及資格標準。

它們不能單獨取代 Functional Correctness、Generalization 及 Dynamic Port Sufficiency。

然而,這種從「存在穩定結構」轉向「產生可持續、可利用的有效功能流」的研究取向,是 P8D 可以帶給 Attractor-to-Operator 研究的重要啟發。

13.3 Filtration:不是所有可能的功能都會被同時使用

SMFT 後續的 Filtration 研究,強調可用結構依賴 Viewpoint、Selection 和 Projection。

從 Functional Operator 的角度,這使我們可以研究:

一個系統可能已具有多個局部功能,但不同輸入與上下文,只會啟用其中某些運算路徑。

因此,可考慮:

(13.5) OperatorSelection = Select(AvailableOperators | Input,Context,Protocol).

其中 AvailableOperators 是候選功能集合。

但這不代表所有實際 Transformer 都有一個清楚分離、可列舉的 Operator Library。

在分散式表示系統中,功能可能由高度重疊的電路與特徵共同實現。

因此,式(13.5)首先是一項有效功能描述,而不是已證明的內部實體清單。

它所提出的可驗證問題是:

不同輸入是否穩定選擇不同的計算路徑?這種選擇的作用,是否可以被因果干預辨認?

13.4 Declaration:Operator 的有效身份必須具有使用邊界

成界之學的 Declaration 研究強調,一項有效的觀測及組織身份,需要聲明邊界、觀察規則、允許干預、時間範圍、基準、特徵映射及殘差處理方式。

本研究的 Functional Operator Contract 可以承接這個方向。

例如,一項 AI 加法 Operator 可以宣告:

接受非負整數輸入;

最多處理某個指定長度;

要求輸入格式符合規格;

在指定運算資源內輸出答案;

對已測試的輸入分佈具有某種正確率或誤差界;

不保證未經驗證的長度外推。

這些聲明,使「模型懂得加法」從模糊的描述,變成可被檢驗的工程承諾。

因此:

(13.6) Functional Identity = Transformation Rule + Admissible Interface + Qualified Operating Domain.

但這是本文的研究性工程定義,不應誤解為完整的本體論身份定理。

13.5 Ledger:由一次正確運算走向持續可靠的功能身份

一次成功輸出,不能證明 Operator 已經形成。

真正可重複使用的功能,還需要在不同輸入、不同情境及不同干預條件下維持一定程度的可靠性。

Ledger 可以記錄:

Operator 的訓練版本;

功能資格測試結果;

所使用的 Input/Output Port;

成功與失敗的輸入類型;

干預後的行為;

已知的 Residual 和限制;

以及功能修訂後的重新驗證結果。

若 Operator 具有持續更新能力,其 Contract 亦可能需要隨歷史改變。

一項候選形式為:

(13.7) 𝒦ₖ₊₁ = U_adm(𝒦ₖ,Lₖ,Rₖ).

其中 U_adm 是受約束的修訂規則。

但即使 Operator 可以根據失敗記錄自行修改,也不表示它已具備完整的 Self-Referential Observer 身份。

要研究這項較強主張,還需要獨立檢查自我修訂的穩定性、歷史保留、跨框架一致性及殘差誠實性。


14. The Missing Generative Link:功能規則究竟如何自行形成?

14.1 本文到目前為止,真正解決了甚麼?

前面的數學主要研究:

如果一套內部功能結構已經存在,甚麼條件使它能夠穩定、正確地處理輸入,並向外部提供可重複使用的功能?

但這尚未解決更根本的生成問題:

為甚麼一個原本不會加法的系統,會透過訓練逐漸形成加法 Operator?

必須區分兩種不同的動力學。

第一種是訓練動力學,改變模型參數。

第二種是執行動力學,使用已形成的參數處理輸入。

14.2 Training Dynamics 與 Execution Dynamics

令 k 表示訓練步數,θₖ 是當時的模型參數。

對普通梯度式訓練,一項簡化表示是:

(14.1) θₖ₊₁ = θₖ − ηₖ∇_θℒ(θₖ).

其中 ℒ 是訓練目標。

對已形成的某個候選功能,可以研究其執行:

(14.2) zₙ₊₁ = T_(θₖ)(zₙ,B_(θₖ)(x)).

其中 n 是內部迭代步數。

這兩種次序不能混為一談。

訓練可能逐漸改變 Input Binding、局部計算規則、接口位置及 Output Readout。

但在某個固定 Checkpoint 上,一項功能的執行可以保持完全確定。

因此,一項真正的 Operator Emergence 理論,至少需要研究:

(14.3) θₖ → (Bₖ,Tₖ,Πₖ,Dₖ).

也就是:

訓練如何改變輸入綁定、內部運算、有效 Port 及輸出讀出,使原本不完整的計算鏈條逐漸取得可靠功能。

目前本文尚未從一般學習規則推導出這種形成過程的必然性。

這就是下一階段研究的中心。

14.3 一項候選機制:Partial Functions 先形成,Connection 後成熟

研究可以考慮以下假說。

在訓練初期,模型可能已經形成某些局部功能:

數字辨認;

位置或角色表示;

局部數字運算;

進位候選狀態;

輸出編碼。

但它們未必已經具有可靠的跨電路接口。

例如,某條電路已經能夠在內部產生進位資訊,但下一位數字的計算路徑尚未可靠讀取該資訊。

因此,整體模型仍然答錯。

隨訓練繼續,相關 Connection 的權重、路由、表示匹配或抗干擾能力逐漸改善。

當整條計算路徑達到足夠可靠性時,整體能力才開始出現。

這項候選鏈條可以表示為:

(14.4) Partial Functional Structures → Interface Co-adaptation → Reliable Composite Computation.

若系統還形成了具有真正吸引盆地及恢復力的內部制度,則可進一步研究:

(14.5) Interface Co-adaptation → Collective Attractor Reorganization → Attractor-Mediated Operator.

但式(14.5)是較強的研究假說。

它不能僅由式(14.4)成立便直接推得。

14.4 為甚麼突然學會,不一定意味突然形成?

假設某項完整任務需要四個局部環節全部成功。

在一個簡化的條件獨立模型中,令各環節成功率為 p₁、p₂、p₃、p₄。

則整體成功率為:

(14.6) P_success = p₁p₂p₃p₄.

即使各個 pᵢ 都是平滑改善的,整體成功率也可能在某個階段才變得顯著。

這個乘積模型只是一項示例,真實電路的錯誤與成功通常並非互相獨立。

但它說明:

完整功能突然變得可靠,可以來自多個逐漸成熟的局部結構共同跨過實用門檻,而不一定需要真正的動力學分岔。

因此,研究需要同時測量:

局部功能何時形成;

跨電路 Connection 何時取得因果作用;

完整任務的準確率如何改變;

以及是否真正出現新的穩定吸引制度。

14.5 本文提出的強弱兩層研究命題

弱命題:Functional Operator Emergence

訓練可以使原本不能可靠完成某項工作的計算系統,逐漸形成可辨認輸入、執行轉換、產生輸出及跨輸入重用的功能結構。

這項命題與現代神經網絡學習研究相容。

強命題:Attractor-Mediated Operator Emergence

在某些系統中,功能形成過程不只是電路權重的逐漸改善,而是涉及輸入條件化的吸引結構形成、重組或取得新的動力學穩定制度,並通過充分的 Effective Port 支援功能重用。

這是本文真正希望進一步驗證的較強假說。

兩者不能等同。

若未來 Transformer 實驗只證實弱命題,而未發現強命題要求的吸引動力,則應保留 Functional Operator Framework,同時收窄 Attractor 的解釋範圍。


15. Testable Predictions and Falsification:下一階段應如何驗證?

15.1 驗證不能從「已經答對」開始

如果只研究訓練完成的模型,我們可以看到哪些內部電路參與某項功能。

但很難判斷這些功能究竟如何形成,以及形成過程中的因果先後關係。

因此,後續研究應保存密集的訓練 Checkpoints,追蹤不同功能指標的變化。

本文提出以下研究命題,作為下一篇 Transformer 機制文章的基礎。

15.2 Hypothesis H1 — Input Binding 的充分性門檻

假說: 在某些需要角色、位置或關係辨認的任務中,完整功能的形成會受到 Input Binding 的資訊充分性限制。

以多位加法為例,若模型無法區分不同數位位置及進位角色,則無法只依靠這些不足的有效表示完成正確計算。

可測量:

不同數字位置的可解碼性;

運算元角色的因果作用;

進位輸入的表示差異;

以及對相關表示施加干預後的功能變化。

若模型在某項 Probe 表現不佳,卻仍能正確計算,不能直接否定 Input Sufficiency 的數學要求。

因為 Probe 可能沒有找到模型實際使用的表示方式。

真正的反證需要更強的證據:在已界定的有效資訊通道中,所需差異確實不存在,而系統仍能依靠該通道完成不同的正確結果。

這項要求能避免將某個 Probe 的失敗,誤當成系統沒有相應資訊。

15.3 Hypothesis H2 — Circuit Co-adaptation 的功能門檻

假說: 某些新能力主要由已形成的局部電路逐漸建立可靠接口而產生。

可測量:

上游輸出與下游所需表示的匹配程度;

電路之間的因果讀寫作用;

接口替換或消融後的功能變化;

以及整體功能改善之前,局部電路是否已具備部分計算能力。

如果找到一組局部功能及其接口成熟過程,而且能以因果干預改變完整能力形成的時間或成功率,就能支持這項機制。

但這仍不等於證明新的動力學吸引子已經形成。

15.4 Hypothesis H3 — Conditional Attractor 的額外證據

較強假說: 某些已形成的 Operator,可能具有輸入條件化的動力學吸引結構。

研究者首先必須明確定義:

內部動力系統的狀態;

實際反覆執行的更新算子;

時間或迭代參數;

固定輸入條件;

以及允許的擾動集合。

再測試:

(15.1) zₙ₊₁ = T_θ(zₙ,x).

是否存在相應的穩定結果或吸引集合:

(15.2) dist(zₙ,𝒜_θ(x)) → 0.

同時檢查:

(15.3) D[𝒜_θ(x)] ≈ F*(x).

只有兩類結果同時成立,才開始支持 Attractor-Realized Operator 的強命題。

尤其要注意:普通 Transformer 不同層通常具有不同參數。

因此,前饋網絡跨層的表示變化,不可以未經額外論證便當成同一動力系統的長時間收斂過程。

可以另外使用共享權重的迭代架構作為真正的動力學測試場,再與標準 Transformer 比較。

但共享權重模型中的正面結果,不能直接當成普通 Transformer 使用相同機制的證據。

15.5 Hypothesis H4 — Effective Port 的可組合性

假說: 當某項功能可以被下一級系統可靠重用,應存在某種對指定下游協議充分的有效接口。

例如局部加法可輸出:

(15.4) p_carry = (result_digit,carry_out).

但單獨輸出 result_digit,不足以支援所有需要進位的下一級運算。

研究可以比較:

完整內部狀態;

候選低維 Port;

刪除某項 Port 分量的消融版本;

以及相同資訊量但不同結構的替代表示。

測試的不是 Port 是否漂亮或低維,而是:

它是否足以支援下游的正確計算與必要的狀態轉換?

如果某個候選 Port 只在訓練分佈上有效,一旦改變允許的干預便失效,研究應記錄其 Protocol-Relative 的適用範圍。

15.6 Hypothesis H5 — 真正的 Recursive Functional Reuse

假說: 一項成熟的 Functional Operator,可以在某些新任務中被再次使用,而非每次都從頭學習完全不同的計算路徑。

研究可以測試:

先形成局部加法與進位功能;

再引入較長的加法;

或研究加法與減法之間的電路共享及改造。

若舊功能確實被重用,應能提出可以干預驗證的共同接口或因果子電路。

但要分清:

舊 Operator 被保留並重用;

舊 Operator 經修訂後適應新任務;

舊 Operator 被完全不同的新電路取代。

這三者對 Recursive Individuation 的意義不同。

只有在有明確因果證據時,才應聲稱某項功能已被當作下一級有效單元重用。

15.7 文章 A 所提出的可否證研究矩陣

研究問題支持性證據會限制或反駁的結果
Input Binding 是否足夠?必要差異被保留並對功能具有因果作用候選 Binding 丟失資訊,或功能其實使用其它通道
是否形成 Conditional Attractor?有明確更新動力及輸入條件化恢復只有穩定表示,沒有可驗證吸引動力
Operator 是否正確?未見過的有效輸入仍保持功能規律只記住訓練答案或依賴脆弱格式
Output Port 是否充分?Port 可以保留下游所需的輸出及干預行為相同 Port 值對應不同必要下游作用
是否產生真正的新功能?超過匹配資源對照組,並有因果接口證據固定組合已能取得同樣結果
是否存在遞歸重用?高階任務依賴已形成且可辨認的低階功能新任務主要由無關替代電路完成
是否真的發生 Attractor Birth?出現新吸引制度、盆地或穩定性改組只有 Accuracy 門檻或表示平滑改善

這些研究不要求所有假說同時成立。

相反,它們應容許得到部分支持、部分否定的結果。

一套能被局部推翻、局部修正的理論,通常比無論出現甚麼觀測結果都能作出解釋的框架,更適合成為科學研究程序。


16. Conclusion:Attractor 如何成為 Operator?

本文從 Attractor Fusion I–XXVII 的階段性成果出發,研究一個此前尚未充分處理的問題:

一個具有穩定吸引結構的系統,究竟在甚麼條件下,可以成為具有輸入、輸出、正確功能及可重複使用能力的 Functional Operator?

研究首先指出:

Attractor Stability 只說明內部動力學如何維持或返回某種結構。

它本身並不保證系統能辨認不同輸入,也不保證可以產生正確答案。

因此,從 Attractor 到 Operator,至少需要進一步建立 Input Binding、Conditional Computation、Functional Correctness 及 Output Readout。

本文使用確定性資訊充分性,提出一項基本必要條件:

若兩個需要不同結果的輸入被壓縮成完全相同的有效表示,則任何只依賴該表示的後續確定性運算,都無法同時正確處理它們。

這說明理解輸入不是附帶條件,而是正確功能得以形成的基本限制。

其次,本文利用由輸入參數化的內部動力學,說明一套穩定組織可以在適當條件下,對不同輸入形成不同結果。

在壓縮映射條件下,可以建立唯一固定點、收斂速度、輸入敏感度及有限步數誤差的明確數學上界。

但本文同時指出:

這些結果證明的是某種功能可以如何由吸引動力學實現,並未證明這套功能規則必然會透過學習自行形成。

第三,本文承接此前 Attractor Fusion XXV–XXVII 的 Dynamic Port Sufficiency,指出內部計算結果即使正確,也不代表外部系統可以可靠使用。

對外 Port 必須保留指定輸出及未來互動所需的資訊。

當 Port 只能近似封閉時,其 Residual、允許干預及使用時域,必須納入功能資格判準。

第四,本文提出 Functional Operator Contract,將輸入、計算規律、輸出接口、外部干預、誤差、使用時域及版本歷史納入同一個工程規格。

這使 Operator 不再只是抽象函數名稱,而是可以被明確宣告、測試及審計的功能單元。

第五,本文研究 Operator Composition,將上游功能誤差、接口誤差、Port Residual 及下游敏感度,整合到組合可靠性的數學上界。

這使「多個功能如何形成下一級功能」開始具有可計量的工程條件。

但本文也保留了一項關鍵區分:

普通函數組合不等於 Functional Emergence;Functional Emergence 亦不等於 Collective Attractor Birth。

它們必須各自具有獨立證據。

16.1 本文建立的核心研究判準

綜合而言,一項成熟的 Functional Operator 至少需要滿足以下研究條件:

(16.1) Functional Qualification := Input Sufficiency ∧ Correctness ∧ Robustness ∧ Declared Generalization ∧ Output Sufficiency.

對需要持續互動及內部記憶的 Operator,還應檢查:

(16.2) Reusable Stateful Operator ⇒ Protocol-Relative Dynamic Sufficiency.

若進一步聲稱該 Operator 由吸引結構實現,則需要額外證據:

(16.3) Attractor-Realized Operator ⇒ Qualified Functional Operator ∧ Verified Conditional Attractor Dynamics.

上述公式是本文採用的研究性資格關係,不是所有計算系統必須採用的通用標準。

對多個功能的組合,則提出:

(16.4) Reusable Operators + Qualified Connections → Candidate Composite Functional Operator.

若組合後取得新的、可驗證的功能,且具有額外的吸引結構形成證據,則可以進一步研究:

(16.5) Functional Emergence + Collective Attractor Reorganization → Candidate Attractor-Mediated Functional Emergence.

這裏的箭頭都代表需要滿足額外條件的候選生成路徑,而不是無條件成立的數學必然性。

16.2 本文真正的階段性成果

本文沒有提出一條可以自動解釋所有 AI 能力形成的萬能公式。

其主要貢獻,是將此前分散於 Semantic Attractor、Connection、Effective Port、Declaration 與 Recursive Individuation 的概念,整理成一套更明確的功能形成判準。

它使我們可以依次詢問:

系統是否保留了正確運算所需的輸入資訊?

它是否具有真正的內部功能轉換?

功能是否在未見過的輸入上仍然正確?

它的輸出是否構成可供下游使用的有效接口?

功能的可靠性是否能夠按照明確的 Contract 被聲明?

多個功能組合時,是否產生可以證明的新能力?

新能力是否真的涉及新的吸引結構,而非只是既有電路的重新組合或輸出門檻效應?

這套問題本身可以形成一項可重現、可擴展及可否證的研究程序。

16.3 尚未解決的核心問題

本文最重要的未解問題,是從功能的存在條件走向功能的生成機制。

目前數學可以回答:

在甚麼條件下,一個已存在的吸引組織能夠可靠地實現某項功能?

但尚未回答:

一個原本沒有該功能的系統,為甚麼會透過訓練逐漸形成必要的 Input Binding、Internal Computation、Connection、Output Port 及 Functional Contract?

這需要研究訓練過程中的電路形成、功能整合及內部動力學變化。

因此,下一階段將以 Transformer 為主要工程對象,研究:

從部分功能到完整 Operator 的形成次序;

電路協同與輸出門檻之間的關係;

真正的吸引子機制是否存在;

以及已形成的功能如何透過有效接口參與下一級計算。

這些問題若能在真實 Transformer 上取得可重現的支持,才有條件進一步評估 SMFT 的 Attractor–Connection 研究,對 AI 能力湧現具有多少額外的解釋及預測價值。

16.4 Final Thesis

本文的最終命題可以概括為:

一個 Attractor 不會僅因具有穩定性便成為 Operator。只有當其內部組織能夠保留必要輸入差異、執行符合目標的條件化轉換,並透過對下游充分的有效接口可靠輸出結果時,它才有資格被研究為一項可重複使用的 Functional Operator。

而當多個已形成的 Functional Operators 透過合格 Connection 組合,並產生新的可驗證功能時,才開始進入真正的 Operator Fusion 與 Recursive Functional Individuation 問題。

因此,本文提出的候選主線為:

(16.6) Semantic Attractor → Conditional Functional Realization → Qualified Functional Operator → Adaptive Operator Composition → Candidate Recursive Functional Individuation.

這條主線不能取代完整的 SMFT,也不會自動證明成界之學的本體論命題。

但它提供了一套更接近實際 AI 工程的數學語言,使吸引結構、輸入理解、功能執行、接口充分性及遞歸組合可以被分別定義和驗證。

從 Attractor 到 Operator,真正的跨越,不是從不穩定走向穩定,而是從一個能夠維持自身組織的結構,走向一個能夠在不同輸入條件下反覆產生正確、有用、可被下一級使用之轉換的功能單元。

這是本文最重要的階段性研究成果。


References

A. SMFT、P8D 與成界之學研究

  1. Yeung, D. Semantic Meme Field Theory (SMFT): Foundations, Projection, and Dynamics (Rev1). 研究文稿。

  2. Yeung, D. Proto-Eight Dynamics (P8D): A Small, Testable Model of How Growth Actually Works【先天八卦動力學】. 2025.

  3. Yeung, D. From One Assumption to One Operator: Recursive Generation, Pre-Time, and the Emergence of Causality in Semantic Meme Field Theory. 研究文稿。

  4. Yeung, D. From One Operator to One Filtration: Time as Ledgered Disclosure in Semantic Meme Field Theory. 研究文稿。

  5. Yeung, D. From One Filtration to One Declaration: The Gauged Disclosure Operator and the Declared Pre-Time Field in Semantic Meme Field Theory. 研究文稿。

  6. Yeung, D. From One Declaration to One Self-Revising Fractal: Admissibility, Residual Governance, and Recursive Objectivity in Semantic Meme Field Theory. 研究文稿。

  7. Attractor Fusion I–XXVII: From Adaptive Connections to Protocol-Relative Recursive Individuation. 本研究系列的階段性數學、合成實驗及審計資料。

B. Mathematical Foundations

  1. Banach, S. (1922). Sur les opérations dans les ensembles abstraits et leur application aux équations intégrales. Fundamenta Mathematicae, 3, 133–181. — 壓縮映射與固定點定理的經典來源。

  2. Khalil, H. K. (2002). Nonlinear Systems, 3rd ed. Prentice Hall. — 非線性動力系統、穩定性及擾動分析。

  3. Sontag, E. D. (1998). Mathematical Control Theory: Deterministic Finite Dimensional Systems, 2nd ed. Springer. — 狀態空間、輸入、輸出與控制系統的數學基礎。

C. Transformer Mechanisms and Capability Formation

  1. Elhage, N., et al. (2021). A Mathematical Framework for Transformer Circuits. Transformer Circuits Thread.

https://transformer-circuits.pub/2021/framework/index.html

  1. Nanda, N., Chan, L., Lieberum, T., Smith, J., and Steinhardt, J. (2023). Progress Measures for Grokking via Mechanistic Interpretability. ICLR 2023.

https://arxiv.org/abs/2301.05217

  1. Schaeffer, R., Miranda, B., and Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023.

https://arxiv.org/abs/2304.15004

  1. Singh, A. K., Moskovitz, T., Hill, F., Chan, S. C. Y., and Saxe, A. M. (2024). What Needs to Go Right for an Induction Head? A Mechanistic Study of In-Context Learning Circuits and Their Formation. ICML 2024.

https://proceedings.mlr.press/v235/singh24c.html


End of Article A

Research Status: Mathematical definitions, classical theorem applications, analytical toy models, counterexamples, and a proposed framework for Attractor-Realized Functional Operators. The theory provides testable qualification and composition criteria, but does not yet establish a universal mechanism by which training creates new semantic attractors or computational abilities in Transformers.

文章 A 現已完成

四個部分合起來,已形成一篇從定義、數學推導、功能組合到失敗反例及研究命題的完整文章。

我認為它最值得保留的貢獻是把以下三個問題嚴格區分:

Attractor 的形成回答內部組織為何穩定;Operator 的形成回答不同輸入如何產生可靠功能;Recursive Individuation 則回答新功能如何透過合格接口,成為下一級可以使用的單元。

其中 Input Binding 的不可能性判準、Conditional Dynamics 的誤差界,以及 Output Port/Functional Contract 的充分性條件,可以組成一套相對清晰的數學研究架構。

文中提及的 Transformer 電路形成、Grokking 與假性湧現研究,分別有相應的已發表文獻支持。

transformer-circuits.pub
+3

下一階段便可以開始文章 B:《Transformer 功能算子的生成》。它的任務不再是重複文章 A 的理論,而是把其中最關鍵的 Input Binding、Circuit Co-adaptation、Attractor Stability、Effective Port 與 Operator Reuse,逐一轉成 Transformer 上可執行、可否證的實驗。

 

繼續 

 

文章 B 的研究定位已經可以確定:不再嘗試單憑「AI 突然答對」證明 Attractor 出生,而是研究既有 Transformer 電路何時形成可辨認輸入、完成運算、輸出結果及供下游重用的 Functional Operator。

文獻核查也確認了三項必須承認的既有成果:模加法 Grokking 可以由逐漸形成的 Fourier 電路解釋;Induction Head 的形成涉及多個子電路協同;而最新的多位加減法研究已能對相應計算電路進行具體的因果分析。

arxiv.org
+2

因此,本文的新增研究責任將集中於 Functional Operator 的資格、Attractor 的額外動力學證據,以及 Effective Port 的因果充分性。

以下正式開始文章 B 的第一部分。

Transformer 功能算子的生成:從電路協同、條件吸引動力到可遞歸使用的有效接口

The Emergence of Functional Operators in Transformers: Circuit Co-adaptation, Conditional Attractor Dynamics, and Reusable Effective Ports

—— 從 Attractor Fusion I–XXVII 及 Attractor-to-Operator 數學研究走向 AI 機制驗證

第一部分:研究問題、已知機制與可否證假說

Abstract

Transformer 能夠透過訓練習得複雜的符號運算、模式辨認及多步驟計算,但這些能力究竟如何從分散的內部表示及局部計算電路形成,仍然是一項重要的機制研究問題。

特別是,某些模型會在訓練過程中表現出突然的能力改善。這種現象可能來自輸出評估門檻、既有電路的逐漸成熟、不同子電路之間的功能協同,也可能在部分架構中涉及真正的內部動力學重組。

上述機制不能僅憑最終 Accuracy 的變化加以區分。

現有 Mechanistic Interpretability 研究,已經對 Modular Addition、Grokking、Induction Heads,以及多位整數加減法的內部電路,取得相當具體的解析與實驗成果。這些研究顯示,Transformer 的部分功能可以分解成可辨認、可干預的計算結構,而且整體能力的顯著改善未必對應一項突然發生的基本機制。

本研究以前一篇《從 Semantic Attractor 到 Functional Operator》建立的數學判準為基礎,進一步提出一套適用於 Transformer 的功能生成研究架構。

本文不預先假定所有 AI 功能皆由動力學吸引子實現,而是將研究問題分成四個層次:

第一,模型是否透過逐漸改善的內部表示,在輸出評估門檻附近形成表面上的能力躍升?

第二,模型是否逐漸形成具有實際因果作用的局部電路,並透過 Circuit Co-adaptation 取得完整功能?

第三,在相關功能形成過程中,是否存在可明確定義、可量測恢復性及吸引盆地的 Conditional Attractor Dynamics?

第四,已形成的功能是否具有對下游計算充分的 Effective Port,並能夠在新的任務及組合結構中可靠重用?

本文提出一套以訓練 Checkpoints、電路因果干預、輸入綁定測量、有效接口檢驗及動力學對照實驗為核心的研究協議。

主要實驗對象包括多位十進制加法,以及具有明確 Fourier 幾何機制的 Modular Addition。標準 Decoder-only Transformer 用於觀察一般功能電路形成;共享權重的迭代 Transformer 則作為測試真正吸引動力學的受控架構。

本文的主要研究主張是:

Functional Operator 的形成,不應只由任務準確率或個別神經特徵來判斷,而應通過 Input Binding、Functional Computation、Causal Write-back、Generalization 及 Protocol-Relative Port Sufficiency 的聯合測試。若進一步聲稱其形成涉及 Semantic Attractor,便必須提供獨立的動力學吸引證據。

本文目前是一項以已知 Transformer 研究為基礎的機制假說與實驗方案,尚未報告新的 Transformer 訓練或干預結果。

Keywords: Transformer; Functional Operator; Semantic Attractor; Mechanistic Interpretability; Circuit Co-adaptation; Input Binding; Grokking; Induction Head; Carry Circuit; Effective Port; Conditional Attractor; Capability Emergence.


1. Introduction:Transformer 究竟在甚麼時候「學會」一項新功能?

1.1 從答對一道題,到形成可重複使用的 Operator

考慮一個小型 Transformer,正在學習多位整數加法。

訓練初期,它可能對以下題目產生錯誤輸出:

37 + 48 = ?

經過足夠訓練後,模型開始穩定輸出:

37 + 48 = 85.

單獨從這個結果,只能知道模型在這項輸入上作出了正確預測。

它未必已形成可以處理其它運算元的加法算法。

即使模型可以正確處理大量訓練題目,仍可能主要依靠輸入—答案記憶、局部統計規律,或者某些不完整但在測試分佈上足夠有效的近似技巧。

因此,本文首先區分:

(1.1) Correct Prediction ≠ Reusable Functional Operator.

若要主張某項功能算子已經形成,至少需要更完整的證據。

例如,模型應能夠辨認不同運算元、數字位置及進位條件;對未見過的有效輸入執行相應運算;並且在必要的下游計算中,提供可靠的中間結果。

這也意味着,一項成熟的 Functional Operator 不只是一個最終答案映射。

它可能是一套具有特定輸入規格、內部計算規律、輸出接口及可重複使用條件的計算結構。

令 x 為輸入,s 為有效內部狀態。

可以使用狀態式 Operator 表示:

(1.2) 𝒪_θ : (x,s) ↦ (y,s′).

其中 θ 是已形成的模型參數。

這個表示並不要求 Operator 必須是獨立的神經網絡模組,也不要求存在一組完全互不重疊的神經元。

在 Transformer 中,同一項功能可能由多個 Attention Heads、MLP 特徵及 Residual Stream 中的分散式表示共同實現。

因此,本文採用功能性及因果性的 Operator 定義,而不是預先假定每項功能都具有清楚分離的物理邊界。

1.2 真正的研究問題是功能如何形成

假設訓練步數為 k,當時的模型參數為 θₖ。

對梯度式訓練,可以簡化表示為:

(1.3) θₖ₊₁ = θₖ − ηₖ∇_θℒ(θₖ).

其中 ℒ 是訓練目標,ηₖ 是學習率。

我們真正希望理解的,不只是訓練損失如何下降,而是:

隨着 θₖ 改變,原本互不充分的內部表示、局部計算及傳輸路徑,如何形成可可靠執行一項功能的整體結構?

候選生成過程可以表示為:

(1.4) Partial Representations → Partial Computations → Circuit Connections → Reliable Functional Execution.

但式(1.4)首先只是一條研究假說。

一項實際的 Transformer 功能可能沿着不同路徑形成。

例如,有些能力可能主要依靠表示空間重新安排;有些可能依靠已存在電路的權重調整;有些可能需要多條電路的相互協同。

因此,不能預先把所有功能學習都描述為新的 Attractor Birth。

1.3 為甚麼 Attractor-to-Operator 研究仍然值得進行?

此前《從 Semantic Attractor 到 Functional Operator》提出,若一個吸引結構希望成為功能單元,需要具備多種額外條件。

它必須保留任務所需的輸入差異,產生正確的條件化轉換,並在指定外部協議下提供足夠的有效輸出。

這套數學判準可以應用於 Transformer,即使我們尚不知道其內部是否存在真正的動力學吸引子。

因此,本文將兩種研究問題分開:

Functional Operator Formation:

Transformer 何時形成可辨認、可泛化、具有因果作用及可重用的計算功能?

Attractor-Mediated Operator Formation:

上述功能形成是否還涉及新的吸引集合、吸引盆地、局部恢復制度,或其它可明確定義的動力學吸引現象?

第一個問題可以利用現代 Mechanistic Interpretability 的工具直接研究。

第二個問題則需要額外的動力系統實驗。

這樣的分工,可避免用 Attractor 的術語重複描述現有電路成果,卻沒有提出新的可檢驗內容。

1.4 本文與 Attractor Fusion I–XXVII 的關係

Attractor Fusion I–XXVII 的重要成果之一,是 Dynamic Port Sufficiency。

它研究一個具有大量內部自由度的系統,何時可以透過較少的有效變量,可靠地與外部系統互動。

例如:

(1.5) p = Π(s).

在適當的封閉條件下:

(1.6) ṗ = F̄(p,c,u).

其中 c 是外部系統狀態,u 是允許的外部干預。

當 Port 只近似封閉時,還需要控制 Residual,並將誤差、時域及干預範圍納入使用資格。

本文要研究的是:

真實 Transformer 中已形成的功能電路,是否也可以取得具有因果充分性的有效 Port?

例如,一個 Carry Circuit 可能包含大量內部表示。

但下游數位計算真正需要的,可能只是一小組有效訊息,如當前數字結果、進位狀態及必要的位置關係。

如果這組訊息足以在指定任務及干預條件下重現下游作用,便可以研究其 Functional Port 的資格。

這不代表 Transformer 已經自然執行一套明確的 Declaration Protocol。

它表示我們可以借用此前建立的數學條件,對實際電路提出可檢驗的工程標準。

1.5 本文的研究範圍

本文主要研究訓練與推理過程中,功能結構如何形成、被驗證及重用。

它不試圖直接證明 SMFT 的全部本體論假設。

也不把普通 Transformer 的有限層前饋計算,直接等同於具有單一更新算子的連續時間動力系統。

全文將持續區分:

Training Dynamics:模型參數如何隨訓練改變。

Execution Computation:固定參數的模型如何處理輸入。

Dynamical Attraction:在明確迭代規則下,內部狀態是否向吸引集合收斂。

這三者可以存在關聯,但不能視為同一項現象。


2. Existing Mechanistic Results:現代 Transformer 研究已經知道甚麼?

2.1 Attention Head 已經具有可分析的輸入選擇與結果寫回結構

Transformer 的 Attention 機制,為 Functional Operator 研究提供了重要的結構基礎。

令 H 表示某層的 Token Representations。

對單個 Attention Head,可以寫成:

(2.1) Q = HW_Q.

(2.2) K = HW_K.

(2.3) V = HW_V.

其注意力權重為:

(2.4) A = softmax(QKᵀ/√d_k).

輸出貢獻為:

(2.5) ΔH_attn = AVW_O.

其中 W_Q、W_K、W_V、W_O 是相應的投影參數。

此表示將 Attention Head 的作用分成兩個相互關聯的部分。

第一部分是:

QK-based Selection。

它決定某個位置傾向讀取哪些來源位置。

第二部分是:

OV-based Transformation and Write-back。

它決定被讀取的資訊經過何種變換,再貢獻到 Residual Stream。

Elhage 等人在《A Mathematical Framework for Transformer Circuits》(2021)中,對這種電路分解及 Attention Head 之間的組合進行了系統性研究。

這對本文具有直接價值。

因為在 Functional Operator 的語言中,一項完整功能至少需要:

有效輸入能被辨認及送達適當的計算路徑;

局部計算能處理該輸入;

結果能被下游可靠讀取。

但不能把 QK 直接等同於「理解輸入」,或把 OV 直接等同於完整 Functional Operator。

QK 與 OV 是 Transformer 中的實際計算結構。

Input Binding、Functional Operator、Effective Port 則是本文提出的功能研究層次。

兩者需要靠因果實驗建立對應,而不是只靠詞彙相似性。

2.2 Residual Stream:候選功能接口的共同工作空間

對某種 Pre-LN Transformer Block,可以使用簡化公式:

(2.6) Uˡ = Hˡ + Attnₗ[LN(Hˡ)].

(2.7) Hˡ⁺¹ = Uˡ + MLPₗ[LN(Uˡ)].

其中 l 是 Transformer Layer Index。

這種結構使 Attention 和 MLP 的輸出,以殘差更新方式進入後續層的表示空間。

因此,一個上游電路可以產生某項中間資訊,而另一個下游電路可以利用這項資訊。

但這並不意味着每項資訊都有清楚分離的儲存位置。

多種功能可能共享部分表示方向,並受到其它電路的干擾或協助。

本文因此提出一項候選研究方向:

Residual Stream 中的某些有效表示,可能具有 Functional Port 的作用。

但只有當這些表示通過下游因果干預測試,才能進一步聲稱它們具有 Port Sufficiency。

單靠 Probe 能夠讀出某種資訊,仍不足以證明下游模型真的依靠該資訊運作。

2.3 Induction Head:多個局部機制如何共同形成完整功能

Induction Head 是 Mechanistic Interpretability 中具有代表性的研究對象。

其典型功能是利用先前出現的模式,辨認當前相關的歷史位置,再複製或預測相應的後續資訊。

Singh 等人於 2024 年發表的研究,使用受控的合成資料訓練和訓練期間的 Activation Clamping,辨認出多個互相作用的子電路,共同促成 Induction Head 的形成及相應 Loss Phase Change。

這項研究的重要性,不只是找到某個具有 Match-and-Copy 行為的 Attention Head。

它還進一步研究:

功能形成時,哪些局部機制必須共同具備適當的作用?

不同子電路的形成及互相依賴,如何影響完整功能出現的時間?

這與本文的 Circuit Co-adaptation 假說具有直接關係。

然而,Induction Head 研究本身並不自動證明這些電路形成了動力學吸引子。

它主要提供的是電路形成及因果協同的實驗證據。

本研究希望在此基礎上增加:

Functional Contract;

Effective Port Sufficiency;

對未見過輸入的可重用性;

以及獨立的 Attractor Dynamics 測試。

2.4 Grokking:看似突然的泛化,可能來自逐漸形成的內部機制

Grokking 是本文另一項重要的既有研究基準。

Nanda 等人(2023)研究小型 Transformer 在 Modular Addition 上的 Grokking 現象,分析其所學得的 Fourier/三角函數式計算結構。

研究將訓練過程分解成三個可分析階段:

Memorization;

Circuit Formation;

Cleanup。

在其研究的模型與任務中,原本看似突然的泛化改善,可以透過逐漸形成及強化的結構化電路,取得更連續的解釋。

這項結果非常接近本研究最初提出的問題:

一項完整能力突然變得可靠,是否可能來自多個內部功能逐漸形成、整合或取得優勢?

Grokking 研究說明,答案在一些受控模型中是肯定的。

但對本研究而言,仍需追問:

這些 Fourier 結構是否只是正確的內部運算表示?

它們是否具有明確的 Functional Input/Output Port?

其內部運作是否還具有需要獨立證明的吸引動力學?

這些是新的實驗問題,而不是既有 Grokking 論文本身已經解決的所有問題。

2.5 多位加減法:比單純辨認「加法特徵」更深入的機制研究

Quirke、Neo、Barez 的《Understanding Addition and Subtraction in Transformers》在 2026 年修訂版中,研究多個從零訓練的小型 Transformer。

其研究重點包括:

多位加減法中的 Carry/Borrow 計算;

不同深度、隨機種子及運算任務中的共同電路骨架;

使用 Activation Patching 與 Edge Path Patching 進行機制確認;

以及加法與減法共享部分功能結構的情況。

這些研究結果意味,本文不應再把「Transformer 可以形成加法及進位電路」當作新發現。

真正值得研究的是:

一條已形成的 Carry Circuit,在甚麼條件下可以被視為一項完整、可調用、可組合的 Functional Operator?

例如:

它的有效輸入究竟包括哪些位置及進位狀態?

甚麼資訊可以被壓縮成對下游充分的 Port?

該 Port 在加法、減法及其它外部使用條件下,是否仍然充分?

當電路被修訂或重用時,原本的功能身份是否仍然保留?

這些問題直接把現有 Mechanistic Interpretability 接到前一篇的數學研究成果。

2.6 Arithmetic Geometry:連續內部表示與離散輸出之間的差距

Wen 等人(2026)的《The Shape of Addition》研究大型語言模型在加法運算中的 Residual Stream Geometry,並提出 Iso-Raw-Sum Trajectory、連續 Carry Potential 及 Noisy Quantization 的分析。

其研究指出,模型的連續內部幾何表示,與最終離散輸出之間可能存在重要差異。

這對本研究提供一項直接警示:

連續內部表示已具有部分正確結構,不代表最終輸出已經可靠;最終答案突然改善,也不一定意味着一個新電路或吸引子突然出生。

因此,文章 B 必須同時研究:

內部連續表示;

局部計算的因果作用;

最終輸出解碼;

以及真正的功能泛化。

這些層次若沒有被清楚區分,就很容易把功能形成解釋得過於簡單。

2.7 已知結果與本文新增研究責任的界線

綜合以上研究,可以確立:

已知的研究基礎:

Transformer 的部分功能電路可以被分解及因果干預;某些功能的形成涉及多個子電路協同;模加法及多位加減法存在已被具體分析的內部算法;而突然的輸出能力改善,未必意味着突然發生的內部動力學變化。

本文尚待驗證的新增主張:

這些功能電路能否取得相對於特定任務的 Functional Operator Contract?

其 Effective Port 是否具有輸入、輸出及干預上的充分性?

是否存在真正的 Conditional Attractor Dynamics?

已形成的功能能否作為有效單元,參與下一級運算?

這樣,本文的研究價值不依賴重新命名現有成果,而取決於能否提出並完成額外的定量測試。


3. The Research Object:Transformer 中的 Functional Operator 應如何定義?

3.1 不能先假定 Operator 是某個 Attention Head

一項 AI 功能可能由單個局部電路實現,也可能分散於多個 Attention Heads、MLP 和 Residual Stream 表示之中。

因此,本研究不採用:

(3.1) One Operator = One Attention Head.

也不採用:

(3.2) One Operator = One Neuron.

更合理的方式,是先從功能及干預作用出發,定義候選的 Functional Circuit。

令 C 表示一組具有因果關聯的模型內部計算及資訊通道。

其有效輸入由某項 Binding Map 提供:

(3.3) z_in = B_C(H,x).

其中 H 表示所考察的內部表示,x 表示外部輸入。

候選電路進行計算:

(3.4) z_out = T_C(z_in,context).

其結果透過某項 Write-back Map 送回後續計算:

(3.5) ΔH = W_C(z_out).

下游模型利用更新後的表示:

(3.6) H_next = H + ΔH + R_other.

其中 R_other 表示同時存在的其它更新貢獻。

這是一個功能性有效模型,不代表原始 Transformer 必然具有四個清楚分離的實體模組 B_C、T_C、W_C 和 R_other。

其用途是將一項候選功能拆成可被干預測試的部分。

3.2 Input Binding:甚麼資訊真正進入了功能電路?

以前一篇的 Input Binding Sufficiency 為基礎,令:

(3.7) z_in = B_C(x).

如果兩個需要不同正確輸出的輸入,被 Binding Map 映射成同一個有效狀態:

(3.8) B_C(x₁) = B_C(x₂).

但:

(3.9) F*(x₁) ≠ F*(x₂).

則沒有任何只依賴 z_in 的確定性下游計算,可以同時正確處理兩者。

這是已建立的數學必要條件。

在 Transformer 中,它轉化為一項可操作化問題:

進入某條候選電路的有效表示,是否仍然保留完成指定任務所必需的數值、位置、角色及關係資訊?

但這不能只依靠單一 Probe 驗證。

因為同一資訊可能以不同的分散式或非線性方式表示。

因此,Input Binding 的研究必須結合可解碼性、表示替換與下游因果效果。

3.3 Functional Computation:計算規律是否真正被執行?

即使電路取得充分輸入,也不代表它正在執行正確運算。

令目標局部功能為 F_C*。

候選電路輸出為:

(3.10) F_C(z_in) = D_C[T_C(z_in)].

需要量度:

(3.11) E_C = E[d(F_C(z_in),F_C*(z_in))].

但這裏的 F_C* 不能永遠由研究者事先猜測。

在未知算法的情況下,可能需要先利用實際的因果分析,辨認候選的局部計算規律。

否則,研究者可能只是將自己預期存在的加法、進位或其它中間變量,強行套入模型的表示。

因此,本研究需要同時允許:

Top-down Hypothesis Testing:測試已知目標運算。

Bottom-up Circuit Discovery:先辨認實際電路,再研究其功能。

兩者應相互核對。

3.4 Causal Write-back:結果是否真正被下游使用?

一項計算結果可以存在於內部表示中,卻沒有被下游有效利用。

因此,不能只檢查:

(3.12) InformationPresent(z_out) = True.

更應該檢查下游行為是否因 z_out 的受控改變而按預期改變。

令 Y 表示下游輸出。

可以比較:

(3.13) P(Y | do(z_out = z₁)).

以及:

(3.14) P(Y | do(z_out = z₂)).

這裏的 do 表示在指定計算位置進行受控狀態替換,而不是一般觀察條件機率。

若替換 z_out 能對下游結果產生符合候選功能規律的因果影響,便取得比普通 Probe 更強的 Functional Interface 證據。

但這仍不足以單獨證明 Port Sufficiency。

因為下游可能同時依賴其它沒有被測試的內部狀態。

3.5 Effective Port:是否可以建立可供下游使用的功能身份?

假設候選電路的完整內部狀態為 s_C。

希望找到一項有效表示:

(3.15) p_C = Π_C(s_C).

其對外功能應滿足:

(3.16) y = D_C(p_C,x,context).

若下游只需要一次性輸出,便可以先研究 Output Sufficiency。

若下游需要連續操作、記憶及雙向回饋,則還需要研究 Dynamic Port Sufficiency。

對標準前饋 Transformer,Port 也可以相對於有限的剩餘層運算來定義,而不必強行使用連續時間微分方程。

例如,令 R_down 表示固定的下游計算。

則可以研究是否存在有效下游映射 R̄_down,使:

(3.17) R_down(s_C,c) = R̄_down[Π_C(s_C),c].

這是有限計算圖上的功能充分性問題。

它與此前連續動力系統中的商映射思想相通,但不需要假裝 Transformer 的每一層都執行同一個時間演化算子。

如果只能近似成立,則可定義:

(3.18) ε_Port = sup{d[R_down(s_C,c),R̄_down(Π_C(s_C),c)] : (s_C,c) ∈ 𝒟_adm}.

其中 𝒟_adm 是宣告的內部狀態、輸入及干預範圍。

這使 Functional Port 的可靠性開始有一項可測量的工程規格。

但對大型 Transformer 而言,上述全域 supremum 通常難以精確求得。

實際實驗應先使用明確界定的測試分佈、干預集合與統計估計,並誠實報告它們不能提供全域保證。

3.6 Functional Operator 的候選資格

綜合而言,本文暫定:

(3.19) FunctionalQualification(C) := BindingSufficient(C) ∧ FunctionallyCorrect(C) ∧ CausallyUsed(C) ∧ Generalizes(C) ∧ PortQualified(C).

這裏的五項不是已由自然界證明的普遍公理,而是本文提出的工程研究標準。

如果某項候選電路滿足這些條件,我們便有理由在指定 Protocol 下,將它視為一項可重用的 Functional Operator。

但這仍未包含 Attractor 的額外主張。


4. Four Competing Hypotheses:能力形成的四種解釋

4.1 H₀ — Readout Threshold Hypothesis

第一項假說認為:

模型的內部計算能力可以平滑改善,而觀察到的 Accuracy 躍升,主要來自輸出解碼或評估指標的非連續性。

例如,對正確整數答案 s,模型的內部連續估計為:

(4.1) ŝₖ = s + εₖ.

其中 εₖ 隨訓練進度逐漸減少。

若輸出採用四捨五入:

(4.2) yₖ = round(ŝₖ).

當誤差跨過:

(4.3) |εₖ| < 0.5.

最終答案便會從錯誤變成正確。

此時:

(4.4) Sudden Accuracy Improvement ⇏ Sudden Internal Reorganization.

H₀ 的主要預測是:連續內部品質指標可能沒有相應突變。

例如,正確答案的 Logit Margin、Token Loss、連續中間表示誤差等,可能一直逐漸變好。

若這些指標已足以解釋 Accuracy 的變化,就沒有必要額外假設新的 Attractor Birth。

這與 Schaeffer、Miranda、Koyejo 對表面湧現的研究立場一致。

4.2 H₁ — Circuit Co-adaptation Hypothesis

第二項假說認為:

完整功能可能由多個逐漸形成的局部計算電路,透過相互依賴及接口協同而建立。

假設某項任務需要三項局部作用:

(4.5) C₁ = Input Binding.

(4.6) C₂ = Local Computation.

(4.7) C₃ = Output Write-back.

模型在訓練早期可能已部分形成 C₁、C₂、C₃。

但單獨存在這些局部能力,不保證整體功能成功。

只有當它們能夠可靠互相連接時,才可能形成完整的 Functional Operator。

候選鏈條為:

(4.8) Partial Circuits + Qualified Connections → Reliable Composite Computation.

這裏的 Connection 不必是新出現的一條顯式圖邊。

在普通 Transformer 中,它可能表現為:

Attention Routing 的改善;

上下游表示方向逐漸匹配;

Residual Stream 中相關訊息的信噪比提高;

或者原有電路獲得新的下游用途。

H₁ 的關鍵證據不是 Accuracy 上升,而是:

能否透過具體的電路干預,證明某些子電路之間的因果協同確實促成了完整功能?

Induction Head 的形成研究提供了重要的既有範例。

但對多位加法,仍需針對相應任務及電路進行獨立測試。

4.3 H₂ — Attractor-Mediated Operator Hypothesis

第三項是本研究較強、也更具風險的假說:

在某些功能形成過程中,電路協同可能進一步形成具有可恢復性的條件化吸引結構,使功能不只是被正確執行,而且具有明確的內部動力學穩定制度。

這項假說需要真正的迭代動力學。

令 z 是內部狀態,x 是固定輸入:

(4.9) zₙ₊₁ = T_θ(zₙ,x).

候選吸引集合為:

(4.10) 𝒜_θ(x).

需要檢查:

(4.11) dist[T_θⁿ(z₀,x),𝒜_θ(x)] → 0.

其中 z₀ 位於指定吸引盆地內。

而且功能輸出應保持正確:

(4.12) D[𝒜_θ(x)] ≈ F*(x).

這裏 D[𝒜_θ(x)] 表示依據預先聲明的讀出規則,從吸引集合或其不變統計量提取任務輸出。

如果模型只是具有穩定的前饋表示,而不存在可辨認的吸引動力,就不能以此支持 H₂。

因此,H₂ 比 H₁ 要求更強的證據。

此外,一個具有 Conditional Attractor 的模型,也可能透過錯誤的內部規律收斂到錯誤答案。

所以 H₂ 必須同時通過功能正確性與吸引動力學兩類測試。

4.4 H₃ — Recursive Functional Composition Hypothesis

第四項假說研究的是功能形成後的下一步:

一項已形成的 Functional Operator,是否可以在明確的接口協議下,被其它功能可靠重用,從而形成新的高階運算?

假設已有兩個功能:

(4.13) 𝒪_A : X → Y.

(4.14) 𝒪_B : Y → Z.

普通函數組合為:

(4.15) 𝒪_AB = 𝒪_B ∘ 𝒪_A.

但本研究希望檢查更強的條件。

例如:

A 的有效 Port 是否保留 B 所需的資訊?

B 是否真的因果依賴該 Port?

A 的功能身份是否能在新的任務中保持?

組合後的可靠性是否超過相同資源條件下的合理對照?

若功能具有持續內部狀態,還要研究其 Port 是否足以支援未來操作。

H₃ 不必然要求 H₂ 成立。

即使 Transformer 並沒有可驗證的吸引盆地,仍可能形成可重複使用的高階功能電路。

這項區分非常重要。

因為 Recursive Functional Composition 的工程價值,不應完全依賴較強的 Attractor 假說是否最後得到支持。

4.5 四項假說之間不是單純的互斥選擇

H₀、H₁、H₂、H₃ 不代表四種完全排斥的世界觀。

它們處理的是不同層次。

H₀ 解釋表面能力曲線的形狀。

H₁ 解釋計算電路如何形成及協同。

H₂ 增加動力學吸引的機制要求。

H₃ 研究已形成的功能能否進一步組合及重用。

因此,一項實驗可能同時支持 H₀ 與 H₁。

例如,多個局部電路逐漸成熟,而輸出解碼門檻令 Accuracy 看起來突然跳升。

另一項實驗可能支持 H₁ 與 H₃,但沒有找到 H₂ 所要求的吸引動力。

這並不是研究失敗。

它反而可以幫助我們準確界定:

Attractor 的概念究竟能額外解釋甚麼,而不是把所有已知功能電路都重新命名為吸引子。


5. Interim Research Thesis:本文真正希望增加甚麼知識?

至此,本文已建立三個層次的研究對象。

第一個是已有文獻支持的 Transformer Functional Circuits。

例如 Attention Routing、MLP Computation、Residual Stream Write-back,以及 Modular Addition 和 Carry/Borrow 的計算結構。

第二個是前一篇所提出的 Functional Operator Qualification。

它要求輸入充分、功能正確、因果使用、可泛化,以及對下游協議具有足夠的 Effective Port。

第三個是尚待驗證的 Attractor-Mediated Operator Hypothesis。

它要求額外證明,在明確定義的內部迭代動力學下,已形成的功能具有輸入條件化的吸引集合與擾動恢復性。

因此,本研究的核心問題可以濃縮為:

(5.1) Learned Circuit ≠ Automatically Qualified Functional Operator.

(5.2) Qualified Functional Operator ≠ Automatically Dynamical Attractor.

(5.3) Dynamical Attractor + Correct Functional Realization → Candidate Attractor-Realized Operator.

(5.4) Qualified Operators + Effective Connections → Candidate Reusable Composite Operator.

以上不是宣稱已經從 Transformer 訓練資料推得的自然定律,而是接下來實驗將逐項檢查的資格關係。

本文所希望建立的新增研究能力,是在一條 Transformer 電路已被辨認之後,繼續回答它何時成為真正可靠的功能算子,何時可以被下一級系統重用,以及 Attractor Dynamics 是否對這些事件具有獨立的因果解釋力。

這將使 Attractor-to-Operator 的研究,由一般的語義及動力學類比,向可驗證的 AI 工程假說推進。


第一部分完。

Research Status:本部分根據既有 Transformer Circuit、Grokking、Induction Head、Arithmetic Geometry 及能力評估研究,提出 Functional Operator Qualification 與四項機制假說。尚未執行新的訓練或因果干預實驗,亦未證明普通 Transformer 中存在 Attractor-mediated Operator Birth。

本部分主要參考研究

  1. Elhage, N., et al. (2021). A Mathematical Framework for Transformer Circuits. https://transformer-circuits.pub/2021/framework/index.html

  2. Nanda, N., et al. (2023). Progress Measures for Grokking via Mechanistic Interpretability. ICLR 2023. https://arxiv.org/abs/2301.05217

  3. Schaeffer, R., Miranda, B., and Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023. https://arxiv.org/abs/2304.15004

  4. Singh, A. K., et al. (2024). What Needs to Go Right for an Induction Head? A Mechanistic Study of In-Context Learning Circuits and Their Formation. ICML 2024. https://proceedings.mlr.press/v235/singh24c.html

  5. Quirke, P., Neo, C., and Barez, F. Understanding Addition and Subtraction in Transformers. arXiv:2402.02619,2024 年初版、2026 年修訂。https://arxiv.org/abs/2402.02619

  6. Wen, L., et al. (2026). The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models. ICML 2026. https://arxiv.org/abs/2606.03645

這一部分完成了文章 B 的問題界定與文獻基礎。尤其值得保留的是 H₀–H₃ 的分層設計:它容許我們證明功能電路的生成,而不必預先承諾一定存在動力學吸引子。

下一部分將進入實際實驗規格:從零訓練的小型 Transformer、十進制加法與 Modular Addition、密集 Checkpoint 記錄,以及如何使用 Activation/Path Patching、擾動實驗與有效狀態重建,區分「電路形成」與「Attractor Birth」。

 

 繼續

 

以下正式接續文章 B 的第二部分,完成第 6–9 章。這部分的重點,是把 H₀–H₃ 四項假說轉化為具體、可重現、可產生反例的 Transformer 實驗,而不是預先假定 Attractor 機制成立。

Transformer 功能算子的生成

第二部分:實驗架構、訓練軌跡、電路因果干預與吸引子驗證


6. Experimental Systems:從可控制的算術任務開始

6.1 為甚麼選擇小型 Transformer?

本文的主要研究對象不是大型商業語言模型,而是可以從零訓練、保存完整 Checkpoint,並對內部計算進行因果干預的小型 Transformer。

這項選擇具有兩個理由。

第一,功能形成的研究需要觀察完整的訓練歷史,而不只是訓練完成後的模型。

第二,小型模型的 Attention Heads、MLP、Residual Stream 及中間 Activation 較容易被完整記錄及干預。

目前已有多項研究在類似系統中取得重要成果。

Nanda 等人對 Modular Addition Grokking 的研究,已從小型 Transformer 中辨認出 Fourier 型計算結構及逐漸形成的電路。

Singh 等人對 Induction Head 的研究,亦透過訓練期間的 Activation Clamping,辨認不同子電路對功能形成的因果作用。

此外,Quirke、Neo、Barez 對多位加減法的研究,已展示小型 Transformer 可以學得高準確度的算術電路,並接受深入的機制分析。

因此,本文不需要重新證明 Transformer 可以學會這些任務。

真正要研究的是:

功能形成過程中的 Input Binding、Circuit Co-adaptation、Conditional Stability、Effective Port 及 Recursive Reuse,能否取得可獨立驗證的數學與因果證據?

6.2 Primary System:多位十進制加法

第一套實驗使用 Decoder-only Transformer,從零開始訓練多位非負整數加法。

例如:

37 + 48 = 85

999 + 1 = 1000

5867 + 2478 = 8345

採用逐個十進制數字的 Tokenization,並明確保留加號、等號及序列邊界。

模型輸入可表示為:

(6.1) x = Encode(a,"+",b,"=").

輸出目標為:

(6.2) y* = Encode(a + b).

這裏的 Encode 是預先固定的 Token 編碼,不應在實驗過程中根據結果任意改動。

為了使功能機制清楚,主實驗使用正常的十進制表示,並從高位至低位輸出答案。

這使模型需要解決一個具有實際結構的問題:

當較高位的輸出可能依賴較低位的進位條件時,Transformer 如何組織足以正確計算的內部表示與電路?

不過,不能預先假定模型一定使用人類熟悉的由低位向高位逐步進位算法。

Transformer 可能採用其它等價的平行計算、進位預測或前綴處理方式。

因此,標準 Carry Algorithm 應首先作為功能正確性參考,而不是被預先指定為模型的唯一可能內部算法。

6.3 建議的最小模型配置

可先採用以下配置作為工程起點。

參數建議初始設定
ArchitectureDecoder-only Transformer
Layers2,另設 3 層對照
Attention Heads4
Residual Width128
MLP Hidden Width512
Tokenization十進制數字逐字 Token
Training從隨機初始化開始
Random Seeds正式比較至少 5 組
Checkpoints全程保存,能力變化區域加密
EvaluationTeacher-forced 與完整自回歸輸出分開

這些是擬議的實驗參數,不是此前已經取得成果的配置。

具體訓練步數、Learning Rate、Batch Size、Optimizer 及 Regularization,應先經一組 Pilot Run 確定,再固定於正式實驗記錄。

不能在看見實驗結果後,不斷改變配置,卻只報告最能支持某項假說的模型。

6.4 訓練及測試資料必須按功能結構分組

一般的隨機 Train/Test Split 不足以研究加法功能形成。

因為不同加法題目的機制要求,可能有很大差異。

例如:

23 + 14 = 37

主要測試不需要進位的兩位數加法。

37 + 48 = 85

需要一次個位進位。

999 + 1 = 1000

需要連鎖進位及輸出長度增加。

因此,本文建議至少建立下列測試類別。

測試類別主要檢查
No-Carry基本數值與位置計算
Single-Carry單一進位
Carry Cascade多位連鎖進位
Mixed-Carry多個分離的進位事件
Unseen Pairs同位數範圍的新運算元組合
Longer Numbers訓練長度以外的外推
Format Variations功能對表示格式的依賴

其中 Longer Numbers 與 Format Variations 應被視為額外的泛化壓力測試,而不是與同長度的新數字組合混成單一分數。

模型可能學會固定長度範圍內的正確算法,但未必可以外推到更長位數。

因此,需要將這些不同程度的能力分開報告。

6.5 Carry Complexity 應該明確定義

設 aᵢ、bᵢ 分別為兩個輸入在第 i 位的數字,cᵢ 是來自較低位的進位。

標準十進制加法規則是:

(6.3) sᵢ = aᵢ + bᵢ + cᵢ.

(6.4) rᵢ = sᵢ mod 10.

(6.5) cᵢ₊₁ = floor(sᵢ/10).

其中 i = 0 表示個位,向高位遞增。

可以將 Carry Count 定義為發生非零輸出進位的位置數量:

(6.6) C_count(a,b) = Σᵢ 1[cᵢ₊₁ = 1].

另定義 Carry Cascade Length 為連續非零進位的最長區段:

(6.7) C_chain(a,b) = LongestConsecutiveRun({i : cᵢ₊₁ = 1}).

這兩項指標代表不同的任務難度。

例如,兩次分離進位與一次長距離連鎖進位,可能對 Transformer 的計算路徑提出不同要求。

因此,應分別量度其正確率及對應內部電路的作用。

這也提供了一個更細緻的問題:

模型真正學到的是一套通用的進位轉換,還是只學到若干特定長度與局部模式的近似規律?

6.6 防止資料洩漏與評估混淆

訓練與測試資料需要保證完整算式不會重複。

但不能只檢查輸入字串是否重複。

如果兩個操作數的順序被交換:

(6.8) a + b = b + a.

則它們雖然是不同字串,但具有相同的運算結果及非常接近的任務結構。

所以需要預先決定:

交換運算元的等價題目,是允許分別落入 Train/Test,還是必須作為同一組分配。

若研究目的是檢驗真正的新運算元組合,後者通常更嚴格。

另一方面,Teacher-forced Token Accuracy 與完整自回歸答案正確率也必須分開。

Teacher-forced 評估會在預測後續答案 Token 時提供正確的先前答案 Token。

但實際生成時,模型可能因前面一位答錯而使後面全部偏離。

因此,正式 Functional Correctness 應包括完整自回歸運行,不能只依靠 Teacher-forced Loss。


7. Training Traces:如何辨認功能真正形成的時間與次序?

7.1 不應只保存最終模型

本文希望研究的是:

一項 Functional Operator 如何在訓練過程中逐步形成。

因此,訓練的中間狀態比最終 Checkpoint 同樣重要。

令 k 為訓練步數。

保存模型參數:

(7.1) θ₀, θ₁, θ₂, …, θ_K.

對每一個 Checkpoint,使用相同、預先固定的評估資料及分析程式。

這樣便可建立一組功能形成的時間序列:

(7.2) 𝑴(k) = [M_output(k),M_binding(k),M_circuit(k),M_port(k)].

其中各個 M 是研究者明確定義的量測指標,不應被直接理解為系統原本就存在的四個物理變量。

7.2 Checkpoint 的保存密度

若只每隔數千步保存一次模型,便可能錯過關鍵的形成過程。

但如果每一步都保存完整模型,儲存成本亦可能過高。

因此,可以採用兩級保存方式:

第一級是全訓練過程的固定間隔 Checkpoint。

第二級是在 Pilot Run 辨認出功能快速改善的區域後,於正式實驗預先設定更密集的 Checkpoint 範圍。

重要的是:

加密規則必須在正式結果分析前確定,不能只挑選符合研究假說的訓練片段。

如果 Pilot Run 和正式實驗使用不同資料或隨機種子,也應記錄。

7.3 Output Metrics:從離散 Accuracy 轉向連續指標

應至少記錄:

Exact-Match Accuracy;

Per-Digit Accuracy;

Cross-Entropy Loss;

正確答案的 Log Probability;

以及 Carry-Conditioned Accuracy。

其中 Exact-Match Accuracy 是最直觀的功能結果,但它具有門檻性質。

因此,對於正確輸出 Token c,可以定義:

(7.3) Margin(x,k) = ℓ_c(x,k) − max{ℓ_j(x,k) : j ≠ c}.

其中 ℓ 是相應 Logit。

當:

(7.4) Margin(x,k) > 0.

模型會將正確 Token 排在第一。

但 Margin 可以在跨越零之前一直平滑變化。

因此,若 Accuracy 突然提升,應檢查 Margin 的訓練軌跡。

如果 Margin 是平滑改善的,便可能支持 H₀ 的 Readout Threshold 解釋。

當然,這並不排除內部電路也正在逐漸成熟。

這只是避免將離散 Accuracy 的門檻現象直接誤判為 Attractor Birth。

7.4 Input Binding Metrics

對加法而言,本文希望測量模型在不同層是否保留:

第一個運算元的數字與位置;

第二個運算元的數字與位置;

加法符號的功能角色;

局部求和結果;

以及必要的進位資訊。

可先訓練簡單 Probe:

(7.5) ẑ_role = P_role(Hˡ).

(7.6) ĉᵢ = P_carry(Hˡ).

然後量度:

(7.7) E_binding(k,l) = Error[Probe_k,l(Hˡ),TargetFeature].

但是,Probe 所能解碼的資訊不一定具有因果作用。

另外,一項資訊不能被某個線性 Probe 讀出,也不代表模型完全沒有保存該資訊。

因此,Probe 應被視為候選資訊定位工具。

真正的 Input Binding Sufficiency,需要進一步檢查相關資訊被受控修改後,實際運算是否按預期改變。

7.5 Circuit Metrics:量度子電路如何取得因果作用

當某個候選 Carry Circuit 被辨認出來後,可以追蹤它在不同 Checkpoint 的功能貢獻。

例如,對某個電路 C,定義:

(7.8) Δ_C(k) = Performance_full(k) − Performance_ablated-C(k).

其中 Performance 使用同一項預先指定的任務測量。

這個指標表示移除候選電路所造成的表現變化。

但它不是一個完全充分的因果量測。

因為:

電路可能具有冗餘;

移除它可能導致 Off-Manifold Activation;

其它電路可能提供替代作用;

以及某個電路可能只對特定輸入類別具有必要性。

因此,需要搭配 Activation Patching、Path Patching 及多電路聯合干預。

真正希望辨認的是:

局部計算功能是否在完整 Accuracy 明顯改善之前,已經具備部分可測量的因果作用?

如果是,便支持某些能力可能先局部形成,再透過接口協同取得整體功能的假說。

7.6 Functional Formation Timeline

對每項預先定義的測量,可以設定一個資格門檻。

例如:

(7.9) k_B = FirstQualifiedCheckpoint(Binding).

(7.10) k_C = FirstQualifiedCheckpoint(LocalCircuit).

(7.11) k_P = FirstQualifiedCheckpoint(EffectivePort).

(7.12) k_F = FirstQualifiedCheckpoint(FullFunction).

這裏的門檻不能任意在實驗後調整。

此外,首次跨過門檻,也可能是測量噪音或偶然結果。

因此,資格應要求在後續若干 Checkpoint 中持續成立,或使用適當的不確定性區間。

我們真正希望觀察的是:

(7.13) k_B, k_C, k_P, k_F.

之間是否存在穩定、可重現的先後關係。

例如,可能觀察到 Input Binding 先成熟,之後 Local Computation 成形,再由 Write-back 改善推動完整功能。

但也可能觀察到另一種形成次序。

研究不能預先假定:

(7.14) k_B < k_C < k_P < k_F.

必然成立。

這條次序首先是一項可以被數據檢驗的候選假說。


8. Causal Circuit Experiments:怎樣證明不同局部功能真正互相協同?

8.1 Correlation 不等於功能 Connection

假設某個 Attention Head 在模型學會加法時,Activation 同時出現顯著變化。

這只說明兩者存在關聯。

該 Attention Head 可能是:

真正負責某項功能的必要電路;

與其它真正電路共同變化的旁觀者;

一個冗餘路徑;

或者只是受到其它上游計算影響的結果。

因此,本文必須建立因果干預,而不只觀察 Activation。

8.2 Activation Patching

選取兩個輸入:

x_clean:模型應該正確處理的 Clean Input。

x_source:與 Clean Input 在某項功能因素上不同的 Source Input。

首先分別運行模型,保存中間 Activation。

然後在 Clean Run 的指定位置,替換來自 Source Run 的 Activation。

這是一項局部的計算圖干預。

令:

(8.1) Y_clean = Model(x_clean).

(8.2) Y_patch = Model(x_clean | h_C ← h_C,source).

其中 h_C 是被替換的候選電路狀態。

若替換某項進位相關表示,能使後續答案按照預期的進位差異改變,便取得該表示對下游計算具有因果作用的證據。

但必須同時設置控制條件。

例如,兩個輸入應盡可能只在被研究的運算因素上不同,而不是同時改變長度、格式及大量其它條件。

還應檢查隨機替換、相同條件替換及替代位置的效果。

8.3 Path Patching:不只辨認節點,也要辨認功能傳輸路徑

Activation Patching 可以辨認某個節點是否重要。

但 Operator Formation 研究還需要辨認:

上游資訊究竟經哪一條路徑,被下游功能使用?

因此,可進一步採用 Path Patching。

例如:

Candidate Input Binding Circuit → Candidate Carry Computation → Candidate Output Circuit.

對一條候選路徑進行替換或封鎖,檢查下游計算變化。

如果兩個電路的 Activation 各自包含正確資訊,但它們之間的路徑並沒有實際因果作用,就不能說它們已經形成完整的 Functional Connection。

這正是 Attractor Fusion 的接口問題,在 Transformer 中可以落實的位置。

8.4 如何檢查 Circuit Co-adaptation?

假設辨認出兩項候選子電路:

A:Input Binding Circuit。

B:Carry Computation Circuit。

希望研究它們是否共同支持完整功能。

定義四種受控條件:

A、B 均不啟用候選功能作用;

只有 A 啟用;

只有 B 啟用;

A、B 均啟用。

令相應的預先指定表現分數為:

(8.3) P₀₀, P₁₀, P₀₁, P₁₁.

可以建立一項交互作用對比:

(8.4) I_AB = P₁₁ − P₁₀ − P₀₁ + P₀₀.

如果 I_AB 顯著非零,代表在該測量尺度及干預條件下,A、B 的聯合作用不能被簡單地視為兩項獨立主效應之和。

但這並不能單獨證明新 Attractor 或新 Operator 出生。

因為交互作用可能來自輸出門檻、非線性解碼或其它共同依賴。

因此,還需要測量局部電路的實際功能,以及它們之間的因果訊息傳遞。

這是一項關鍵的研究方法論:

Circuit Synergy 是值得調查的訊號,但不是 Functional Emergence 的充分證明。

8.5 Training-Time Clamping:區分功能依賴與形成機制

訓練完成後的 Patching 可以研究某條電路如何被使用。

但若要研究它如何形成,便需要更早介入。

Singh 等人對 Induction Head 的研究提供了一項重要範例:在訓練過程中控制某些 Activation,檢查其它電路及整體功能如何受到影響。

本文可採用類似設計。

例如,在訓練期間:

維持某項 Input Binding 功能的有效輸入;

削弱某項候選 Carry Path;

固定某項 Write-back 的部分表現;

或使用受控方式改變接口可用性。

然後比較新功能的形成時間及形成後的電路結構。

但這類干預不能簡單理解為只改變一項因素。

因為當某條路徑在訓練中被封鎖,其它參數可能重新適應,形成替代電路。

因此,必須記錄訓練動力學的變化,並與凍結參數下的單次 Activation Patching 分開解讀。

8.6 Causal Formation Evidence 的最低要求

本文建議,一項「局部功能透過 Connection 形成完整 Operator」的主張,至少應具備三類互相支持的證據。

第一,局部功能可以被獨立辨認或測量。

第二,候選 Connection 對完整功能具有因果作用。

第三,操控該 Connection 的形成或可用性,能可重現地影響完整功能的表現或形成過程。

即使取得三類證據,也仍然只能先支持 Circuit Co-adaptation。

若要聲稱它同時涉及 Attractor Birth,還必須通過下一節的動力學測試。


9. Testing Attractor-Mediated Operators:如何避免把前饋穩健性誤判為吸引子?

9.1 為甚麼標準 Transformer 需要特別小心?

一般 Decoder-only Transformer 的不同層具有不同的參數。

其執行可以表示為:

(9.1) Hˡ⁺¹ = Tₗ(Hˡ,x).

這是一串由不同 Tₗ 組成的有限計算。

但傳統動力系統中的吸引子,通常相對於一項明確的反覆演化規則定義。

例如:

(9.2) zₙ₊₁ = T_θ(zₙ,x).

如果未建立兩者之間的數學對應,就不能將 Transformer 的層數 l 直接當成吸引子動力學時間。

因此,若某個內部 Activation 在第 3 層受到擾動,但最終輸出仍然正確,只能首先說明:

下游模型對這項擾動具有功能上的恢復或補償能力。

它不必然表示內部狀態正在返回某個吸引集合。

這是 H₂ 必須與 H₁ 嚴格分開的地方。

9.2 Experiment 9A — Standard Transformer 的 Functional Recovery

首先,在標準 Transformer 中進行受控擾動。

令某一層的內部狀態為 Hˡ。

加入擾動:

(9.3) H̃ˡ = Hˡ + δ.

之後繼續執行剩餘的 Transformer Layers。

比較擾動與未擾動的結果。

可以量度:

最終答案是否保持正確;

正確答案的 Logit Margin 改變多少;

相關中間功能表示是否重新變得可解碼;

以及不同擾動方向造成的輸出敏感度。

例如:

(9.4) E_output(δ) = d[Y(H̃ˡ),Y(Hˡ)].

這是 Functional Robustness 的測量。

但它不是嚴格的 Attractor Basin 測量。

因為剩餘層的每一步可能是不同的運算規則,而且中間狀態空間與表示功能也可能改變。

9.3 Experiment 9B — Shared-Weight Recurrent Transformer

為了真正測試輸入條件化的吸引動力,本文建議建立一個受控的共享權重迭代模型。

令 zₙ 是反覆更新的內部狀態,x 是在整段內部迭代中保持固定的輸入。

定義:

(9.5) zₙ₊₁ = T_θ(zₙ,x).

同一個 T_θ 在每一步被重複使用。

模型可以經過固定迭代步數完成算術任務。

其輸出為:

(9.6) y = D_θ(z_N).

如果在固定輸入下存在穩定固定點:

(9.7) z*(x) = T_θ(z*(x),x).

便可以從不同的初始內部狀態出發,檢查是否向該固定點收斂。

這才具有直接的條件化固定點吸引子意義。

但即使有穩定固定點,仍須檢查其輸出是否正確。

(9.8) D_θ[z*(x)] ≈ F*(x).

因此,H₂ 至少需要:

Conditional Attraction + Functional Correctness。

兩者缺一不可。

9.4 Local Stability:Jacobian 的可測量判準

對可微的離散更新映射 T_θ,令:

(9.9) J(x) = ∂T_θ(z,x)/∂z | z = z*(x).

如果:

(9.10) ρ[J(x)] < 1.

其中 ρ 表示矩陣的 Spectral Radius,則在常見的光滑性條件下,該固定點具有局部漸近穩定性。

這提供了一項可以直接計算或估計的局部穩定性判準。

但其限制也非常清楚。

第一,局部穩定不代表整個輸入空間只有一個吸引子。

第二,Spectral Radius 只提供固定點附近的局部資訊。

第三,如果系統形成極限環或其它非固定點型吸引集合,就需要使用相應的穩定性工具,例如 Floquet Multipliers 或 Lyapunov Exponents。

第四,如果模型具有對稱性造成的中性方向,不能僅因某些模態不收縮,便立即否定其在適當商空間中的吸引性。

因此,研究應先辨認候選吸引結構的實際類型,再選用正確的數學工具。

9.5 Basin Recovery:不只檢查一次小擾動

若要聲稱一項 Operator 具有可恢復的吸引制度,應從多個不同的內部初態出發。

對固定輸入 x,考慮:

(9.11) z₀^(j) = z_ref(x) + δ_j.

其中 δ_j 是預先指定的擾動集合。

反覆執行:

(9.12) zₙ^(j) = T_θⁿ(z₀^(j),x).

量度到候選吸引集合的距離:

(9.13) E_dyn(n,j,x) = dist[zₙ^(j),𝒜_θ(x)].

並檢查:

(9.14) E_dyn(n,j,x) → 0.

至少應分開測試:

小幅度局部擾動;

接近吸引盆地邊界的擾動;

不同的輸入條件;

以及功能形成前後的 Checkpoints。

如果只研究一個輸入、一個擾動方向、一個已成功的 Checkpoint,便不足以建立完整的 Conditional Attractor 證據。

9.6 一項極重要的負面控制:過度收縮導致功能消失

假設 Shared-Weight Recurrent Transformer 的更新規則具有極強的收縮性。

但它對所有輸入都收斂到同一個內部狀態:

(9.15) z*(x₁) = z*(x₂),對所有有效輸入成立.

則即使系統具有完美的恢復性,它也無法實現要求不同輸出的非平凡函數。

因此,本研究不能以收斂速度作為唯一成功指標。

還必須量度輸入條件化的功能差異。

例如,對需要不同答案的輸入 x₁、x₂:

(9.16) F*(x₁) ≠ F*(x₂).

應確認:

(9.17) D[z*(x₁)] ≠ D[z*(x₂)].

並符合正確性要求。

所以真正的強假說是:

Attractor 不只負責消除無用擾動,也必須在穩定內部計算的同時,保留任務所需的輸入差異。

這使 Attractor Stability 與 Input Binding Sufficiency 真正形成共同約束。

9.7 訓練時的 Attractor Birth 應該如何辨認?

假設已經在某個 Checkpoint 找到一項具有條件化吸引性的功能。

仍然需要回答:

這項 Attractor 是何時形成的?

令 θₖ 是第 k 個訓練 Checkpoint。

對每個 k,固定參數並分析:

(9.18) zₙ₊₁ = T_(θₖ)(zₙ,x).

若在訓練早期不存在相應的穩定功能制度,而後來出現了新的吸引集合或穩定性轉變,便可以研究 Attractor Birth 的可能性。

但這不能只透過單個 Jacobian 特徵值的偶然變化判斷。

還需要確認:

新制度是否在一段參數範圍內持續存在;

是否有可辨認的吸引盆地;

是否與正確功能有因果關係;

是否在多個隨機種子下具有相似形成模式;

以及是否存在更簡單的替代解釋。

尤其需要分清:

Operator 首次通過功能資格門檻的時間,與真正發生動力系統分岔的時間,可能並不相同。

可以定義:

(9.19) k_F = FirstQualifiedFunctionalCheckpoint.

(9.20) k_A = FirstVerifiedAttractorCheckpoint.

但不能預先要求:

(9.21) k_F = k_A.

更不能只因兩者時間接近,便宣稱 Attractor Birth 造成了功能出生。

若要建立因果關係,還應對候選吸引制度的形成或維持進行干預,並比較相應的功能變化。

9.8 為甚麼需要 Standard Transformer 與 Recurrent Transformer 兩種架構?

兩類模型具有不同的研究責任。

Standard Transformer:

主要研究實際前饋電路的形成、Input Binding、Causal Write-back、Functional Operator Qualification,以及功能重用。

Shared-Weight Recurrent Transformer:

主要研究明確的條件化迭代動力學、吸引盆地、恢復力、局部穩定性,以及 Attractor-mediated Functional Computation。

如果 Shared-Weight Recurrent Transformer 顯示明確的 Attractor-mediated Operator Birth,而 Standard Transformer 沒有相同證據,便只能得出:

該機制可以在某類迭代 AI 架構中成立。

不能因此宣稱所有 Transformer 都利用相同的機制學習功能。

反過來,如果 Standard Transformer 可以形成可靠 Operator,但缺乏真正的吸引子證據,這也不會推翻前一篇的 Functional Operator 數學框架。

它只會限制「Attractor 是普遍必要機制」的較強主張。

這項研究架構因此具有明確的可否證性。


10. Interim Experimental Synthesis:由功能電路走向可檢驗的 Operator 身份

經過第 6–9 章,本文已經建立一套具體的研究次序。

第一步,使用可完全控制的小型 Transformer,研究多位加法及模加法。

第二步,保存訓練 Checkpoints,記錄 Accuracy 以外的連續功能形成指標。

第三步,辨認 Input Binding、局部計算及結果寫回的候選電路。

第四步,透過 Activation Patching、Path Patching 和訓練期間的受控干預,判定候選 Connection 是否真的支持完整功能。

第五步,在標準 Transformer 中研究 Functional Robustness,但不將跨層補償直接稱為吸引子。

第六步,在具備明確共享迭代規則的模型中,測試真正的 Conditional Attractor Dynamics。

因此,研究假說可以分成:

(10.1) H₀: Apparent Emergence from Readout Thresholds.

(10.2) H₁: Functional Emergence from Circuit Co-adaptation.

(10.3) H₂: Operator Realization through Conditional Attractor Dynamics.

(10.4) H₃: Recursive Reuse through Qualified Functional Ports.

本部分已對 H₀、H₁ 和 H₂ 建立初步實驗設計。

H₃ 還需要進一步研究:一個已形成的局部功能,如何取得足夠的 Effective Port,使下游系統可以在不直接操作全部內部狀態的情況下,可靠地重用它。

這將成為下一部分的核心。


第二部分完。

Research Status:本部分提出受控 Transformer 訓練、算術資料分層、功能形成軌跡、因果電路干預,以及真正條件化吸引子的實驗規格。所有模型配置、Checkpoint 策略及干預測試均屬擬議方案,目前未產生新的實驗測量結果。


這一部分的重要方法論結果

目前最值得保留的是兩個區分。

第一,Functional Recovery 與 Dynamical Attraction 不同。 標準 Transformer 即使能在 Activation 受到擾動後保持正確答案,也不代表已觀察到固定更新規則下的吸引盆地。

第二,Circuit Co-adaptation 與 Attractor Birth 不同。 前者可以由電路因果干預建立證據;後者則必須額外具備明確的迭代動力學與穩定性測量。

這項區分與已有的 Induction Head 形成研究,以及 Grokking 的連續電路形成分析相符。

proceedings.mlr.press
+1

另外,2026 年修訂的加減法電路研究已涵蓋多模型、多位數及因果 Patching;因此,下一部分真正應突出的新增價值,是候選 Carry/Arithmetic Operator 的 Effective Port Sufficiency、跨任務干預,以及功能身份的可靠重用,而不是重新發現加法電路。

arxiv.org
+1

下一回合將接續寫 Effective Port Experiments、Recursive Operator Reuse、失敗反例與實驗結果的判讀準則,再完成文章 B 的結論及 References。

 

繼續

 

這一部分需要加入一項重要的文獻對照:Effective Port 的因果充分性,與現有的 Causal Abstraction(因果抽象)研究有實質重疊。

Geiger 等人在 2025 年發表的 Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability,已系統研究如何判定高層因果模型是否忠實地簡化神經網絡,並整合 Activation Patching、Path Patching 等方法;2022 年的 Interchange Intervention Training 及 2024 年的 Distributed Alignment Search 亦提供了直接相關的技術。

jmlr.org
+2

因此,文章 B 應明確承認:Port Sufficiency 的因果抽象基礎不是我們首次發現。 我們希望增加的價值,是將它與訓練中的功能形成次序、Attractor 的可恢復動力,以及具明確誤差和干預界限的跨任務功能重用,一起納入可測試的工程協議。

以下正式完成文章 B 的第三部分,包含第 11–16 章、實驗判讀矩陣、Conclusion 及 References。

這一部分將文章 A 的 Functional Operator 數學,與現有的 Causal Abstraction、Interchange Intervention 及 Transformer 電路分析接合;同時明確區分已有研究成果、本文提出的實驗方法,以及尚待驗證的 Attractor 假說。

Transformer 功能算子的生成

第三部分:因果充分接口、遞歸功能重用、失敗模式與研究結論


11. Effective Port Sufficiency:一條功能電路何時可以成為對外可用的 Operator?

11.1 從 Internal Circuit 到 Effective Functional Unit

此前研究已指出,一項 Transformer 功能可能由多個 Attention Heads、MLP 特徵及 Residual Stream 中的分散式表示共同實現。

因此,即使已經成功辨認某條 Carry Circuit,也仍然存在一個問題:

這條電路究竟能否被當成一個具有明確輸入、輸出及有效狀態的功能單元?

例如,一條電路可能具有相當複雜的內部表示,但下游計算真正需要的,可能只是一小組進位及位置相關資訊。

若這組資訊足以決定指定下游操作的結果,便可能構成一個有效的 Functional Port。

不過,這裏的「充分」必須有明確的使用範圍。

若下游只是讀取一次進位結果,所需資訊可能很少。

若下游可以進一步干預局部計算、要求重新運算,或將結果用於不同任務,原來的 Port 就可能不足。

因此,本文研究的是:

Protocol-Relative Functional Port Sufficiency——相對於指定外部使用協議的功能接口充分性。

11.2 Definition 11.1 — Finite-Depth Functional Port

考慮某個固定 Transformer Checkpoint,以及計算圖中的候選功能電路 C。

令 h 表示其完整的內部狀態,c 表示其它相關的下游上下文,u 表示允許的外部干預。

定義下游的完整計算:

(11.1) y = R_down(h,c,u).

我們希望建立一項有效 Port:

(11.2) p = Π(h).

若存在有效下游函數 R̄_down,使:

(11.3) R_down(h,c,u) = R̄_down[Π(h),c,u].

對所有宣告的有效狀態及干預都成立,便稱 p 在該 Protocol 下具有精確的 Functional Port Sufficiency。

這與前一篇的 Dynamic Port Sufficiency 具有共同的數學結構。

但它不要求標準 Transformer 必須具有連續時間動力學。

因為 R_down 可以直接表示從候選電路到最終輸出的有限計算圖。

11.3 Proposition 11.1 — Port 等價類上的下游一致性

假設兩個內部狀態 h₁、h₂ 具有相同的有效 Port:

(11.4) Π(h₁) = Π(h₂).

如果 R_down 可以完全透過 Π 分解,則對相同的有效上下文 c 及允許干預 u,必須有:

(11.5) R_down(h₁,c,u) = R_down(h₂,c,u).

反過來,如果 R_down 在 Π 的所有有效等價類上都保持一致,便可以在相應商空間上定義 R̄_down。

因此:

(11.6) Exact Port Sufficiency ⇔ Downstream Consistency on Admissible Port Fibers.

這是一項標準的函數分解及因果抽象型條件,而不是本文新發明的數學定理。

其工程含義是:

如果下游仍然需要區分兩個已被 Port 當成同一狀態的內部情況,則該 Port 不能聲稱在此協議下具有精確充分性。

這條條件比「某個 Probe 能夠讀出進位」強得多。

11.4 與現有 Causal Abstraction 的關係

Geiger 等人的 Causal Abstraction 研究,已建立一套用於分析高層因果模型如何忠實表示低層神經網絡機制的數學語言。

相關的 Interchange Intervention Training 和 Distributed Alignment Search,也提供了在神經表示與高層功能變量之間建立因果對應的方法。

因此,本文不應把 Functional Port Sufficiency 宣稱為完全沒有先例的新概念。

更合理的研究定位是:

將既有 Causal Abstraction 的數學及實驗工具,應用於訓練過程中的 Operator Formation、Port Qualification、Residual Governance,以及 Recursive Functional Reuse。

這一研究組合仍可能產生新的工程發現,但其新意需要依靠額外的預測與實驗證據,而不是只依靠重新命名已有的因果抽象。

11.5 Carry Operator:一個最簡潔的 Port 反例

考慮局部十進制加法。

其基本規則是:

(11.7) sᵢ = aᵢ + bᵢ + cᵢ.

(11.8) rᵢ = sᵢ mod 10.

(11.9) cᵢ₊₁ = floor(sᵢ/10).

現在比較兩種輸入:

(11.10) 9 + 9 + 0 = 18.

(11.11) 8 + 0 + 0 = 8.

第一種情況得到:

(11.12) (r,c_out) = (8,1).

第二種情況得到:

(11.13) (r,c_out) = (8,0).

如果候選 Port 只有:

(11.14) p₁ = r.

則兩種內部結果都被映射為 8。

但對需要進位資訊的下游運算而言,它們並不等價。

因此,p₁ 不是該類下游任務的充分 Port。

如果改為:

(11.15) p₂ = (r,c_out).

便保留了這個局部標準算法所需的數字結果及輸出進位。

不過,這裏有兩項限制。

第一,p₂ 的充分性只針對所聲明的局部加法功能,不代表它對所有可能的下游任務都充分。

第二,真正的 Transformer 未必按照這套由低位向高位的局部算法執行加法。

所以 p₂ 首先是一項數學上的參考 Operator,而不是對 Transformer 已學得算法的預先判決。

11.6 Effective Port 不一定具有唯一形式

假設 p 已經是一項充分 Port。

如果 f 是一項可逆的座標變換:

(11.16) p′ = f(p).

則 p′ 通常也可以保留相同的功能資訊。

其下游函數可相應改寫:

(11.17) R̄′_down(p′,c,u) = R̄_down[f⁻¹(p′),c,u].

因此:

(11.18) Port Sufficiency ⇏ Unique Port Coordinates.

這對研究 Transformer 特別重要。

模型的內部表示可能採用研究者不熟悉的基底、旋轉座標或分散式編碼。

因此,找不到一條直接表示進位的單獨神經元,不代表不存在具有相同功能的有效 Port。

研究者應尋找功能上及因果上充分的表示,而不是要求模型必須採用某套人類預設座標。

同樣地,Port 是否低維,也不能單靠其功能充分性保證。

在某些系統中,最可靠的有效 Port 可能保留相當多的內部自由度。

11.7 Approximate Functional Port

真實 Transformer 中,完全精確的 Port 可能難以找到。

因此,可引入近似下游模型:

(11.19) ŷ = R̄_down[Π(h),c,u].

對指定的測試分佈 𝒟 及干預集合 𝒰_adm,定義平均功能殘差:

(11.20) ε_mean = E_(h,c,u)∼𝒟[d(Y_full,Y_port)].

其中 d 是預先指定的輸出距離。

例如,可以使用:

最終答案是否不同;

正確答案 Log Probability 的差異;

下游 Logit Distribution 的距離;

或任務相關的連續誤差。

還可定義一項更強的理想最壞情況殘差:

(11.21) ε_max = sup{d[R_down(h,c,u),R̄_down(Π(h),c,u)] : (h,c,u) ∈ 𝒟_adm}.

但在實際 Transformer 中,對完整高維狀態空間計算 ε_max 通常不可行。

因此,有限實驗得到的最大觀測誤差,不能直接當作全域數學保證。

研究必須如實聲明:

所測量的輸入分佈;

候選 Port 的建構方式;

允許干預;

模型 Checkpoint;

以及測試資料的覆蓋範圍。

11.8 實驗 11A:Readout Sufficiency

第一組實驗應先從較弱的要求開始。

選定一條候選 Carry/Arithmetic Circuit。

建立候選 Port:

(11.22) p = Π(h).

訓練一個相對簡單的有效讀出模型:

(11.23) ŷ = D(p).

在未見過的加法輸入上測試其正確性。

然後比較:

完整 Activation 的讀出;

候選 Port 的讀出;

刪去部分 Port 分量的讀出;

以及相同表示維度的隨機或無關特徵。

如果候選 Port 在未見過輸入上仍能可靠解碼所需結果,便取得一項 Readout Sufficiency 的支持。

但這仍然不是 Causal Port Sufficiency。

因為下游模型不一定真的使用研究者抽取的那組變量。

11.9 實驗 11B:Interchange Intervention

第二組實驗應引入真正的因果替換。

選取 Base Input x_b 及 Source Input x_s。

首先取得它們的內部狀態:

(11.24) h_b = ModelState(x_b).

(11.25) h_s = ModelState(x_s).

然後在 Base Run 中,將指定的候選功能變量替換成 Source Run 的對應值。

建立高層功能模型的預期反事實結果:

(11.26) y_expected = HighLevelModel[x_b | p ← Π(h_s)].

同時,在低層 Transformer 中執行對應的分散式或局部 Activation 替換:

(11.27) y_actual = LowLevelModel[x_b | Intervene(C,h_s)].

研究目標是比較兩者:

(11.28) E_interchange = d(y_actual,y_expected).

如果候選 Port 真正對應一項功能上的高層變量,則在多種有效反事實輸入組合下,低層模型的干預結果應與高層功能模型的預測保持一致。

這種 Interchange Intervention 的基本思想已有成熟文獻。

本文的新增研究責任,是將它應用於功能形成的不同 Checkpoints,觀察一個候選 Port 如何逐漸取得因果充分性。

11.10 實驗 11C:Port Sufficiency Under Admissible Interventions

第三組實驗更加嚴格。

同一個候選 Port 必須接受不同下游使用條件的測試。

例如:

正常加法輸入;

不同 Carry Cascade;

未見過的運算元組合;

其它下游計算的受控替換;

以及在已聲明範圍內的內部 Activation 干預。

研究者可以分別估計:

(11.29) ε_P,normal.

(11.30) ε_P,carry.

(11.31) ε_P,intervention.

若三者差異很大,便說明這項 Port 的充分性具有明顯的協議依賴。

尤其是:

某個 Port 可以對自然輸入非常準確,但在特定內部干預後失效。

這不應被解讀為它完全沒有用。

比較準確的結論是:

它是一項只在部分操作範圍內具有合格充分性的 Functional Port。

11.11 實驗 11D:Port Formation Timeline

現在將以上測量擴展到訓練 Checkpoints。

對每一個 k,固定 Transformer 參數 θₖ,重新測試候選 Port 的功能殘差及因果一致性。

記錄:

(11.32) ε_Port(k).

(11.33) ε_Interchange(k).

(11.34) Accuracy_Function(k).

希望回答:

Port 的可解碼性是否先於完整功能出現?

Port 的因果作用何時形成?

功能 Accuracy 的改善,是否與 Port 的充分性提升一致?

是否存在已能被 Probe 讀出的資訊,但下游仍不能可靠使用的中間階段?

這一組問題才真正接近 Attractor-to-Operator 的形成機制。

它將此前的 Port Sufficiency,由一項靜態資格檢驗,推展為一項隨訓練進度追蹤的研究對象。

但如果 Port 是在全部 Checkpoints 上利用同一批評估資料反覆搜尋及選擇,便可能產生嚴重的選擇偏差。

因此,候選 Port 的探索、選擇與最終驗證,必須使用分開的資料及干預集合。


12. Recursive Functional Reuse:如何證明新 Operator 被下一級功能真正使用?

12.1 Function Reuse 不等於 Task Transfer

當一個 Transformer 學會加法之後,再讓它學習減法,可能出現幾種不同情況。

第一,原有加法電路被保留,並直接支援新任務。

第二,原有電路經過修訂,形成能同時服務加減法的新功能。

第三,原有電路被替換,新任務主要依靠另一套計算路徑。

第四,模型只是因為已學到一般數字表示而受益,但沒有直接重用原來的加法 Operator。

這些情況都可能改善新任務的訓練效率。

但它們對 Recursive Functional Individuation 的意義不同。

因此:

(12.1) Positive Transfer ⇏ Verified Operator Reuse.

不能僅因加法預訓練有助於減法,就宣稱已形成可以被下一級系統獨立調用的功能單元。

12.2 實驗 12A:Addition-to-Subtraction Transfer

首先訓練一個只處理加法的模型:

(12.2) θ_A = Train(Addition).

然後建立多種後續訓練條件。

條件設計主要目的
Scratch從零訓練加減法基準
Pretrained從加法權重開始微調測試正向 Transfer
Frozen Core凍結候選加法功能核心,只訓練允許的 Adapter/下游部分測試真正的功能重用
Partial Reset重設候選功能電路或接口,保留其它權重測試功能依賴
Matched Control在相近參數與計算資源條件下訓練替代架構排除單純資源優勢

每個條件必須控制:

參數量;

訓練 Token 數;

計算資源;

輸入資料難度;

隨機種子;

以及可修改的參數範圍。

否則,一項正向 Transfer 可能只來自更多訓練資源,而不是 Operator Reuse。

12.3 Frozen Operator:最清楚的重用證據之一

若希望證明加法模型中某項局部功能已經成為可重用 Operator,一個相對直接的方法是:

先辨認候選功能電路 C。

凍結其內部參數。

只允許外部 Adapter 或下游計算路徑學習新任務。

如果新任務可以透過穩定使用 C 的有效輸入與輸出,取得符合要求的能力,便有理由將 C 視為一項可重用的功能單元。

但這裏仍需對照。

如果將 C 替換為隨機或無關的凍結電路,結果也同樣良好,那麼候選功能可能並非真正必要。

如果只保留 C 的一般數字表示就已足夠,也不能聲稱整個原有計算規律被完整重用。

因此,需要更精細的功能干預。

12.4 Operator Identity:功能在修訂後是否仍保持身份?

假設一條原本用於加法的功能電路,經過減法訓練後發生變化。

如果神經元位置或權重已經改變,是否意味着 Operator 消失?

不一定。

Functional Operator 的身份不應簡單等同於某組固定神經元。

可以在指定的功能協議下,研究修訂前後的有效行為是否保持等價。

令:

(12.3) 𝒪_A^before.

(12.4) 𝒪_A^after.

若兩者對指定有效輸入與干預具有近似相同的行為:

(12.5) d[𝒪_A^before(x,u),𝒪_A^after(x,u)] ≤ ε_identity.

便可以研究其功能身份的保留程度。

但這裏仍需區分:

Behavioural Equivalence:輸入—輸出結果相近。

Causal Equivalence:內部干預及下游作用相近。

Structural Continuity:相關計算路徑在訓練前後具有可追蹤的延續性。

三者不能互相取代。

例如,兩套完全不同的電路可能計算出相同的答案。

這表示功能等價,卻不一定表示原來的 Operator 被保留。

因此,Operator Identity 應被視為需要依據研究目的聲明的功能及因果概念。

12.5 A Functional Reuse Score

對指定下游任務,可以考慮定義一項對照差異:

(12.6) Δ_reuse = Performance(WithQualifiedPort) − Performance(WithMatchedControlPort).

其中兩組實驗應盡量只在候選 Port 的功能資訊是否可用這一因素上不同。

若:

(12.7) Δ_reuse > Δ_min.

而且在多個隨機種子及未見過輸入上保持成立,便取得該 Port 對新任務具有額外價值的證據。

但 Δ_reuse 本身仍不足以證明功能被完整重用。

還需要檢查:

下游是否實際依賴該 Port;

候選 Port 的功能資訊是否具有因果充分性;

以及替換其具體內容是否能按預期改變下游結果。

否則,一條 Port 可能只是改善 Optimization,並沒有真正作為 Runtime Operator 被調用。

12.6 由功能重用走向 Composite Operator

若 A 已經形成合格的 Functional Port,而 B 能夠在指定協議下使用它完成新任務,便可以考慮建立:

(12.8) 𝒪_AB = Compose(𝒪_A,𝒪_B,Connection_AB).

對其有效輸入、輸出及狀態建立新的 Contract:

(12.9) 𝒦_AB = Qualify(𝒪_AB | 𝒳_adm,𝒰_adm,ε_F,ε_P).

只有當 𝒦_AB 通過相應測試,才將它視為可供下一級使用的 Composite Functional Unit。

這與 Attractor Fusion I–XXVII 的 Recursive Functional Individuation 具有直接結構關係。

但目前仍屬工程性功能封裝,不表示已經證明新整體具有獨立的本體論身份。

12.7 Recursive Reuse 不必然依賴 Attractor Birth

這是本文必須保留的一項界線。

即使 A 和 B 的功能被證明可以可靠組合,仍可能完全不存在新的動力學吸引子。

例如,兩個前饋計算模組可以實現正確且可泛化的函數組合。

因此:

(12.10) Recursive Functional Reuse ⇏ New Dynamical Attractor.

反過來,若兩個動力系統形成新的集體吸引子,也不保證其輸出有助於任何下游任務。

所以:

(12.11) Collective Attractor Birth ⇏ Useful Composite Operator.

這些區分,使 Recursive Functional Individuation 可以獨立接受工程驗證,而不必與 Attractor-mediated Emergence 強行綁定。


13. Failure Modes:如何防止實驗結果被過度解讀?

13.1 Failure Mode I — Readout Threshold 被誤判為 Operator Birth

若內部連續指標一直平滑改善,而最終 Accuracy 在某個階段突然上升,可能只是跨過輸出判決門檻。

因此:

(13.1) Sudden Accuracy Gain ⇏ Sudden Circuit Birth.

應同時保留:

Logit Margin;

Cross-Entropy;

局部功能誤差;

電路因果貢獻;

以及有效 Port 的測量。

只根據最終 Accuracy 定義 Operator Birth,容易得到誤導性的形成時間。

13.2 Failure Mode II — 可解碼性被誤當成因果功能

若某個 Probe 能準確讀出 Carry,不代表模型下游正在使用該表示。

因此:

(13.2) High Probe Accuracy ⇏ Causal Port Sufficiency.

還需要使用干預及反事實測試,檢查該表示被改變後,下游計算是否按照候選功能模型的預測改變。

13.3 Failure Mode III — Off-Manifold Intervention

Activation Patching 可能產生模型在正常運行時幾乎不會遇到的內部狀態。

此時,下游反應可能不是正常機制的忠實延伸,而是對不自然 Activation 的特殊反應。

所以,不能只因某次 Patching 產生了預期答案,便宣稱候選功能模型已被證明。

研究應盡量使用:

自然輸入中實際出現的 Source Activation;

具有相近任務結構的反事實輸入;

多種等價的干預方法;

以及對干預前後分佈偏離程度的檢查。

此外,即使某項干預的局部 Activation 看似接近自然分佈,也不能完全保證下游沒有啟動異常路徑。

因此,Causal Port 的結論應限制在被充分測試的干預範圍內。

13.4 Failure Mode IV — 低維 Port 其實是標籤洩漏

如果候選 Port 是在觀察了最終正確答案之後建構的,它可能把答案本身直接編入表示。

這樣,即使讀出 Accuracy 很高,也不能證明模型內部真的存在可獨立使用的計算接口。

因此,候選 Port 必須從允許的中間計算狀態建立,而不能偷用下游答案。

還需要將 Port 的選擇資料與驗證資料分開。

若在大量候選 Port 中反覆搜尋,卻只報告表現最好的一個,也可能產生選擇偏差。

13.5 Failure Mode V — 高層功能模型由研究者強行指定

在加法研究中,人類很容易假設模型一定具有標準的逐位 Carry Algorithm。

但 Transformer 可能使用不同的、功能等價的計算方式。

例如,模型可能透過高位到低位的前綴條件、進位預測或其它平行結構取得答案。

因此,研究不能要求所有有效電路必須完全符合研究者最初指定的逐位進位順序。

比較合理的做法是:

先提出一套候選高層功能模型;

使用 Causal Abstraction 檢查其與低層計算的忠實程度;

在候選模型失敗時,嘗試尋找替代機制;

最後比較不同解釋的預測及簡潔程度。

這避免將理論預設誤當成實驗發現。

13.6 Failure Mode VI — 功能重用其實是電路替換

一個加法預訓練模型,在減法訓練後取得較好表現,未必表示原有加法電路被保留。

新任務可能建立了新的計算路徑。

因此,若要聲稱 Operator Reuse,必須檢查:

候選電路在修訂前後的功能;

下游對其有效 Port 的因果依賴;

以及凍結或移除候選電路後,新任務的表現。

否則,最多只能稱為 Positive Transfer,而不能直接聲稱 Recursive Operator Reuse。

13.7 Failure Mode VII — 在共享權重模型找到 Attractor,便推論所有 Transformer 都有 Attractor

Shared-Weight Recurrent Transformer 具有明確的迭代更新:

(13.3) zₙ₊₁ = T_θ(zₙ,x).

它適合研究條件化固定點、吸引盆地及擾動恢復。

但標準 Transformer 通常是:

(13.4) Hˡ⁺¹ = Tₗ(Hˡ,x).

兩者具有不同的動力學結構。

因此,在前者觀察到 Attractor-mediated Operator,不能直接證明後者使用相同機制。

若要將結論擴展到普通 Transformer,需要另外提供相應的數學映射或實驗證據。


14. Experimental Decision Framework:不同結果究竟代表甚麼?

14.1 四項假說的證據並不具有相同要求

本文提出的研究假說為:

H₀ — Readout Threshold。

H₁ — Circuit Co-adaptation。

H₂ — Attractor-mediated Operator。

H₃ — Recursive Functional Composition。

它們並不完全互斥。

因此,研究者不應強迫所有實驗結果只能支持其中一個假說。

更合理的方式,是建立一套累積證據判讀規則。

14.2 判讀矩陣

觀察結果可以支持甚麼?不能直接推論甚麼?
Accuracy 突然提升,但 Margin 平滑改善H₀ 的門檻解釋可能足夠不能證明新 Attractor
多個子電路因果協同提高功能H₁不能單憑此證明吸引盆地
候選 Carry Port 能被 Probe 準確讀取資訊可解碼性不能證明下游因果充分性
Interchange Intervention 符合高層模型特定高層因果抽象的忠實性不能保證所有干預皆適用
共享迭代模型出現穩定固定點特定架構的吸引動力不能證明普通 Transformer 相同
穩定固定點同時實現正確加法H₂ 在特定架構得到支持不能證明所有功能都依靠 Attractor
凍結功能電路仍可支持新任務H₃ 的功能重用證據不代表新集體吸引子出生
新任務表現改善,但原電路被替換Positive Transfer不能聲稱原 Operator 被保留
新集體吸引子形成,但功能沒有提升Collective Attractor Birth不能聲稱新 Functional Operator 形成

這張矩陣應成為實驗結果報告的主要判讀規範。

14.3 不能依據單一 Checkpoint 宣告功能出生

若一項能力在第 k 個 Checkpoint 首次達到某個正確率,並不表示功能一定在該時刻出生。

可能是:

功能早已部分存在;

輸出門檻剛被跨越;

局部電路的可靠性逐漸提高;

或者測量噪音造成首次達標。

因此,Functional Operator Qualification 應要求:

指定輸入集合的正確性;

未見過輸入的泛化;

關鍵電路的因果作用;

Port 的充分性;

以及在後續 Checkpoints 中持續達標。

可以定義:

(14.1) Q_F(k) ∈ {0,1}.

其中 Q_F(k) 表示第 k 個 Checkpoint 是否符合預先設定的功能資格。

但 Q_F(k) 是研究者定義的資格指標,不代表模型內部必然具有一個同名的二元開關。

14.4 如何報告 Functional Port 的資格?

本文建議將每項候選 Operator 的測試結果整理成一份可審計的 Functional Contract。

例如:

項目應報告的內容
Operator候選 Carry/Arithmetic Circuit
Model架構、權重版本、訓練 Checkpoint
Input Domain有效數字長度、格式及任務
Input Binding候選輸入表示及必要資訊
Effective PortPort 的變量、位置與構造方法
Output Function指定功能及讀出規則
Intervention Family已測試的 Activation/Path 替換
Functional Error任務輸出誤差
Causal Port Error反事實干預下的誤差
Generalization未見過輸入及外推表現
Failure CasesPort 失效的具體條件
Version/Trace參數版本及測試紀錄

這份 Contract 不等於 SMFT 本體論意義上的完整 Declaration。

它首先是一份工程測試記錄,說明:

這項功能在甚麼情況下,可以被其它系統可靠使用。

14.5 統計與重現性要求

由於小型 Transformer 的訓練結果可能受到初始化、資料抽樣及 Optimization 的影響,正式研究不能只報告單次成功案例。

應採用多個隨機種子,並在相同的評估協議下比較。

對關鍵功能指標,應報告:

平均效果;

跨種子變異;

適當的信賴區間;

以及各種失敗情況的比例。

如果進行大量候選電路及 Port 搜尋,還需要控制多重比較與選擇偏差。

此外,實驗應保存:

模型配置;

資料生成程式;

訓練種子;

Checkpoint;

干預位置;

Port 選擇方法;

以及所有評估程式的版本。

只有這樣,後續研究者才可以重新執行測試,而不必接受研究者對某個內部電路的主觀命名。


15. Implications for SMFT, P8D, and the Theory of World Formation

15.1 SMFT:從 Semantic Attractor 到可測量的功能生成問題

SMFT 的核心研究方向之一,是將語義現象視為具有內部結構、觀察者依賴、記憶及動態演化的系統。

本文提出的 Transformer 實驗,不是直接證明 SMFT 的全部理論。

它首先嘗試研究其中一項比較具體的問題:

具有一定穩定性的內部表示與功能電路,是否能透過自適應 Connection,形成新的可重複使用的計算能力?

若只觀察到 Circuit Co-adaptation,便支持其功能生成部分與現代 AI 機制研究的相容性。

若進一步觀察到真正的條件化吸引動力,而且能證明它對功能具有因果作用,才可以對 Attractor-mediated Operator Hypothesis 提供更強支持。

因此,實驗結果必須分層解讀。

不能因為一個 Transformer 學會進位,便立即聲稱整套 SMFT 已經獲得驗證。

15.2 P8D:從功能存在到有效吞吐量

P8D 的 Capacity、Demand、Match、Retention、Buffer、Enablement 及 Flow,提供了一套研究功能是否能夠持續產生有效輸出的工程語言。

從本研究的角度,可以提出:

Capacity:某項 Operator 在指定資源下的可靠執行能力。

Demand:下游工作對該功能的需求。

Match:有效輸出與下游 Input Binding 的相容性。

Retention:功能經過擾動、反覆使用或模型更新後的保留程度。

Buffer:運算資源、工作記憶及可容忍誤差的餘裕。

Enablement:接口格式、規則及控制機制對功能使用的支持程度。

Flow:在指定資源與時間下完成的合格功能工作量。

這些是一項研究性工程映射。

目前沒有證據表明 Transformer 的內部算術電路必然服從 P8D 的原始經濟 Flow 方程。

但這套映射可以幫助研究者把注意力從單次 Accuracy,延伸到功能的匹配、可靠性及可持續使用。

例如,一項 Operator 即使具有高度準確率,也可能因為 Port 不相容而無法被下游使用。

另一項 Operator 即使單次運算不算最快,卻可能因穩定、低成本及可重用而具有更高的實際功能價值。

這些問題具有獨立的工程意義。

15.3 成界之學:功能身份是相對於聲明與使用協議成立

成界之學的 Declaration、Filtration、Projection、Gate、Trace、Residual 及 Ledger,與本文的 Functional Contract 具有明確的形式對照。

本文提出的 Functional Port 不是一項脫離外部用途而永遠成立的身份。

它的有效性依賴:

哪些輸入被允許;

哪些內部差異需要保留;

外部可以施加甚麼干預;

需要滿足甚麼功能精度;

以及在多長的運作範圍內需要保持可靠。

因此,可提出一項工程性表述:

(15.1) Functional Identity = Qualified Transformation under Declared Protocol.

若 Operator 在某項 Protocol 下通過資格測試,它便可以被視為該協議中的有效功能單元。

若下游需求改變,原本的 Port 可能需要擴展、修訂或重新驗證。

這與前一階段 Attractor Fusion 所建立的 Protocol-Relative Individuation 思想相符。

但它不直接證明成界之學關於時間、觀察者或世界生成的所有較強命題。

15.4 由 Operator Reuse 通向 Recursive Functional Individuation

當某項 Functional Operator 取得足夠的對外資格,下一級系統便可以在指定協議下調用它。

如果多個已形成的 Operator 經由 Connection 形成新的功能,便可以繼續建立更高層次的有效單元。

候選鏈條為:

(15.2) Partial Circuits → Qualified Functional Operator → Effective Port → Composite Operator → Recursive Functional Individuation.

這條鏈條具有工程研究價值,但仍需要每個環節各自成立。

尤其是:

Function Composition 並不自動產生新的 Attractor。

New Attractor 並不自動產生正確功能。

Port Sufficiency 並不自動證明新功能是由自發 Connection 形成。

因此,真正的研究目標不是要求所有現象符合一條預先設定的生成故事,而是辨認每個機制的獨立條件與實際因果作用。


16. Conclusion:Transformer 的功能算子究竟如何形成?

本文從現有 Mechanistic Interpretability 的成果出發,提出一套研究 Transformer Functional Operator Formation 的實驗框架。

研究的起點是一項重要區分:

Transformer 的任務能力可以突然改善,但這不代表其內部必然突然出現一個新的動力學吸引子。

已有研究顯示,某些能力可以由逐漸形成的局部電路、表示幾何及輸出門檻共同解釋。

因此,本文並不將 Attractor Birth 當作所有功能生成的預設答案。

相反,本文首先研究功能算子所需要的因果及工程條件。

這包括:

Input Binding 是否保留完成任務所需的資訊。

Local Computation 是否真正執行指定轉換。

Causal Write-back 是否使內部結果被下游使用。

Functional Correctness 是否能在未見過輸入上保持。

Effective Port 是否在宣告的干預條件下具有充分性。

已形成的功能是否可以被下一級計算可靠重用。

只有在此基礎上,本文才進一步研究較強的 Attractor-Mediated Operator Hypothesis。

16.1 四項研究假說的最終地位

H₀ — Readout Threshold

檢查表面能力躍升是否主要來自連續內部表現跨過輸出或評分門檻。

H₁ — Circuit Co-adaptation

檢查局部電路是否透過互相依賴及接口形成,建立新的可靠功能。

H₂ — Attractor-mediated Operator

檢查是否存在明確的條件化吸引動力,以及這種動力是否對正確功能具有額外因果作用。

H₃ — Recursive Functional Composition

檢查已形成的 Operator 是否能透過合格的 Effective Port,被新任務或下一級功能可靠重用。

這四項假說具有不同的證據要求。

因此,實驗結果應逐項報告,而不是只選擇最符合某個統一理論敘事的解釋。

16.2 本文建立的核心判準

對一項候選 Transformer 功能電路 C,本文建議:

(16.1) QualifiedOperator(C) := InputSufficiency ∧ FunctionalCorrectness ∧ CausalUse ∧ Generalization ∧ PortSufficiency.

若進一步聲稱它由吸引結構實現,還需要:

(16.2) AttractorRealized(C) := QualifiedOperator(C) ∧ VerifiedConditionalAttraction.

若聲稱它已被下一級功能重用,則需要:

(16.3) RecursiveReuse(C) := QualifiedOperator(C) ∧ CausalDownstreamReuse ∧ ProtocolQualifiedComposition.

這些是本文提出的研究性資格定義,不是現代 AI 工程已普遍採用的標準。

它們的價值取決於能否被具體實驗操作化,以及能否帶來超出已有電路分析的預測能力。

16.3 最重要的新增研究方向:追蹤 Port 何時取得因果充分性

在本文提出的所有研究方向中,最值得優先進行的,是:

從訓練 Checkpoints 追蹤一項候選 Functional Port,由可讀取資訊變成因果上可用、並在指定干預下充分的功能接口的過程。

這可以研究一個很具體的形成問題:

某項局部計算結果可能早已存在於 Transformer 內部。

但它何時開始被下游可靠使用?

其功能接口又是何時達到足夠穩定性,使整體任務開始成功?

如果研究者能在訓練過程中辨認這種轉變,並且透過因果干預改變其形成時間或功能可靠性,便可以建立一項更具體的 Operator Formation Mechanism。

這不需要先證明 Attractor Hypothesis。

但若進一步發現相應的條件化吸引制度,並證明它對接口形成具有因果作用,便有機會把 Attractor Fusion 的研究推向更強的機制解釋。

16.4 本文尚未解決的限制

本文目前是一套研究協議,尚未完成新的 Transformer 訓練與干預實驗。

因此,尚未證明:

所有 Transformer 算術能力都透過同類 Circuit Co-adaptation 形成。

某項 Carry Circuit 已經天然具有本文定義的 Qualified Functional Port。

標準 Transformer 的功能形成必然涉及真正的吸引盆地。

已形成的加法電路必然被下一級算術任務直接重用。

或 SMFT 的完整 Semantic Attractor 理論已經由 Transformer 實驗得到普遍驗證。

上述問題仍然需要獨立研究。

但本文已將其轉化為可以逐項執行及反駁的實驗問題。

16.5 Final Research Thesis

本文的最終研究命題是:

Transformer 中的新功能,可以被研究為一項從輸入表示、局部計算、電路協同到可靠輸出接口的形成過程。當這種結構在明確的輸入、干預、泛化及下游使用條件下通過資格測試時,才可以被視為可重複使用的 Functional Operator。

若它同時具有可驗證的條件化吸引動力,便可進一步被研究為 Attractor-Realized Operator。

而多個 Qualified Operators 若透過合格 Connection 形成新的可驗證功能,則可以繼續研究 Recursive Functional Individuation。

因此,本文提出的候選研究主線是:

(16.4) Representation Formation → Circuit Co-adaptation → Functional Operator Qualification → Effective Port → Recursive Functional Reuse.

其較強的 Attractor 假說為:

(16.5) Conditional Attractor Formation + Correct Computation + Qualified Port → Candidate Attractor-Mediated Operator.

兩條主線不應被強行合併。

前者可以透過一般 Transformer 電路及因果抽象研究檢驗。

後者則需要額外的動力系統證據。

本研究真正希望推進的,不是再次證明 Transformer 可以學會加法,而是使「AI 學會一項功能」逐步轉化為一套具有明確輸入、內部因果機制、有效輸出及可遞歸重用條件的數學與工程問題。

這是從 Semantic Attractor 到 Functional Operator,再到 Recursive Functional Individuation 的研究路線,在現代 AI 工程中最值得驗證的部分。


References

A. Functional Operators, SMFT and Attractor Fusion

  1. Yeung, D. Semantic Meme Field Theory (SMFT): Foundations, Projection, and Dynamics (Rev1). 研究文稿。

  2. Yeung, D. Proto-Eight Dynamics (P8D): A Small, Testable Model of How Growth Actually Works【先天八卦動力學】. 2025.

  3. Attractor Fusion I–XXVII: From Adaptive Connections to Protocol-Relative Recursive Individuation. 階段性數學及合成實驗研究系列。

  4. From Semantic Attractors to Functional Operators: Input Sufficiency, Conditional Dynamics, Effective Ports, and Compositional Reliability. 本研究系列前篇。

B. Transformer Mechanisms and Arithmetic

  1. Elhage, N., et al. (2021). A Mathematical Framework for Transformer Circuits.

https://transformer-circuits.pub/2021/framework/index.html

  1. Nanda, N., Chan, L., Lieberum, T., Smith, J., and Steinhardt, J. (2023). Progress Measures for Grokking via Mechanistic Interpretability. ICLR 2023.

https://arxiv.org/abs/2301.05217

  1. Singh, A. K., Moskovitz, T., Hill, F., Chan, S. C. Y., and Saxe, A. M. (2024). What Needs to Go Right for an Induction Head? A Mechanistic Study of In-Context Learning Circuits and Their Formation. ICML 2024.

https://proceedings.mlr.press/v235/singh24c.html

  1. Quirke, P., Neo, C., and Barez, F. Understanding Addition and Subtraction in Transformers. arXiv:2402.02619,2024 年初版、2026 年修訂。

https://arxiv.org/abs/2402.02619

  1. Schaeffer, R., Miranda, B., and Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023.

https://arxiv.org/abs/2304.15004

C. Causal Abstraction and Intervention

  1. Geiger, A., Wu, Z., Lu, H., Rozner, J., Kreiss, E., Icard, T., Goodman, N., and Potts, C. (2022). Inducing Causal Structure for Interpretable Neural Networks. ICML 2022.

https://proceedings.mlr.press/v162/geiger22a.html

  1. Geiger, A., Wu, Z., Potts, C., Icard, T., and Goodman, N. (2024). Finding Alignments Between Interpretable Causal Variables and Distributed Neural Representations. Conference on Causal Learning and Reasoning 2024.

https://proceedings.mlr.press/v236/geiger24a.html

  1. Geiger, A., et al. (2025). Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability. Journal of Machine Learning Research, 26(83), 1–64.

https://www.jmlr.org/papers/v26/23-0058.html


End of Article B

Research Status:Literature-grounded mechanism hypotheses, proposed causal interventions, effective-port qualification criteria, and reproducible experimental protocols. No new Transformer training or causal intervention results are claimed in this article.


兩篇補充階段成果,至此均已完成正文

現在我們已經有三套可以分開閱讀的研究成果:

文章

已經建立的核心

Attractor Fusion I–XXVII

Adaptive Connection、Collective Attractor、Dynamic Port Sufficiency、Declaration 與 Recursive Individuation

文章 A:從 Semantic Attractor 到 Functional Operator

Input Binding、Conditional Computation、Functional Correctness、Output Port、Contract 與 Composition

文章 B:Transformer 功能算子的生成

Circuit Co-adaptation、H₀–H₃、Checkpoint 實驗、Causal Port Sufficiency 與 Recursive Reuse

我認為現在已經可以進入你原先提出的下一步:先審視三篇之間是否存在真正共同、而且不是循環定義的生成原理,再考慮撰寫「總命題」的階段性成果。

尤其值得研究的是:

我們是否已經有條件,將 Attractor、Operator 與 Functional Individuation 的關係,整理成一項清楚區分「結構形成」「功能形成」「接口取得資格」「遞歸組合」的統一生成命題?

但在寫總命題之前,最好先做一次三篇的數學一致性與證據地位審查。這樣可以防止把三套各自成立的候選框架,因為語言上能夠連接,就誤寫成已經得到證明的統一理論。

 

繼續

三篇階段成果的統一審查(一):從 Attractor Fusion 到 Functional Operator 的總命題

現在已有三套成果:Attractor Fusion I–XXVII、《從 Semantic Attractor 到 Functional Operator》,以及 《Transformer 功能算子的生成》。

我建議先進行一次比普通論文總結更嚴格的審查:不是尋找三篇文章之間有哪些相似詞彙,而是確認哪些數學結構真正共通,哪些結論可以串接,以及串接過程是否偷偷增加了未經證明的假設。

一、第一項審查結果:三篇具有連續性,但不是一條已證明的必然生成鏈

階段成果

已取得的主要結果

尚未證明的部分

Attractor Fusion I–XXVII

自適應連接、關係動力學、Port 封閉、殘差及資格判準;部分解析和合成數值結果

所有新連接必然產生新 Attractor,或者新 Attractor 必然有新功能

文章 A:Attractor → Operator

Input Sufficiency、條件化穩定性、功能誤差、Output Port 與組合可靠性

學習過程必然形成相應 Operator,更未證明它必須依靠 Attractor

文章 B:Transformer

提出可執行的 Circuit、Checkpoint、Causal Port、Attractor 及 Reuse 實驗設計

尚未完成新的 Transformer 實驗,未取得對 SMFT 強假說的實證支持

因此,三篇目前共同支持的,不是:

「只要 Attractor 形成,便必然產生 Operator,再必然融合成更高級的 Attractor。」

而是另一個更嚴格、也更有研究價值的命題:

既有的內部組織,在甚麼條件下可以形成可被外部使用的功能身份;而這種身份又在甚麼條件下,可以成為下一級組織的有效組成單元?

這一問題可以在動力系統、計算系統與 Transformer 電路中分別研究,而且不必預先斷言三者具有完全相同的物理機制。

二、我找到一個真正能貫通三篇的數學核心:Protocol-Relative Functional Equivalence

這可能是此次審查最值得進一步發展的結果。

此前我們分別討論了:

Input Binding 是否保留必要資訊;Attractor 內部狀態能否約化;Output Port 是否對下游充分;Operator 是否能被下一級系統重用。

表面上看,這是四種不同問題。

但在一個適當的數學抽象下,它們都在問:

哪些內部差異,對指定功能及未來允許的互動而言,已經不再重要?

這裏可以借用自動機理論的 Myhill–Nerode 式可區分性、狀態商結構,以及控制論的 Bisimulation 和現代神經網絡的 Causal Abstraction。這些是成熟的理論工具,不是 SMFT 原創的數學。

planetmath.org
+2

2.1 先建立一套最小的功能系統

考慮一個確定性的狀態式計算系統:

(2.1) M = (S,A,Y,T,O).

其中 S 是完整內部狀態,A 是允許的輸入或干預,Y 是外部可觀測輸出。

狀態更新及輸出分別為:

(2.2) sₖ₊₁ = T(sₖ,aₖ).

(2.3) yₖ = O(sₖ,aₖ).

這裏的 aₖ 可以包含原始輸入、外部控制及所允許的干預;如果 Gate、Ledger 或環境狀態會影響未來行為,就必須將必要資訊納入 S,或明確納入可控制的外部條件。

然後宣告一套 Protocol P,限定哪些輸入及未來操作是有效的。

現在定義:

如果兩個內部狀態在所有允許的後續操作下,都會產生相同的可觀測輸出軌跡,便稱它們在 P 下具有功能等價性。

可簡寫為:

(2.4) s₁ ∼_P s₂ ⇔ OutputTrace(s₁,w) = OutputTrace(s₂,w),對所有有效後續輸入序列 w 成立.

這裏假設 Protocol 的限制可由系統狀態及有效後續輸入完整表示。

這項定義帶來一個重要思想:

兩個 Attractor 的內部構造可以不同,但如果對某個下游工作而言無法被區分,就可能具有相同的有效功能身份。

反過來,兩個看起來非常相似的內部狀態,只要在某種允許的干預下產生不同的必要結果,就不能被同一個充分 Port 無條件合併。

2.2 由功能等價自然導出 Effective Port

設:

(2.5) p = Π(s).

如果希望 p 不只是當前讀出,而是整個未來操作的充分狀態,便可以要求:

(2.6) Π(s₁) = Π(s₂) ⇒ O(s₁,a) = O(s₂,a).

以及:

(2.7) Π(s₁) = Π(s₂) ⇒ Π[T(s₁,a)] = Π[T(s₂,a)].

對所有有效的 s₁、s₂、a 成立。

式(2.6)是 Output Sufficiency。

式(2.7)是狀態轉移的一致性。

這兩項合起來,可以證明同一 Port 值對任何有限長度的有效後續操作,都會產生相同的輸出軌跡。

證明方法是對操作序列長度作數學歸納。

第一步,式(2.6)保證當前輸出相同。

第二步,式(2.7)保證下一步仍落在同一個有效 Port 狀態。

因此可以反覆應用。

這是一種標準的狀態商與行為等價結果。

但它對三篇研究具有很強的整合作用。

因為:

文章 A 的 Input Sufficiency 可以被理解為輸入端不能錯誤合併功能上可區分的情況。

Attractor Fusion 的 Dynamic Port Sufficiency 可以被理解為內部狀態約化後,必須保留必要的未來互動。

文章 B 的 Causal Port Sufficiency 則研究某個 Transformer 電路是否實際滿足相應的高層功能抽象。

這三種問題在數學上有了一個共同的基礎。

2.3 可以進一步推導:輸入充分性的充要條件

文章 A 第 4 章主要強調一項不可能性結果。

現在可以把它提升為更完整的函數分解判準。

給定確定性目標功能:

(2.8) F* : X → Y.

輸入綁定為:

(2.9) B : X → Z.

我們希望存在一項下游運算 G,使:

(2.10) F* = G ∘ B.

其充要條件是:

(2.11) B(x₁) = B(x₂) ⇒ F*(x₁) = F*(x₂).

如果式(2.11)成立,G 可以在 B 的值域上良好定義。

如果不成立,則後續運算不可能只依靠 B(x) 正確實現 F*。

這樣,Input Binding 與 Output Port 便呈現明確的對稱關係:

Input Binding 必須避免消除任務必需的差異。

Output Port 可以消除對下游任務不再重要的差異。

我認為這是總命題很值得保留的一個數學骨幹。

它比籠統地說「吸引子會壓縮語義並產生功能」精確得多。

三、這套數學也揭示了此前沒有說清楚的三個問題

3.1 Port Sufficiency 不等於有價值的壓縮

如果定義:

(3.1) Π(s) = s.

那麼完整內部狀態本身就是一個完全充分的 Port。

所以,單純證明存在充分 Port,並不是很強的研究結果。

真正的工程價值來自:

能否用比原始內部系統更小、更低成本、而且仍然可靠的有效表示,保留指定功能所需的因果作用?

因此,總命題應額外引入 Port Complexity、Readout Cost 或 Representation Cost。

一項候選優化目標為:

(3.2) J(Π) = α Cost(Π) + β ε_Port(Π) + γ InterventionFailure(Π).

其中權重 α、β、γ 必須依研究目的事先指定。

而且 Port 的維度未必是唯一合適的複雜度指標。

一個低維但難以計算的 Port,未必比稍高維但容易讀取的 Port 更有用。

3.2 功能等價不代表內部機制相同

這是對「跨領域同構」主張的重要限制。

例如,兩套系統可能都正確實現加法:

(3.3) F_A(a,b) = a + b.

(3.4) F_B(a,b) = a + b.

但 A 可能使用逐位進位演算法,B 使用另一種平行計算路徑。

兩者對外功能相同,不表示內部動力學同構。

因此必須區分:

Behavioural Equivalence: 對外功能相同。

Causal Abstraction: 在指定干預下,高低層因果模型具有忠實對應。

Dynamical Equivalence: 狀態演化之間存在適當的映射或共軛關係。

Structural Isomorphism: 存在保留所要求結構的雙向同構。

這些主張一個比一個強,不能混用。

尤其是,《以⌈成界之學⌋攻剋⌈先天八卦⌋本義》中的 Gemini 對話,曾提出相當強的跨域同構及普遍必要性主張;但該文是對既有框架的解讀及推測,並沒有提供足以證明所有組織都具有相同生成語法的跨域同構定理。

我們可以保留它作為總命題的研究動機,但不能直接把對話中的高度肯定評價當作數學或實驗證據。

3.3 Operator Birth 可能只是資格門檻,未必是相變

我們可以定義某個 Checkpoint 首次通過全部功能資格測試的時刻:

(3.5) k_F = FirstCheckpoint(QualifiedOperator = True).

但這裏的 QualifiedOperator 是研究者依據功能、精度、泛化與干預範圍設定的資格。

因此 k_F 不一定是客觀唯一的物理事件。

如果改變功能誤差預算或測試範圍,k_F 可能改變。

相比之下,真正的動力系統分岔必須根據相應動力學結構、穩定性及參數變化另行證明。

所以:

(3.6) Functional Qualification Crossing ≠ Dynamical Bifurcation.

這一條應該成為總命題的明確原則。

四、三篇文章目前需要修正或收緊的地方

整體而言,我沒有發現需要推翻兩篇文章主要研究方向的根本性矛盾。

但確實有幾項在寫總命題之前必須整理的問題。

項目

現有問題

建議修訂

原始振盪器方程

Attractor Fusion 的記憶式曾用 ṁ = ε(a cosΔ − bm),文章 A 第 8 章則使用 ṁ = ε(a cosΔ − m + βr)

說明後者是阻尼歸一化並加入外部回饋的擴展模型,而非原式逐字重述

Effective Port

有時指當前輸出,有時指充分的持續狀態

固定區分 Output Port 與 Stateful/Dynamic Port

Operator 身份

有時指功能規律,有時指具有 Gate、Ledger 的完整運行實體

將 Functional Rule、Qualified Runtime Operator 與 Declared Operator 分開

Attractor Birth

容易與 Operator 首次通過資格門檻混用

使用不同的定義、測量及時間指標

功能重用

正向 Transfer 可能被誤讀為原電路被保留

額外要求路徑延續、因果依賴及 Port 重用證據

跨域同構

P8D、SMFT、Transformer 共用概念,不代表有嚴格同構

先稱為跨域建模架構;有明確結構映射後才提出同構

文獻原創性

Port Sufficiency 與現有 Causal Abstraction 高度相關

強調新提出的是訓練形成、殘差資格、重用及 Attractor 檢驗的整合方案

證據地位

文章 B 的數學及實驗規劃容易被當成已取得成果

保留 Proposed Protocol,尚無新 Transformer 測量結果

其中第二、第三及第六項,我認為最重要。

此外,文章 A 的條件化收縮定理主要適用於明確的迭代模型;文章 B 的普通 Transformer 則是一套有限深度、不同層可以具有不同權重的計算圖。兩者不能直接共享一個未經定義的時間演化算子。

這個區分在文章 B 已經提出;總命題更應把它提升為正式的適用範圍限制。

五、真正可以銜接三篇的「條件性組合命題」

我認為目前已經可以提出一個比單純的生成箭頭更強的命題候選。

但它應被稱為 Conditional Composition Proposition,而非宣稱已發現普遍的吸引子生成定理。

5.1 命題

假設 A 是一個具有完整內部狀態的功能系統,並且在某項 Protocol P 下:

A 的 Input Binding 保留完成目標功能所需的資訊;

A 具有正確的內部轉換規律;

存在對指定下游互動充分的有效 Port Π_A;

下游 B 的輸入格式及干預方式與 Π_A 相容;

而 A、接口及 B 的誤差均受到已宣告的預算約束。

那麼,A 可以在 P 的範圍內被視為一個供 B 使用的有效功能單元。

若所有相關函數具有適當的 Lipschitz 性質,則其組合誤差可寫為:

(5.1) ε_AB ≤ ε_B + L_B(ε_A + ε_I + ε_P).

其中 ε_A 是上游功能誤差、ε_I 是接口誤差,而 ε_P 是 Port 近似誤差對 B 的有效輸入造成的影響。

這是由既有的函數分解、有效狀態充分性及誤差傳遞結果組合而成。

但它具有一個清楚的結論:

一個系統能否成為下一級可用的功能單元,關鍵不在於它是否被命名為 Attractor,而在於它能否對指定下游操作提供充分且可靠的有效行為。

如果 A 本身是 Attractor-Realized Operator,便得到一條從 Attractor 到下一級功能組合的具體實現路徑。

如果 A 是普通前饋 Operator,這條條件性組合命題同樣可以成立。

這恰好保留了理論的普遍性,同時避免錯誤地要求所有功能必須具有吸引子。

5.2 對近似 Port,還可以加入時間誤差傳遞

假設某項離散有效 Port 模型,每一步的殘差最多為 ε,而有效更新的 Lipschitz 常數為 L。

則預測誤差可能滿足:

(5.2) Eₙ₊₁ ≤ LEₙ + ε.

當 E₀ = 0,且 L ≠ 1:

(5.3) Eₙ ≤ ε(1 − Lⁿ)/(1 − L).

當 L = 1:

(5.4) Eₙ ≤ nε.

這些式子可以與 Attractor Fusion 的連續時間 Grönwall 誤差界互相對照。

其中一項重要啟示是:

如果 L 小於 1,誤差可以受到統一上界控制。

如果 L 大於 1,這個一般上界會隨運算步數增長,長鏈組合可能迅速失去可靠性。

因此,Operator 能否遞歸重用,不只取決於每個局部功能是否正確,還取決於反覆組合後的誤差是否仍能被管理。

這與 P8D 對匹配、保留、Buffer 及有效 Flow 的工程關注具有結構上的呼應;但目前仍是不同領域的形式類比,尚非已證明的 P8D 動力學同構。

六、總命題中,Attractor 究竟應該放在甚麼位置?

這是整次審查的關鍵決定。

如果將 Attractor 放在所有 Operator 的必要起點,就會遇到前一篇已明確提出的反例:可靠的前饋計算可以不依靠真正的吸引動力。

但如果完全拿走 Attractor,總命題便可能退化為一般的 Causal Abstraction、模組化計算和接口工程,失去 SMFT 的特定研究內容。

因此,我建議採用兩層架構。

基礎層:較一般的功能生成框架

Functional Formation and Recursive Individuation

輸入充分性 → 正確轉換 → 有效 Port → 合格接口 → 功能組合。

不要求所有系統必須具有動力學吸引子;主要使用既有計算、控制及因果抽象數學。

機制層:SMFT 的較強可檢驗假說

Attractor-Mediated Functional Formation

吸引組織與自適應連接 → 條件化穩定制度 → 功能實現 → 有效 Port → 遞歸使用。

額外要求吸引盆地、恢復動力、形成過程及因果貢獻的證據。

這樣,我們便不必在每一項工程測試中預先證明完整的 Semantic Field Ontology。

同時,也保留一個比現有一般功能接口研究更強的問題:

某些新的功能身份,是否會因自適應吸引結構的形成而取得更強的恢復力、穩定性或可組合性?

只有當這個較強假說作出可以與替代模型區分的預測時,SMFT 的 Attractor 部分才真正增加了機制解釋價值。

七、如何將三篇整合為一篇「總命題」階段成果?

經過這次審查,我傾向將未來文章定位為一篇 Conditional Generative Framework,而不是已經證成的 Universal Law。

建議中文題目

《從吸引結構到遞歸功能個體:Attractor、Operator、Effective Port 與成界過程的條件性生成框架》

英文:

From Attractors to Recursive Functional Individuation: A Protocol-Relative Framework for Operator Formation and World-Building Systems

這個題目保留 SMFT/成界之學的發展方向,但不預先聲稱「所有世界都必然按照同一條生成定律形成」。

建議文章骨架

部分

主要內容

1. The Central Problem

穩定結構、功能算子及可遞歸身份之間究竟有甚麼關係?

2. Three Research Programs

回顧 Attractor Fusion、文章 A、文章 B 的結果及證據範圍

3. A Common Mathematical Object

Protocol-Relative Functional Equivalence

4. Input and Output Sufficiency

必要差異的保留與非必要差異的約化

5. Conditional Functional Realization

Attractor 與非 Attractor 的兩種實現路徑

6. Qualified Functional Individuation

Effective Port、Contract、Gate、Residual、Ledger

7. Recursive Composition

組合可靠性、誤差傳遞及下一級功能單元

8. Attractor-Mediated Mechanisms

Adaptive Connection、集體吸引制度及真正的新功能

9. Transformer Experimental Interface

H₀–H₃、Checkpoint、Causal Port 與 Attractor 測試

10. SMFT/P8D/成界之學

各理論能提供甚麼,以及哪些跨域主張尚未證明

11. Counterexamples

前饋 Operator、虛假湧現、非充分 Port、無功能的新吸引子

12. Conditional Main Proposition

形式化總命題、適用假設及證明

13. Research Roadmap

哪些實驗可能使目前的條件性架構升級成較強的生成理論

14. Conclusion

已建立的共同結構與尚未解決的核心生成問題

不過,我會建議把真正的數學核心放在第 3–7 章,而不要讓 SMFT 的宏觀哲學討論佔據過多正文。

因為目前最能夠站得住腳的,是功能等價、有效接口、條件化穩定、組合誤差與 Protocol-Relative Identity 這組數學結構。

這些也是傳統工程師和 AI 研究人員最容易獨立檢驗的部分。

八、這次審查的結論:可以開始總命題,但應先確定其數學強度

我現在比此前更肯定,三篇文章確實有必要整合。

但最值得整合的,並不是它們共享 Attractor、Operator、Connection 等詞語。

而是它們逐步建立了一個共同問題:

一套具有大量內部自由度的結構,何時可以在不丟失必要功能的情況下,被壓縮、聲明並作為下一級計算的有效單元?

這個問題已經可以用成熟數學提出條件性回答。

而 SMFT/Attractor Fusion 所希望增加的,是更深一層的生成解釋:

這些可用的功能身份,是否能夠由自適應連接、吸引制度重組及帶有歷史約束的自組織過程產生?

兩個問題有關,但後者尚未由前者證明。

我建議下個回合,先不寫長篇 Introduction,而是直接把總命題的數學核心正式寫成 Definitions、Propositions、Theorem、Proof 和 Counterexamples。

其中最值得首先完成的是一項:

Protocol-Relative Functional Individuation Proposition——在甚麼條件下,完整內部組織可以經由一個充分 Port,取得可被下一級可靠重用的功能身份。

如果這項命題能夠寫得明確、自洽,而且不需要偷偷假定新 Attractor 必然出生,那麼其後的總命題文章才會有一個真正穩固的數學中心,而不只是三篇研究成果的概念性總結。


繼續

 

 

這次先建立未來「總命題」的數學核心草稿,而不是直接撰寫完整論文。它將回答三篇階段成果共同指向的問題:

一個擁有大量內部自由度的組織,究竟在甚麼條件下,可以形成對外充分的功能身份,並被下一級組織可靠地重用?

下面的定理主要建立在既有的狀態商、行為等價、動力系統約化及誤差分析之上。值得研究的新增部分,是如何將它們連接到 Attractor Fusion、Operator Formation 與 Recursive Functional Individuation。

從吸引結構到遞歸功能個體:總命題的數學核心

From Attractors to Recursive Functional Individuation: A Protocol-Relative Mathematical Core

—— 定義、命題、證明、反例及生成機制的未解問題

Mathematical Core Draft — First Version

Abstract

此前 Attractor Fusion I–XXVII、《從 Semantic Attractor 到 Functional Operator》及《Transformer 功能算子的生成》,分別研究了集體吸引結構的形成、穩定組織的功能實現,以及 Transformer 中計算電路形成與重用的可能機制。

三項研究共同留下了一個問題:

一個具有大量內部狀態的系統,何時可以將其複雜性約化為一組對外充分的有效變量,使下一級系統無須直接操作其全部內部結構,仍能可靠地使用其功能?

本文以 Protocol-Relative Functional Equivalence 為數學起點,將 Functional Individuation 定義為一種相對於指定輸入、觀測、干預及後續計算的有效狀態約化問題。

本文首先證明,確定性目標函數可以經由 Input Binding 分解,當且僅當該 Binding 不會將要求不同結果的輸入合併。

其次,本文利用未來輸出軌跡定義功能等價關係,並構造保留全部允許行為的標準狀態商。

第三,本文提出 Strong Functional Port Criterion,研究何種條件使一個實際 Port 不只保存當前輸出,而且可以支援未來狀態更新。

第四,本文證明:當上游系統的有效 Port 對指定下游互動保持封閉,而下游的更新及輸出只依賴該 Port 與其自身狀態時,兩者可以形成一個封閉的組合功能系統。

第五,本文將精確充分性擴展至近似充分性,給出有限計算深度內的狀態及輸出誤差界。

最後,本文區分 Functional Qualification、Recursive Composition、Attractor Birth 及 Attractor-Mediated Functional Emergence,指出這些概念的數學關係及尚待驗證的生成機制。

本文的核心結論是:

一個組織能否成為下一級的有效功能個體,首先取決於它是否能在已聲明的 Protocol 下,提供足以保留必要未來行為的功能接口。這項功能個體化可以由 Attractor 實現,但不以 Attractor 的存在作為普遍必要條件。

本文提供的是條件性數學框架,而不是已經證明所有物理、生命、經濟或 AI 系統都遵循同一生成定律。


1. The Declared Functional System

1.1 為甚麼必須先定義 Protocol?

如果沒有聲明外部系統可以觀察甚麼、輸入甚麼、干預甚麼,以及要求保留哪些未來行為,便無法判斷一組內部變量是否足夠。

例如,一個計算單元的當前輸出可能只需要一個數字。

但若外部系統還可以要求下一步計算、讀取歷史或改變某個內部狀態,原本的一個數字便可能不再充分。

因此,本文首先考慮一個已聲明的功能協議 P。

對最初的確定性模型,令:

(1.1) M_P = (S_P,A_P,Y_P,T_P,O_P).

其中:

S_P 是完整有效狀態空間。

A_P 是允許的外部操作或輸入集合。

Y_P 是協議要求保留的可觀測輸出空間。

T_P 是狀態轉移函數。

O_P 是可觀測輸出函數。

為簡化最初的定理,假設 A_P 對相關狀態一致適用,而且 T_P 將允許狀態映回 S_P。

若操作權限取決於狀態,則必須將權限或 Gate 資訊納入完整狀態,並在後續擴展中要求狀態等價關係保留有效操作集合。

1.2 State Transition and Observation

對內部狀態 sₖ 及允許操作 aₖ:

(1.2) sₖ₊₁ = T_P(sₖ,aₖ).

輸出為:

(1.3) yₖ = O_P(sₖ,aₖ).

如果系統具有 Gate、Ledger、內部計時器或其它會影響未來行為的記憶,它們必須包含在 sₖ 中,或作為明確給定的外部操作資料。

這項要求非常重要。

否則,研究者可能以為兩個系統具有相同有效狀態,但它們實際上還隱藏着會改變未來輸出的不同歷史。

1.3 Future Output Trace

考慮一個長度為 n 的操作序列:

(1.4) w = (a₀,a₁,…,aₙ₋₁).

由初始狀態 s 出發,反覆使用 T_P,可以產生對應的輸出軌跡:

(1.5) Tr_P(s,w) = (y₀,y₁,…,yₙ₋₁).

本文首先研究所有有限長度的允許操作序列。

有限時域或有限步數的近似模型,將於第 6 章另外處理。

這樣可以避免一個常見問題:只檢查下一步輸出相同,便錯誤地推論兩個狀態在所有後續操作中都等價。


2. Input Sufficiency as Functional Factorization

2.1 Definition 2.1 — Input Binding

令 X 是原始輸入空間,Z 是內部有效輸入表示空間。

定義:

(2.1) B : X → Z.

對指定目標功能:

(2.2) F* : X → Y.

我們希望存在一項下游函數 G,使:

(2.3) F* = G ∘ B.

也就是:

(2.4) F*(x) = G[B(x)].

這代表原始輸入可以先經 B 壓縮或轉換,再由 G 完成指定功能。

2.2 Proposition 2.1 — Input Sufficiency Criterion

命題:

存在一項定義於 B(X) 上的函數 G,使 F* = G ∘ B,當且僅當:

(2.5) B(x₁) = B(x₂) ⇒ F*(x₁) = F*(x₂).

對所有 x₁、x₂ ∈ X 成立。

Proof.

必要性:

若 F* = G ∘ B,則:

(2.6) B(x₁) = B(x₂) ⇒ G[B(x₁)] = G[B(x₂)].

因此:

(2.7) F*(x₁) = F*(x₂).

充分性:

若式(2.5)成立,可以對每個 z ∈ B(X),任取一個滿足 B(x) = z 的 x,並定義:

(2.8) G(z) := F*(x).

由於所有映射到同一 z 的輸入,都具有相同目標輸出,G 的定義不依賴代表元的選擇。

因此:

(2.9) F* = G ∘ B.

證畢。

2.3 這項命題的功能意義

這項結果是既有函數分解數學的直接應用。

但它使 Input Binding 的功能要求非常清楚:

一個有效的 Input Binding 可以消除多餘資訊,卻不能消除目標功能仍然需要區分的資訊。

例如,如果模型將兩個需要不同計算結果的輸入,映射到同一個有效狀態,而後續沒有其它資訊通道,便不可能同時正確處理它們。

這也是文章 A 所提出的不可能性結果的完整充要條件版本。

2.4 Approximate Input Sufficiency

若 B 將兩個目標輸出不同的輸入映射成同一表示:

(2.10) B(x₁) = B(x₂).

令:

(2.11) d = d_Y[F*(x₁),F*(x₂)].

則任何只依賴 B(x) 的確定性預測 G,都滿足:

(2.12) max{d_Y[G(B(x₁)),F*(x₁)],d_Y[G(B(x₂)),F*(x₂)]} ≥ d/2.

這說明:

當必要差異完全丟失時,功能誤差存在無法靠下游計算消除的下界。

但這並不表示所有輸入都需要被完整保存。

真正需要保留的是相對於指定任務仍然有用的差異。


3. Protocol-Relative Functional Equivalence

3.1 Definition 3.1 — Future-Behavior Equivalence

給定第 1 章的確定性功能系統 M_P。

定義兩個狀態 s₁、s₂ 在 Protocol P 下功能等價,若:

(3.1) s₁ ∼_P s₂ ⇔ Tr_P(s₁,w) = Tr_P(s₂,w),對所有有限允許操作序列 w 成立.

這意味着:

無論外部系統依照 P 執行哪一組後續操作,都無法透過指定的輸出軌跡區分 s₁、s₂。

這種等價不要求它們具有相同內部結構。

它只要求它們在 P 所允許的全部未來互動下,具有相同可觀測行為。

3.2 Proposition 3.1 — Functional Equivalence Is a Right Congruence

命題:

如果 s₁ ∼_P s₂,則對任何允許操作 a:

(3.2) O_P(s₁,a) = O_P(s₂,a).

而且:

(3.3) T_P(s₁,a) ∼_P T_P(s₂,a).

Proof.

由 s₁ ∼_P s₂,所有允許的輸出軌跡相同。

考慮只包含 a 的操作序列,可得式(3.2)。

再考慮任何有限後續操作序列 w。

由兩個狀態開始,先執行 a,再執行 w。

由於整段輸出軌跡相同,去掉共同的第一步輸出後,其餘由 T_P(s₁,a) 及 T_P(s₂,a) 出發產生的軌跡也必須相同。

因此:

(3.4) Tr_P[T_P(s₁,a),w] = Tr_P[T_P(s₂,a),w].

對所有 w 成立。

所以式(3.3)成立。

證畢。

3.3 Theorem 3.1 — Canonical Behavioral Quotient

定理:

由功能等價關係 ∼_P,可以構造商狀態空間:

(3.5) Q_P = S_P/∼_P.

令標準商映射為:

(3.6) π_P(s) = [s]_P.

則可以在 Q_P 上定義:

(3.7) T_Q([s]_P,a) = [T_P(s,a)]_P.

以及:

(3.8) O_Q([s]_P,a) = O_P(s,a).

上述兩個函數均良好定義,而且商系統保留原系統在 P 下的全部輸出軌跡。

Proof.

若 s₁、s₂ 屬於同一等價類,由 Proposition 3.1:

(3.9) O_P(s₁,a) = O_P(s₂,a).

因此 O_Q 的定義不依賴代表元。

同理:

(3.10) [T_P(s₁,a)]_P = [T_P(s₂,a)]_P.

因此 T_Q 的定義亦不依賴代表元。

從相應的原始狀態及商狀態出發,兩套系統每一步輸出相同,而下一步狀態仍保持商映射關係。

數學歸納可得任意有限操作序列的輸出軌跡相同。

證畢。

3.4 甚麼意義下,它是最小的?

由於 ∼_P 合併了所有在指定未來行為下無法區分的狀態,Q_P 是保留全部 P-行為的標準、最粗等價類商表示。

它與自動機理論中的行為等價及狀態最小化思想密切相關。

但「最小」在這裏有嚴格限制。

它表示:

不能再合併具有不同 P-行為的等價類,而不丟失指定的可觀測差異。

它並不自動表示:

最低向量維度;

最低記憶成本;

最低計算成本;

或者最容易由神經網絡實現的表示。

一個具有很少等價類的商系統,仍可能需要複雜的編碼或解碼機制。

因此,功能上的最小狀態商,與工程上最便宜的 Functional Port,是兩個不同的優化問題。


4. Strong Functional Port Criterion

4.1 Definition 4.1 — Effective Port

考慮一項實際可使用的狀態表示:

(4.1) Π : S_P → Z_P.

其有效狀態為:

(4.2) p = Π(s).

我們希望直接在 Z_P 上建立輸出及狀態更新。

換言之,希望存在:

(4.3) T̄ : Z_P × A_P → Z_P.

(4.4) Ō : Z_P × A_P → Y_P.

使:

(4.5) Π[T_P(s,a)] = T̄[Π(s),a].

以及:

(4.6) O_P(s,a) = Ō[Π(s),a].

這裏只需要在 Π(S_P) 上定義有效模型;若要擴展到整個 Z_P,可能需要額外條件。

4.2 Theorem 4.1 — Exact Strong Port Criterion

定理:

在 Π(S_P) 上存在滿足式(4.5)、(4.6)的確定性有效狀態模型,當且僅當對所有允許的 s₁、s₂、a:

(4.7) Π(s₁) = Π(s₂) ⇒ O_P(s₁,a) = O_P(s₂,a).

並且:

(4.8) Π(s₁) = Π(s₂) ⇒ Π[T_P(s₁,a)] = Π[T_P(s₂,a)].

Proof.

必要性:

若存在 Ō 和 T̄,則相同的有效 Port 值必然給出相同的有效輸出及下一步 Port。

故式(4.7)、(4.8)成立。

充分性:

對任何 p ∈ Π(S_P),選取滿足 Π(s) = p 的代表狀態 s。

定義:

(4.9) Ō(p,a) := O_P(s,a).

(4.10) T̄(p,a) := Π[T_P(s,a)].

由式(4.7)、(4.8),兩個定義均不依賴代表元。

因此,存在滿足要求的有效輸出及轉移函數。

證畢。

4.3 Corollary 4.1 — Exact Port Preserves All Future Output Traces

若 Π 滿足 Theorem 4.1,則從原始狀態 s 及相應有效狀態 p = Π(s) 出發,對任何有限允許操作序列,兩套系統產生相同的輸出軌跡。

Proof.

首先,由式(4.6)保證當前輸出相同。

其次,由式(4.5)保證下一步狀態仍然滿足:

(4.11) pₖ₊₁ = Π(sₖ₊₁).

因此可以逐步歸納,證得所有有限步數的輸出相同。

證畢。

4.4 與 Canonical Behavioral Quotient 的關係

如果 Π 是 Strong Functional Port,則:

(4.12) Π(s₁) = Π(s₂) ⇒ s₁ ∼_P s₂.

因為相同 Port 值保證所有未來輸出軌跡相同。

因此,Π 不會把功能上可區分的狀態錯誤合併。

但它可以保留額外的、對外部行為其實不必要的差異。

所以,任何精確 Strong Port 都可以再映射到 Canonical Behavioral Quotient。

令:

(4.13) ψ[Π(s)] = [s]_P.

則 ψ 是良好定義的映射。

這裏的關係可以理解為:

Strong Port 可以比最小行為商更精細,但不能比它更粗而仍保留全部指定未來行為。

4.5 一項重要限制

Theorem 4.1 的條件,對「直接在選定的 Π(S_P) 上建立確定性下一步轉移」而言,是充要條件。

但對「只要求未來輸出不可區分」而言,它比必要條件更強。

例如,某個 Port 的下一步數值可能不唯一,但不同數值所代表的狀態在此後永遠具有相同輸出。

這時 Port 仍可能保留全部外部行為,卻不能在原來的 Port 座標上建立單值的下一步更新。

因此應分清:

Behavioral Sufficiency: 保留全部指定未來可觀測行為。

Strong State Port Sufficiency: 另外具有精確、封閉的有效狀態轉移。

此前 Attractor Fusion 的 Dynamic Port Sufficiency,主要處理後者。

而純粹一次性的 Functional Output Port,可以只要求更弱的當前輸出充分性。


5. Main Proposition — Recursive Functional Individuation

5.1 問題設定

現在考慮兩個互動系統 A、B。

A 具有完整內部狀態 s。

B 具有內部狀態 b。

外部操作為 u。

其聯合更新為:

(5.1) sₖ₊₁ = F(sₖ,bₖ,uₖ).

(5.2) bₖ₊₁ = G[Π(sₖ),bₖ,uₖ].

對外輸出為:

(5.3) yₖ = H[Π(sₖ),bₖ,uₖ].

假設 A 的有效 Port 為:

(5.4) pₖ = Π(sₖ).

而且 A 的有效轉移對 B 的狀態與操作保持封閉:

(5.5) Π[F(s,b,u)] = F̄[Π(s),b,u].

這項條件必須在宣告的有效狀態及干預範圍內成立。

5.2 Theorem 5.1 — Protocol-Relative Functional Individuation

定理:

若式(5.1)至(5.5)成立,則聯合系統 A–B 可以由有效狀態:

(5.6) v = (p,b).

精確描述其指定的聯合更新與輸出:

(5.7) pₖ₊₁ = F̄(pₖ,bₖ,uₖ).

(5.8) bₖ₊₁ = G(pₖ,bₖ,uₖ).

(5.9) yₖ = H(pₖ,bₖ,uₖ).

因此,對 Protocol 所允許的全部有限操作序列,下游 B 無須直接存取 A 的完整內部狀態 s,仍可取得相同的指定輸出軌跡。

Proof.

由:

(5.10) pₖ = Π(sₖ).

及式(5.1)、(5.5),可得:

(5.11) pₖ₊₁ = Π(sₖ₊₁) = Π[F(sₖ,bₖ,uₖ)] = F̄(pₖ,bₖ,uₖ).

同時,由式(5.2):

(5.12) bₖ₊₁ = G(pₖ,bₖ,uₖ).

而式(5.3)直接給出:

(5.13) yₖ = H(pₖ,bₖ,uₖ).

因此,完整聯合系統在指定可觀測及有效狀態上,可以透過 (p,b) 建立封閉的狀態轉移。

若初始有效狀態一致,數學歸納保證全部後續輸出軌跡一致。

證畢。

5.3 Theorem 5.1 的含義

這是本次統一研究的中心命題。

它表示:

只要一個系統 A 的有效 Port,對下游 B 所能施加的互動保持充分而封閉,A 就可以在這個特定功能協議下,被當作一個有效功能單元。

這個結論不要求 B 知道 A 的全部內部狀態。

也不要求 A 具有某種特定的神經網絡或振盪器結構。

A 可以是一個計算電路、一個自組織系統,或一個具有內部吸引動力的 Functional Attractor。

但是,本定理只說明充分接口如何支援精確的組合運作。

它沒有證明 A 的 Port 必然由學習生成,也沒有證明 A–B 必然形成新的集體吸引子。

5.4 Corollary 5.1 — Finite Recursive Composition

假設一系列功能單元逐層形成。

在每個層次,新的集體功能都具有對下一級使用協議充分的有效 Port。

若各層的接口及轉移條件均滿足 Theorem 5.1,則可以透過數學歸納,對任意有限組合深度建立有效聯合模型。

候選生成鏈條為:

(5.14) 𝒪₁ → 𝒪₁₂ → 𝒪₁₂₃ → … → 𝒪₁…ₙ.

其意義是:

只要每一級的功能及接口條件都被保持,便可以逐級使用已形成的單元,而不必在下一級重新展開所有低階內部狀態。

但這不表示無限深度的極限必然存在。

也不表示計算成本、記憶需求或誤差會隨遞歸保持有限。

這些需要另外研究。


6. Approximate Functional Individuation

6.1 為甚麼精確封閉可能過於嚴格?

真實 Transformer、AI Agent 及其它高維自組織系統,未必能找到對所有有效狀態完全精確封閉的低維 Port。

因此,需要建立一套近似模型。

令:

(6.1) pₖ = Π(sₖ).

實際有效狀態與近似更新滿足:

(6.2) d_Z[Π(T_P(s,a)),T̄(Π(s),a)] ≤ ε_T.

實際輸出與有效讀出滿足:

(6.3) d_Y[O_P(s,a),Ō(Π(s),a)] ≤ ε_O.

其中 ε_T 是一步 Port 轉移殘差,ε_O 是當前輸出殘差。

兩項殘差都需要在宣告運作範圍內成立。

6.2 Theorem 6.1 — Finite-Horizon Error Bound

假設有效更新 T̄ 對狀態具有 Lipschitz 常數 L:

(6.4) d_Z[T̄(p₁,a),T̄(p₂,a)] ≤ Ld_Z(p₁,p₂).

考慮近似有效系統:

(6.5) p̂ₖ₊₁ = T̄(p̂ₖ,aₖ).

令:

(6.6) δₖ = d_Z[pₖ,p̂ₖ].

則:

(6.7) δₖ₊₁ ≤ Lδₖ + ε_T.

因此:

(6.8) δₙ ≤ Lⁿδ₀ + ε_T Σⱼ₌₀ⁿ⁻¹ Lʲ.

當 L ≠ 1:

(6.9) δₙ ≤ Lⁿδ₀ + ε_T(1 − Lⁿ)/(1 − L).

當 L = 1:

(6.10) δₙ ≤ δ₀ + nε_T.

Proof.

由三角不等式:

(6.11) d_Z[pₖ₊₁,p̂ₖ₊₁] ≤ d_Z[pₖ₊₁,T̄(pₖ,aₖ)] + d_Z[T̄(pₖ,aₖ),T̄(p̂ₖ,aₖ)].

第一項不超過 ε_T。

第二項不超過 Lδₖ。

因此得到式(6.7)。

逐步展開遞推不等式,即得式(6.8)至(6.10)。

證畢。

6.3 Output Error Bound

若有效讀出 Ō 對 Port 狀態具有 Lipschitz 常數 L_O:

(6.12) d_Y[Ō(p₁,a),Ō(p₂,a)] ≤ L_Od_Z(p₁,p₂).

則實際輸出與近似有效模型輸出之間滿足:

(6.13) E_output(k) ≤ ε_O + L_Oδₖ.

如果完整系統相對於目標功能另有誤差 ε_F,則近似有效系統相對於同一目標的輸出誤差受到:

(6.14) E_task(k) ≤ ε_F + ε_O + L_Oδₖ.

這裏 ε_F 是完整系統本身的任務誤差。

因此,即使 Port 近似完全準確,也不能保證原來的功能已經正確。

6.4 三種不同的誤差制度

當 L < 1,且初始誤差受控,近似誤差具有統一上界。

(6.15) limsupₙ→∞ δₙ ≤ ε_T/(1 − L).

當 L = 1,一般誤差上界隨步數線性增長。

當 L > 1,一般上界可能隨步數指數增長。

但後兩者只表示該上界無法提供統一穩定保證,並不證明真實誤差必然以該速度增長。

這個區分對 Recursive Functional Composition 很重要。

若要將一個近似 Operator 反覆用作下一級單元,便需要考慮誤差隨組合深度的變化。

因此:

局部功能可靠,不代表任意長的遞歸組合都可靠。

這也使 Residual Governance 與 Error Budget 成為下一級功能身份的重要條件。

6.5 與 Attractor Fusion 的連續時間誤差界銜接

此前 Attractor Fusion 研究已使用連續時間殘差模型:

(6.16) v̇ = F̄(v,u) + R(t).

若:

(6.17) ‖R(t)‖ ≤ ε_R.

且 F̄ 具有 Lipschitz 常數 L,則在相同輸入與初始有效狀態下:

(6.18) ‖v(t) − v̂(t)‖ ≤ [ε_R/L](e^(Lt) − 1),L > 0.

本節的離散時間界與式(6.18)具有共同結構。

兩者均說明:

一項近似有效 Port 是否可靠,除了需要知道每一步或每單位時間的 Residual,也需要知道該 Residual 如何被後續動力或計算放大。

這是可遞歸功能組合的重要工程基礎。


7. Protocol Refinement and Functional Identity

7.1 一個 Port 不可能對所有未知用途都自動充分

考慮一個系統,在目前的使用協議中,外部只能讀取答案。

若未來的下游系統開始要求檢查內部記憶,原本的 Output Port 便可能不足。

因此,功能充分性必須與 Protocol 一同聲明。

7.2 Proposition 7.1 — Stronger Protocols Can Distinguish More States

考慮兩項 Protocol P₁、P₂。

假設:

P₂ 允許的操作序列包含 P₁ 的全部操作序列;

而 P₂ 的可觀測輸出,保留了 P₁ 所要求的所有資訊。

兩項 Protocol 使用相容的底層狀態轉移規則。

則:

(7.1) s₁ ∼(P₂) s₂ ⇒ s₁ ∼(P₁) s₂.

因此:

(7.2) ∼(P₂) ⊆ ∼(P₁).

Proof.

若 s₁、s₂ 在較強的 P₂ 下,對全部允許操作都不可區分,那麼它們對 P₁ 的較小操作集合及較弱觀測要求,也必然不可區分。

證畢。

7.3 這項結果的意義

當外部使用協議變得更嚴格,原本可以被合併的內部狀態,可能需要重新區分。

所以:

下游要求增加時,所需的有效狀態通常不會變得更粗;它可能需要保留更多資訊。

但這是一項關於行為等價關係的結論,不直接表示任何固定表示的數值維度必然增加。

7.4 Gate 與 Ledger 的影響

如果 Gate 的開關依賴過去一段時間的穩定性,而 Port 沒有保存相關歷史,則兩個目前具有相同 Port 的內部狀態,可能在下一步具有不同的使用資格。

因此,若 Operator Contract 要求預測 Gate 行為,則相關 Gate 記憶必須被保留。

同理,如果 Ledger 的歷史會影響未來允許操作或功能修訂,亦不能在有效模型中無條件丟棄。

這不是說所有 Functional Operators 都必須擁有 Gate 或 Ledger。

而是:

凡被 Contract 宣告為必要的未來行為,其相關狀態差異就必須被有效接口保留。


8. Counterexamples

8.1 Counterexample I — 當前 Output Port 正確,但未來狀態不充分

考慮內部狀態:

(8.1) s = (p,h),p,h ∈ {0,1}.

系統只有一項操作 tick。

輸出規則:

(8.2) O[(p,h),tick] = p.

轉移規則:

(8.3) T[(p,h),tick] = (h,h).

候選 Port:

(8.4) Π(p,h) = p.

比較兩個狀態:

(8.5) s₁ = (0,0),s₂ = (0,1).

兩者具有相同 Port:

(8.6) Π(s₁) = Π(s₂) = 0.

而且當前輸出相同。

但執行一次 tick 後:

(8.7) T(s₁,tick) = (0,0).

(8.8) T(s₂,tick) = (1,1).

下一步輸出將分別為 0 和 1。

因此,Π 是充分的當前輸出,但不是充分的持續狀態。

這直接證明:

(8.9) Output Sufficiency ⇏ Dynamic Port Sufficiency.

8.2 Counterexample II — 完全可靠的 Operator,可以不具有 Attractor

考慮一項無狀態前饋運算:

(8.10) F(a,b) = a + b.

它可以被一個有限計算電路正確實現。

這種功能不需要假設電路的 Activation 必須反覆收斂到某個吸引集合。

因此:

(8.11) Correct Functional Operator ⇏ Verified Attractor Realization.

若研究者額外建立一套能收斂到 a + b 的迭代方程,那只能證明另一套吸引子式實現可能存在。

不能據此聲稱原來的前饋電路便是以該機制運作。

8.3 Counterexample III — 強吸引子可以沒有正確功能

令:

(8.12) zₙ₊₁ = qzₙ,0 < q < 1.

則:

(8.13) zₙ → 0.

若目標功能是 F*(x) = x,但輸出始終為 0,系統便不能正確完成非零輸入。

因此:

(8.14) Strong Attraction ⇏ Functional Correctness.

這也說明,最小化內部狀態誤差與保留任務所需差異,必須共同考慮。

8.4 Counterexample IV — 一個 Protocol 下等價,不代表另一個 Protocol 下等價

考慮狀態:

(8.15) s = (r,h).

其中 r 是一般輸出,h 是隱藏記憶。

在 P₁ 下,外部只能讀取 r。

因此,具有相同 r 的兩個狀態可以功能等價。

但在 P₂ 下,外部還可以執行 InspectHidden,直接讀取 h。

此時,具有相同 r 但不同 h 的狀態便可以被區分。

所以:

(8.16) s₁ ∼(P₁) s₂ ⇏ s₁ ∼(P₂) s₂.

這說明,Functional Individuation 的有效身份具有協議依賴。

8.5 Counterexample V — Behavioral Sufficiency 不保證選定 Port 的轉移封閉

考慮一個所有可觀測輸出永遠都是 0 的系統。

因此,全部內部狀態在外部行為上都不可區分。

現在選取一項 Port Π,使某兩個具有相同 Port 的狀態,在下一步分別轉移到不同 Port 值。

只要這些不同 Port 值此後仍然產生完全相同的輸出,原系統的外部行為就沒有任何差異。

所以,Π 可以在行為上保留全部必要資訊,但仍無法在其原來的 Port 值上定義單值下一步轉移。

這證明:

(8.17) Behavioral Sufficiency ⇏ Strong State Port Closure.

也說明為甚麼第 3 章的 Canonical Behavioral Quotient,與第 4 章的實際 Strong Port,不應混為同一物件。


9. The Role of Attractors in the Unified Framework

9.1 本文不能將 Attractor 變成所有 Operator 的必要條件

經過前面的推導,我們已得到一項較一般的結論:

一個系統是否可以成為下一級的有效功能單元,主要取決於它是否具有對指定 Protocol 充分的功能行為與接口。

這項結論不需要預先假定存在吸引子。

因此,最基本的數學鏈條應該是:

(9.1) Sufficient Input → Correct Transformation → Sufficient Output/State Port → Qualified Composition.

Attractor 是其中一種可能的內部實現機制,而不是已經被證明的普遍必要起點。

9.2 但 Attractor 可以提供額外的功能價值

對一個具有輸入條件化吸引動力的系統:

(9.2) zₙ₊₁ = T_θ(zₙ,x).

如果存在穩定的吸引集合 𝒜_θ(x),則內部動力可能在允許擾動後,返回相應的功能制度。

當這種恢復性與正確運算結合時,可以產生一種有價值的 Functional Operator 實現:

系統不只是能計算,而且能在部分內部擾動後,恢復相應的計算狀態或功能結果。

但需要另外測試:

吸引集合是否存在;

其恢復是否在指定擾動下成立;

正確功能是否仍然保持;

吸引動力是否對功能具有實際因果作用;

以及它是否比不具有相關吸引機制的對照系統提供額外優勢。

9.3 Strong Attractor-Mediated Functional Individuation Hypothesis

因此,可以提出一項較強的研究假說:

當自適應 Connection 使多個內部功能結構形成新的集體吸引制度,而且該制度具有對外充分的 Functional Port 時,系統可能取得更高層次、具有恢復性的功能身份。

這可以表示為:

(9.3) Adaptive Connection + Verified Collective Attraction + Correct Functional Realization + Qualified Port → Candidate Attractor-Mediated Functional Individuation.

這裏各項條件是研究者必須分別證明的要求。

式(9.3)並不是宣稱任何自適應 Connection 都必然產生新 Attractor。

也不表示新 Attractor 必然產生正確功能。

它只是將強假說的必要證據清楚列出。

9.4 Functional Birth 與 Attractor Birth 可能發生於不同時間

對訓練中的 AI,令 θₖ 是第 k 個 Checkpoint 的參數。

定義:

(9.4) k_F = FirstQualifiedFunctionalCheckpoint.

以及在存在明確動力學測試時:

(9.5) k_A = FirstVerifiedAttractorCheckpoint.

兩者沒有必然相等關係:

(9.6) k_F ≠ k_A 是允許的研究結果.

甚至可能只觀察到 k_F,而找不到任何符合指定條件的 k_A。

這樣的結果不會否定 Functional Operator 的存在。

它只會限制 Attractor-mediated Emergence 的適用範圍。


10. What Has and Has Not Been Established?

10.1 已經可以嚴格成立的部分

在明確的確定性系統及 Protocol 假設下,本文可以建立:

Input Binding 的充要分解條件。

Future-Behavior Equivalence 的狀態商結構。

Strong Functional Port 的精確封閉判準。

充分 Port 支持的有限層級功能組合。

近似 Port 的有限時域誤差傳遞上界。

Protocol 擴展對狀態可區分性的影響。

上述內容主要使用成熟的函數分解、狀態商、行為等價及穩定性分析工具。

本文的重點是將它們組織成同一套 Functional Individuation 判準。

10.2 已有合成模型支持,但不具普遍性的部分

此前 Attractor Fusion I–XXVII 已建立特定的自適應振盪器、關係相位、記憶變量、動力 Port 及 Declaration Gate 模型。

部分模型具有解析約化及數值驗證。

但這些結果只在已聲明的模型與參數條件下成立。

它們不能直接推論:

所有 Semantic Attractors 都具有相同記憶方程。

所有自適應連接必然形成新的集體吸引子。

所有集體吸引子必然取得新的 Functional Port。

或者真實 Transformer 必然使用這些振盪器機制。

10.3 仍然屬於生成假說的部分

最重要的未解問題是:

一個原本不具備某項功能的系統,是否會透過學習、自適應 Connection 或其它自組織動力,形成新的合格 Functional Operator?

更具體地說:

訓練如何產生必要的 Input Binding?

局部計算規則如何形成?

下游接口何時取得因果充分性?

新的功能是否會被後續任務實際重用?

某些功能形成事件是否還涉及真正的 Attractor Birth?

目前兩篇補充文章已提出測試這些問題的方法,但尚未完成新的 Transformer 實驗。

因此,不能將這些生成假說與本文的條件性數學定理放在同一個證據層次。


11. Central Mathematical Thesis

經過以上研究,三篇階段性成果可以由一項比較精確的數學命題統攝:

Protocol-Relative Functional Individuation Thesis

一個具有內部狀態及可觀測行為的系統,如果能在指定的輸入、干預及未來互動協議下,建立保留必要輸出與狀態轉移的充分有效 Port,則它可以在該協議中被表示為一項對外可用的有效功能單元。

當下一級系統只依賴該 Port 及其自身狀態,而相關接口保持封閉或在允許誤差內近似封閉時,兩者便可以進一步形成新的有效組合功能。

這項過程可以有限次遞歸。

但遞歸能否持續保持可靠,取決於每一級的功能正確性、接口充分性、允許干預及誤差傳遞條件。

因此,本文提出的基本框架是:

(11.1) Internal Organization → Protocol-Relative Functional Equivalence → Qualified Effective Port → Reusable Functional Unit.

並可擴展為:

(11.2) Reusable Functional Units + Compatible Connections → Qualified Composite Functional Unit.

若加入較強的吸引動力學假說:

(11.3) Attractor-Mediated Formation → Robust Functional Operator → Protocol-Relative Recursive Individuation.

但式(11.3)只能在明確驗證相應吸引動力及其因果作用後成立。

Final Distinction

Attractor Formation 研究穩定動力制度的形成。

Functional Operator Formation 研究可重複的正確輸入—輸出轉換如何形成。

Functional Individuation 研究複雜系統如何取得對下游充分的有效功能身份。

Recursive Functional Composition 研究已取得資格的功能單元,如何進一步形成下一級的有效運算。

這四種研究具有數學聯繫,但不是同一個事件。

真正的總命題,不應將它們預先宣告為必然連續的世界生成法則。

而應研究:

哪些條件能使一個階段的結構,可靠地成為下一階段可以使用的功能單元;這些條件如何在真實自組織及學習系統中逐漸形成,又何時會失效?

這才是從 Attractor、Operator、Effective Port 到 Recursive Functional Individuation,一條可以持續接受數學及工程檢驗的研究主線。


Mathematical Core Draft — End

Research Status:已完成條件性數學框架的初步形式化。核心工具來自既有的函數分解、行為等價、商狀態、因果抽象及誤差分析。本稿尚未證明 Attractor-mediated Operator Birth 是 AI 或其它複雜系統中的普遍生成機制。

這次推導最值得保留的三項成果

第一,找到了一個能真正貫通三篇文章的共同數學對象:Protocol-Relative Functional Equivalence。 它統一處理了輸入的必要差異、內部狀態的可約化性,以及下一級功能所需的有效接口。

第二,Theorem 5.1 給出一項明確的組合條件。 它說明為甚麼一個具有大量內部自由度的系統,能夠在不暴露全部內部狀態的情況下,被下一級系統當成一個功能單元使用。這是既有狀態約化數學的組合應用,而非新的普遍生成定理。

第三,近似 Port 的誤差界把 Recursive Individuation 與工程可靠性真正接起來。 每一級不只需要功能正確,還要管理接口殘差及後續運算對誤差的放大。

目前,我認為最值得進一步研究的問題又收斂了一步:

我們已經可以形式化「一個內部組織何時有資格成為下一級功能單元」。接下來真正需要發現的,是這種資格如何透過自適應動力學自行形成,而非由工程師事先設計好。

這正是 Attractor Fusion 的生成機制與 Transformer 的學習機制,未來最有機會產生新結果的交會點。

下一回合適合先對本稿進行一次定理依賴關係、隱含假設及反例審查,再把它擴寫為正式的總命題階段成果。

 

繼續

 

總命題數學審查(二):定理依賴、隱含假設與生成機制的真正缺口

這次審查後,我認為上一稿的數學中心可以保留,但需要作出一項實質升級:

把「已知存在合格 Port,所以能夠組合」改成「從完整聯合系統的動力學,判斷甚麼時候存在合格 Port」。

兩者的差別非常重要。

前者主要是組合的正確性定理;後者則提供一套可以直接拿到振盪器模型、Transformer Circuit 或 AI Agent 系統上,尋找、檢驗及否定有效接口的數學判準。

一、整體審查結果

數學組件

判斷

需要的處理

Input Binding 充要條件

成立

說明只保證集合論上的函數分解,不保證可學習性

Future-Behavior Equivalence

成立

保持固定 Protocol、有效操作與完整狀態假設

Canonical Behavioral Quotient

成立

區分最粗行為商與工程最便宜的 Port

Strong Functional Port Criterion

成立

明確限定在有效狀態範圍內

原 Theorem 5.1

成立,但假設過強

改寫成聯合系統 Port 封閉性的充要定理

Approximate Port Error Bound

條件下成立

不可直接套用於輸入由模型預測決定的閉環系統

Protocol Refinement

成立

需有相容的底層操作與觀測關係

Recursive Individuation

尚屬條件性結論

有效組合不代表新功能或新 Attractor 出生

Attractor-Mediated Generation

尚未證明

需要訓練及自適應形成過程的因果證據

最大的發現不是某條公式算錯,而是:目前的數學足以說明一個功能接口何時有效,但距離解釋它如何自行生成,仍然欠缺一條真正的動力學定理。

這個缺口應該被放在總命題的中心,而不是由廣泛的哲學敘述掩蓋。

二、將主定理升級為真正的「聯合系統接口充要判準」

這應該取代前一稿的 Theorem 5.1,成為未來總命題的核心。

總命題數學核心:定理審查與修訂

Mathematical Audit II — Joint Port Closure, Approximate Composition, and the Limits of Recursive Individuation

1. Revised Main Theorem:Joint Functional Port Closure

1.1 從完整 A–B 系統開始

考慮兩個互相作用的功能系統 A、B。

A 的完整狀態為 s ∈ S_A。

B 的狀態為 b ∈ S_B。

u ∈ U 是由已聲明 Protocol 允許的外部操作。

完整聯合系統為:

(1.1) sₖ₊₁ = F(sₖ,bₖ,uₖ).

(1.2) bₖ₊₁ = G(sₖ,bₖ,uₖ).

(1.3) yₖ = H(sₖ,bₖ,uₖ).

現在選擇 A 的候選 Effective Port:

(1.4) p = Π(s).

重要的是:

此時尚未假定 B 的更新 G 或對外輸出 H 只依賴 p。

我們希望從完整系統出發,判斷是否可以建立一套只使用 (p,b) 的有效聯合模型。

為使最初定理清楚,先假設狀態與操作集合固定、轉移確定性、有效運作範圍對允許操作保持封閉,而且所考察的 (s,b,u) 組合均屬於宣告的運作區域。

1.2 Theorem 1.1 — Joint Port Closure Criterion

定理:

存在三項定義於有效 Port 值域上的函數:

(1.5) F̄ : Π(S_A) × S_B × U → Π(S_A).

(1.6) Ḡ : Π(S_A) × S_B × U → S_B.

(1.7) H̄ : Π(S_A) × S_B × U → Y.

使完整系統可以精確約化為:

(1.8) pₖ₊₁ = F̄(pₖ,bₖ,uₖ).

(1.9) bₖ₊₁ = Ḡ(pₖ,bₖ,uₖ).

(1.10) yₖ = H̄(pₖ,bₖ,uₖ).

當且僅當,對所有有效的 s₁、s₂、b、u,以下條件成立:

條件 A:Port 自身的下一步一致性

(1.11) Π(s₁) = Π(s₂) ⇒ Π[F(s₁,b,u)] = Π[F(s₂,b,u)].

條件 B:對下游狀態的作用一致性

(1.12) Π(s₁) = Π(s₂) ⇒ G(s₁,b,u) = G(s₂,b,u).

條件 C:對外輸出一致性

(1.13) Π(s₁) = Π(s₂) ⇒ H(s₁,b,u) = H(s₂,b,u).

三項條件必須對已聲明的允許操作與干預範圍共同成立。

1.3 Proof

必要性:

若有效模型 F̄、Ḡ、H̄ 已經存在,則相同 p、b、u 必須得到相同的下一步有效 Port、B 狀態及對外輸出。

因此式(1.11)至(1.13)全部成立。

充分性:

對任何有效 Port 值 p,任取一個滿足 Π(s) = p 的代表狀態 s。

定義:

(1.14) F̄(p,b,u) := Π[F(s,b,u)].

(1.15) Ḡ(p,b,u) := G(s,b,u).

(1.16) H̄(p,b,u) := H(s,b,u).

由條件 A,式(1.14)不依賴代表元。

由條件 B,式(1.15)不依賴代表元。

由條件 C,式(1.16)不依賴代表元。

因此三項有效函數均良好定義。

而對每一個完整狀態 s:

(1.17) Π[F(s,b,u)] = F̄[Π(s),b,u].

(1.18) G(s,b,u) = Ḡ[Π(s),b,u].

(1.19) H(s,b,u) = H̄[Π(s),b,u].

所以有效模型可以精確重現全部指定的聯合轉移及輸出。

由數學歸納,當初始有效狀態一致時,任何有限的允許操作序列都會產生相同的對外輸出軌跡。

證畢。

1.4 這項修訂的實質意義

原來的 Theorem 5.1 是先假定:

(1.20) bₖ₊₁ = Ḡ[pₖ,bₖ,uₖ].

再證明聯合系統可以使用 (p,b) 描述。

現在的定理不需要預先假定這個結果。

它直接要求我們從完整聯合系統量度:

相同 Port 的不同內部狀態,對自身下一步是否等價?

它們對 B 的作用是否等價?

它們對外部觀測的作用是否等價?

因此,定理可以直接成為一項實驗及算法判準。

在 Attractor Fusion 的數值模型中,可以選取具有相同候選 Port 的不同內部狀態,然後檢查三項條件。

在 Transformer 中,可以研究候選高層功能表示,是否在受控干預下,對相應的下游計算保持一致。

但要注意:有限樣本上的近似相等,只能提供經驗證據,不能自動證明對整個狀態空間的全域充要條件。


2. Nontrivial Individuation:充分 Port 不能只是一份完整狀態複本

2.1 Identity Port 的問題

假設:

(2.1) Π(s) = s.

這個 Port 必然保存所有內部資訊。

在正常的確定性狀態系統中,它自然滿足精確狀態封閉的要求。

因此,單純證明存在精確充分的 Port,並不能證明我們發現了真正有價值的功能個體化。

因為最平凡的答案就是保存整個系統。

2.2 Definition 2.1 — Nontrivial Functional Port

本文建議額外要求一項明確的工程性約化效果。

例如,在有限狀態系統中可以要求:

(2.2) |Π(S_A)| < |S_A|.

對一般連續系統,更適合使用明確定義的表示成本:

(2.3) Cost(Π,T̄,H̄) < Cost(OriginalSystem).

其中 Cost 可以包含:

Port 的儲存需求;

Port 的計算及更新成本;

下游讀取成本;

以及維持其可靠性所需的額外成本。

這些成本需要使用一致的測量方法,不能任意混合。

2.3 三種不同的成功

Mathematical Sufficiency: Port 保留指定的未來行為。

Computational Compression: Port 可以以較低成本表示或更新。

Functional Reuse: 下游可以透過 Port 可靠地完成新的或已有的工作。

三者彼此相關,但不能互相替代。

例如,一項 Port 可以數學上充分,但建構它的成本比直接執行完整系統還高。

另一項 Port 可以非常簡潔,卻在關鍵干預下丟失必要資訊。

因此,真正的工程性 Functional Individuation 應研究:

(2.4) QualifiedIndividuation := Sufficiency ∧ PracticalAccess ∧ DeclaredReliability.

其中 PracticalAccess 必須在研究中明確操作化,例如以運算成本、記憶成本或可讀取性來衡量。


3. Approximate Equivalence Is Not Automatically an Equivalence Relation

3.1 一個容易被忽略的數學問題

如果我們把兩個狀態定義為近似等價:

(3.1) s₁ ≈_ε s₂ ⇔ d[Output(s₁),Output(s₂)] ≤ ε.

這個關係一般不具備傳遞性。

例如,令 ε = 1,並考慮三個輸出:

(3.2) y₁ = 0,y₂ = 0.75,y₃ = 1.5.

則:

(3.3) d(y₁,y₂) ≤ 1.

(3.4) d(y₂,y₃) ≤ 1.

但:

(3.5) d(y₁,y₃) > 1.

因此:

(3.6) y₁ ≈_ε y₂ 且 y₂ ≈_ε y₃ ⇏ y₁ ≈_ε y₃.

這表示我們不能直接把「輸出相差少於 ε」當成等價關係,然後照搬精確商空間定理。

3.2 正確的近似做法

對近似 Port,更合適的方法是:

先明確選定一項投影 Π;

定義其纖維及有效模型;

再量度該模型對各種允許操作所產生的狀態及輸出殘差。

例如:

(3.7) E_T = sup d[Π(T(s,a)),T̄(Π(s),a)].

(3.8) E_O = sup d[O(s,a),Ō(Π(s),a)].

其中 supremum 取自宣告的有效運作範圍。

然後利用明確的穩定性或 Lipschitz 條件,推導有限時域誤差界。

如果研究希望使用 Approximate Bisimulation 或其它近似關係,也應採用相應的正式定義及誤差傳遞規則,而不是假定近似相等具有一般等價關係的全部性質。


4. Finite-Horizon Identity Is Not Automatically Time-Consistent

4.1 有限預測視窗的問題

在實際工程中,我們可能只要求 Port 對未來 H 步充分。

因此,可以定義:

(4.1) s₁ ∼_H s₂ ⇔ Tr(s₁,w) = Tr(s₂,w),對所有長度不超過 H 的允許操作序列成立.

這種關係適合有限時域預測。

但它未必可以直接用來構造一項時間齊次、永遠可重複使用的狀態商。

4.2 Counterexample 4.1 — Countdown System

考慮一個倒數系統。

內部狀態 n 是非負整數。

每一步操作 tick,使:

(4.2) n′ = max(n − 1,0).

當 n > 0,輸出為 0。

當 n = 0,輸出為 1。

對固定 H ≥ 1,考慮兩個初始狀態:

(4.3) n₁ = H,n₂ = H + 1.

它們在前 H 次輸出中,均只產生 0。

因此:

(4.4) n₁ ∼_H n₂.

但執行一次 tick 後:

(4.5) n₁′ = H − 1,n₂′ = H.

這兩個新狀態在接下來 H 次輸出中可以被區分。

因此:

(4.6) n₁ ∼_H n₂ ⇏ T(n₁,tick) ∼_H T(n₂,tick).

所以,有限 H 的行為等價不一定能直接構造永遠重複使用的時間齊次商系統。

4.3 解決方法

一種方式是將剩餘預測視窗作為有效狀態的一部分:

(4.7) p_ext = (p,h_remaining).

其另一種解釋是,有限時域充分性應隨時間推進而更新:

(4.8) H → H − 1.

因此:

短期可用的 Port,不一定是長期可遞歸使用的 Port。

這正好與 Attractor Fusion 的 Protocol Horizon 及 Residual Budget 問題銜接。


5. Closed-Loop Approximation:為甚麼原來的誤差界可能失效?

5.1 原有誤差界的隱含前提

上一稿建立:

(5.1) δₖ₊₁ ≤ Lδₖ + ε.

但這項推導要求真實模型與近似模型在每一步使用相同的外部操作 aₖ,或者已將雙方操作差異完整納入狀態誤差分析。

如果外部操作是由模型自身的預測狀態決定,兩套系統可能因小小的 Port 誤差,選擇完全不同的下一步行為。

此時,原來的共同輸入誤差界不能直接適用。

5.2 Counterexample 5.1 — Small State Error, Large Control Difference

考慮真實有效系統:

(5.2) pₖ₊₁ = uₖ.

近似模型:

(5.3) p̂ₖ₊₁ = uₖ + ε.

其中 ε > 0 可以任意小。

對相同的外部操作 u,兩套模型的單步狀態誤差永遠只有 ε。

現在加入一個門檻式控制器:

(5.4) uₖ = 1,若 pₖ > 0;否則 uₖ = 0.

兩套系統均從:

(5.5) p₀ = p̂₀ = 0.

開始。

第一步,兩者都選擇 u₀ = 0。

因此:

(5.6) p₁ = 0.

(5.7) p̂₁ = ε.

第二步:

真實系統仍選擇 u₁ = 0。

近似系統卻因為 p̂₁ > 0,選擇 û₁ = 1。

於是:

(5.8) p₂ = 0.

(5.9) p̂₂ = 1 + ε.

所以,雖然對相同操作的單步模型誤差只有 ε,閉環執行後卻可以產生約為 1 的差異。

因此:

(5.10) Small Open-Loop Residual ⇏ Small Closed-Loop Error.

5.3 對 Functional Individuation 的影響

如果下游 B 會根據 A 的 Port 結果決定下一步干預,那麼就不能只測試 A 對固定輸入序列的準確性。

還需要考慮:

B 的控制策略是否連續;

Port 誤差是否會跨過決策門檻;

Gate 是否具有合理的安全裕量;

以及控制回饋是否會放大原本很小的狀態差異。

若閉環聯合更新具有適當的 Lipschitz 性質,可以針對包含控制策略的完整有效系統,重新推導誤差界。

但如果控制器包含不連續門檻,便可能需要 Margin Conditions、Hysteresis、Reachability Analysis 或其它針對性的方法。

這一點對 AI Agents、工具調用與帶有 Gate 的遞歸功能系統尤其重要。


6. Stochastic Functional Ports:確定性定理不能直接覆蓋所有 AI

6.1 為甚麼需要處理隨機系統?

真實 AI 系統可能包含隨機抽樣、隨機控制策略、隨機環境或具有噪音的內部更新。

此時,兩個狀態的「相同未來行為」應被理解為在指定干預下具有相同的輸出軌跡機率分佈,而不一定是每次執行都產生完全相同的結果。

設聯合狀態轉移與輸出的機率核為:

(6.1) K(ds′,dy | s,a).

希望透過 Port:

(6.2) p = Π(s).

建立有效機率核。

6.2 Stochastic Port Consistency

對兩個滿足:

(6.3) Π(s₁) = Π(s₂).

的完整狀態,若它們在相同允許操作 a 下,誘導出相同的「下一步 Port 與輸出」聯合分佈:

(6.4) Law[Π(s′),y | s₁,a] = Law[Π(s′),y | s₂,a].

則可以在有效 Port 上定義相應的聯合轉移/輸出機率核。

在適當的可測性及正則條件下,這構成隨機模型的一種精確 Port 封閉判準。

6.3 為甚麼不能只比較兩個邊際分佈?

假設下一步 Port p′ 和輸出 y 都是二元變量。

在狀態 s₁ 下:

(6.5) P[(p′,y) = (0,0)] = 1/2,P[(p′,y) = (1,1)] = 1/2.

在狀態 s₂ 下:

(6.6) P[(p′,y) = (0,1)] = 1/2,P[(p′,y) = (1,0)] = 1/2.

兩個狀態的 p′ 邊際分佈相同。

兩個狀態的 y 邊際分佈也相同。

但其聯合分佈不同。

因此:

(6.7) Same Marginal Laws ⇏ Same Joint Transition-Output Law.

如果下一級系統同時依賴輸出及下一步狀態,這種相關結構就可能具有因果作用。

所以,在隨機系統中,Functional Port Sufficiency 必須保留 Protocol 真正需要的聯合條件分佈,而不是只比較平均輸出或個別變量的邊際分佈。


7. The Remaining Generative Gap:一個合格 Port 如何自行形成?

7.1 狀態商定理本身不包含學習動力學

目前所有精確 Port 定理,主要研究:

給定一個完整的功能系統及候選 Port,甚麼條件使該 Port 成為有效的狀態約化?

但這不等於回答:

為甚麼訓練會產生這個 Port?

例如,一項功能可以由工程師手工設計。

另一個系統可以透過神經網絡訓練學得完全相同的對外運算。

兩者可能具有相同的最終 Functional Contract,卻具有完全不同的形成歷史。

所以,不能從最終功能等價,倒推出唯一的生成機制。

7.2 必須引入 Training/Adaptation Dynamics

令 θₖ 是完整系統在第 k 個訓練階段的參數。

定義:

(7.1) θₖ₊₁ = U_train(θₖ,Dataₖ,Environmentₖ).

同時,某個候選 Port 及功能電路可能隨訓練改變:

(7.2) Πₖ = Π_(θₖ).

(7.3) Tₖ = T_(θₖ).

(7.4) Fₖ = FunctionalBehavior(θₖ).

因此,真正的生成機制研究不是只檢查最終的 Π_K 是否充分。

而是要研究整條訓練軌跡:

(7.5) θ₀ → θ₁ → … → θ_K.

如何使:

(7.6) PortResidual(Πₖ) ↓.

以及:

(7.7) FunctionalError(Fₖ) ↓.

並進一步判斷兩者的變化是否具有因果關係。

7.3 A Stronger Testable Hypothesis

可以提出一項有待檢驗的機制假說:

當局部功能電路已部分形成,但其上下游表示尚未充分匹配時,訓練可能主要透過 Connection Co-adaptation,改善中間功能接口的因果充分性,從而促成完整 Operator 的形成。

這項假說可以用 Transformer Checkpoints 及 Interchange Intervention 測試。

更強的 Attractor 假說則是:

上述功能接口的成熟過程,是否同時伴隨新的吸引制度、擾動恢復性或動力學穩定性改組?

這兩項假說應分開測試。

目前尚沒有證據可以將其中任何一項提升為所有複雜系統必然遵循的普遍生成定理。


8. Final Audit Verdict

經過修訂,本文可以將三篇階段性成果的數學關係,更準確地整理為:

(8.1) Internal System + Declared Protocol → Behavioral Equivalence.

(8.2) Behavioral Equivalence + Constructible Port → Candidate Functional Abstraction.

(8.3) Strong Port Closure + Correct Function → Qualified Runtime Operator.

(8.4) Qualified Operators + Compatible Connections → Candidate Composite Operator.

(8.5) Approximate Ports + Error Bounds + Robust Feedback → Candidate Reliable Recursive Composition.

這些箭頭都具有明確的條件,並非自動生成規律。

而 Attractor-mediated 路線增加了另一組需要獨立檢驗的要求:

(8.6) Adaptive Dynamics + Verified Attraction + Functional Correctness + Qualified Port → Candidate Attractor-Realized Functional Unit.

8.1 目前已建立的,是甚麼層次的成果?

數學層次:

可以使用既有的狀態商、功能等價、轉移封閉及誤差傳遞數學,嚴格描述一個內部系統何時具有足夠的對外功能接口。

工程層次:

可以建立具體的 Functional Contract、Port Residual、干預測試及組合可靠性判準。

生成機制層次:

尚需研究學習與自適應動力學,何時以及如何使這些資格條件自行成立。

SMFT 強假說層次:

仍需證明相關功能形成是否存在真正的吸引動力,以及它是否具有超出一般電路協同的因果解釋力。

8.2 本次審查最重要的結論

「功能個體化」可以作為一項嚴格的 Protocol-Relative 狀態約化問題來定義;但「功能個體如何自行生成」,仍是一項獨立且未解決的動力學研究問題。

只有將這兩件事分開,才能避免把已知的數學充分條件,誤寫成未知的自組織生成定律。


Mathematical Audit II — End

Research Status:修訂聯合 Port 封閉定理,補充近似關係的非傳遞性、有限視窗的時間一致性、閉環誤差風險及隨機系統的聯合分佈要求。所有定理均屬既有數學思想的條件性整合;Attractor-mediated Operator Birth 仍待獨立實驗。

三、審查之後,我對總命題的判斷

這次修訂確實提升了總命題的數學品質,特別是新的 Joint Port Closure Criterion。它不再預先假定下游已經只使用 Port,而是從完整聯合系統檢查這項性質能否成立。

不過,我認為還有一個必須在正式總論中坦白處理的問題:

即使完成以上全部定理,我們證明的仍主要是「有效個體化的條件」,而不是「個體化為甚麼會在自然或 AI 學習中自行出現」。

這不是小差別。

它決定了這個研究目前應被定位為一套較完整的 Protocol-Relative Functional Individuation Framework,還是一項已經驗證的 Universal Generative Theory。

目前適合採用前者,並將後者列為需要進一步研究的強命題。

下一步可以正式撰寫總命題的階段性文章。但我建議文章保留這次審查最重要的兩層結構:

第一層是可以證明的 Functional Individuation 數學;第二層是尚待實驗的 Attractor-Mediated Generation 機制。

這樣能使整個研究既保留 SMFT、P8D 及成界之學所追求的統一視野,也容許具體工程實驗對其作出支持、限制或反駁。

 

繼續

  

 

總命題正式論文 · 第一部分

經過前兩輪數學審查,現在可以把三項階段成果正式整合為一篇論文。

我會把文章的核心命題定為:

內部組織能否成為下一級的有效功能個體,取決於它是否能在已聲明的互動協議下,提供保留必要功能及未來行為的充分接口。吸引子是一種可能的實現與生成機制,但並非所有功能個體化的必要條件。

以下正式開始正文,先完成 Abstract、Introduction、數學基本對象、行為等價與主定理。

從吸引結構到遞歸功能個體:Attractor、Operator、Effective Port 與成界過程的條件性生成框架

From Attractors to Recursive Functional Individuation: A Protocol-Relative Framework for Operator Formation and World-Building Systems

—— Attractor Fusion I–XXVII、Functional Operator Theory 與 Transformer Mechanism Research 的階段性統合

Part I — Foundations, Functional Equivalence, and the Main Individuation Theorem

Abstract

Semantic Meme Field Theory(SMFT)及其相關的 Attractor Fusion 研究,嘗試理解具有內部組織、歷史記憶及自適應連接的系統,如何形成新的集體結構,並進一步取得可供下一級系統使用的有效身份。

此前 Attractor Fusion I–XXVII 已探索關係動力學、自適應 Connection、Collective Attractor、Dynamic Port Sufficiency、Residual Governance 及 Recursive Functional Individuation。後續《從 Semantic Attractor 到 Functional Operator》則進一步研究,一個穩定的內部組織如何在必要的輸入充分性、功能正確性及接口條件下,實現可靠的 Functional Operator。《Transformer 功能算子的生成》再將上述問題轉化為 Circuit Co-adaptation、Causal Port Sufficiency、Conditional Attractor Dynamics 及 Functional Reuse 的候選實驗。

然而,這些研究尚未構成一條已獲證明的普遍生成定律。特別是,Attractor Stability 並不保證 Functional Correctness;Functional Operator 可以在不具有傳統動力學吸引子的系統中實現;而一項有效 Port 的存在,也不能證明它必然經由自適應組織過程自行形成。

本文因此提出一套條件性的 Protocol-Relative Functional Individuation Framework,將穩定結構、功能實現、有效狀態約化及遞歸組合,放入一個具有明確假設、數學判準及證據邊界的框架。

本文首先以輸入—輸出系統及允許干預協議為基礎,定義 Protocol-Relative Functional Equivalence。透過未來可觀測行為的等價關係,可以構造保留指定功能的標準行為商。

其次,本文研究實際 Effective Port 的強充分性條件,並提出聯合系統接口封閉性的充要判準。該判準要求具有相同 Port 值的不同內部狀態,在允許的下游互動下,產生相同的下一步有效 Port、下游狀態及對外輸出。

在這些條件下,完整內部組織可以被一套有效狀態模型取代,使下一級系統無須直接存取其全部內部自由度,仍能正確執行指定功能。

本文進一步區分 Mathematical Sufficiency、Computational Compression、Operational Qualification 及 Recursive Functional Reuse,並將近似殘差、有限時域誤差、閉環干預、Gate、Ledger 和 Contract 納入可靠性分析。

最後,本文將 Attractor-Mediated Operator Formation 視為一項較強、需要獨立動力學證據的生成假說,而不是上述功能個體化定理的必然結論。

本文的中心論點為:

Functional Individuation is the protocol-relative establishment of a sufficient, usable, and composable boundary between internal organization and external function.

換言之,功能個體化不是單純的內部狀態壓縮,也不只是吸引子的穩定存在,而是在指定互動範圍內,形成能夠保留必要因果行為、維持功能資格並被下一級組織使用的有效接口。

本文提供的是一套可供數學、AI 工程及自組織研究共同使用的條件性建模框架。它尚未證明所有物理、生命、經濟或人工智能系統都遵循相同的生成機制。

Keywords: Semantic Meme Field Theory; Attractor Fusion; Functional Operator; Protocol-Relative Functional Equivalence; Effective Port; Causal Abstraction; Dynamic Sufficiency; Functional Individuation; Recursive Composition; Attractor-Mediated Emergence; P8D; Theory of World Formation.


1. Introduction:從組織的穩定存在,到功能個體的形成

1.1 一個組織何時不再只是內部結構?

複雜系統的一項普遍特徵,是大量內部自由度可以透過相互作用,形成具有持續性的集體組織。

例如,非線性振盪器可能形成同步制度;生物網絡可能維持穩定的調節狀態;神經網絡可以學得具有高度結構性的內部表示;人類組織可以透過制度、記憶及反覆協作,維持某種可辨認的身份。

這些例子涉及不同的物理及因果機制,不能直接視為同構。

但它們提出了一項共同的建模問題:

一個具有大量內部自由度的組織,何時可以被外部系統當成一個有效單元,而不需要每次重新展開其所有內部細節?

這個問題與傳統動力系統的吸引子問題有所不同。

吸引子研究的是狀態演化如何維持或返回特定的不變結構。

功能個體化則進一步研究:這個組織在外部輸入及干預下,可以提供哪些穩定、正確及可重複使用的行為。

因此:

(1.1) Stable Internal Organization ≠ Qualified Functional Unit.

一個系統可以非常穩定,但沒有實現任何指定功能。

反過來,一個有限步數的計算電路,也可能在不需要傳統吸引子機制的情況下,可靠地執行複雜運算。

所以,Attractor 與 Operator 不能被定義為相同的數學對象。

1.2 Attractor Fusion I–XXVII 的問題

此前研究以若干具有相位、接口記憶及外部回饋的動力學模型,探索 Adaptive Connections 如何改變原有組織的聯合行為。

其中一項重要研究結果,是 Dynamic Port Sufficiency。

它關心:

一個聯合系統是否可以透過少量有效變量,準確表示其與下一級系統的互動?

例如,在具有相對相位 Δ 及接口記憶 m 的候選模型中,可以研究:

(1.2) q = exp(iΔ).

以及有效 Port:

(1.3) p = (q,m).

在特定對稱性與耦合規律下,p 可以形成封閉的有效動力系統。

這說明,下一級系統在某些指定互動中,未必需要知道原來兩個子系統的全部絕對相位。

但此前研究同時發現:

Port Sufficiency 可以隨外部干預而失效。

精確的狀態商未必表示真正的維度壓縮。

一個有效 Port 的存在,不代表新的集體吸引子必然出生。

這些限制使我們需要一套更一般的數學語言,處理何種內部差異可以被消除,以及何種差異必須保留。

1.3 從 Attractor 到 Functional Operator 的額外問題

後續《從 Semantic Attractor 到 Functional Operator》指出:

穩定的內部組織要實現可靠功能,至少還需要保留必要的輸入差異、執行符合任務要求的轉換,以及輸出能被下一級系統正確讀取。

例如,加法的目標功能為:

(1.4) F_add(a,b) = a + b.

一個只懂得對任何輸入都收斂到相同固定點的系統,無法正確實現這項非平凡函數。

因此,Function Formation 不只是吸引子形成。

它還需要建立:

(1.5) Input Sufficiency → Correct Transformation → Effective Output.

但即使這項功能已經形成,仍然需要問:

當下游系統持續調用該功能、讀取其中間結果或提供回饋時,原來的有效接口是否依然充分?

這便將 Functional Operator Theory 接回 Dynamic Port Sufficiency。

1.4 Transformer 研究帶來的限制與機會

現代 Transformer 的 Mechanistic Interpretability 研究,已對部分算術電路、Induction Heads 及 Grokking 機制取得具體成果。

因此,不能僅因 Transformer 學會了加法,便宣稱發現新的 Attractor-to-Operator 生成定律。

較強的研究問題應該是:

模型的局部功能何時形成?

局部功能如何透過電路協同取得完整計算能力?

候選功能接口何時具有因果充分性?

功能被新任務重用時,哪些內部結構仍然保留?

如果聲稱功能形成依靠 Attractor,是否存在額外的吸引盆地、恢復性及動力學因果證據?

這些問題可以用不同的實驗工具逐項研究。

但它們需要一套共同的功能身份定義,才能比較不同的模型及干預結果。

1.5 本文的研究策略

本文因此分成兩個互相關聯、但證據地位不同的層次。

第一層:Functional Individuation Mathematics。

研究已存在的內部系統,何時可以透過充分 Port 形成對下一級可用的有效功能單元。

這一層可以使用既有的函數分解、行為等價、狀態商、Bisimulation、Causal Abstraction 及誤差分析工具。

第二層:Attractor-Mediated Generative Mechanisms。

研究這類有效功能單元,是否可能透過 Adaptive Connection、Collective Attractor Reorganization、學習及其它自組織機制自行形成。

這一層需要額外的數學模型及工程實驗。

本文不把第二層的生成假說,偽裝成第一層的數學必然結論。


2. The Mathematical Object:已聲明的功能系統

2.1 Definition 2.1 — Declared Functional System

考慮一個確定性的離散狀態轉移系統。

定義:

(2.1) M_P = (S,A,Y,T,O).

其中:

S 是完整內部狀態集合。

A 是允許的外部操作集合。

Y 是外部可觀測輸出集合。

T 是狀態轉移函數。

O 是輸出函數。

P 是限定有效狀態、操作、觀測及未來互動方式的 Protocol。

為建立第一組定理,先採用固定操作集合 A,並要求宣告的有效狀態範圍對所有允許轉移保持封閉。

若有效操作依賴當前狀態,便需要將相應權限資訊納入完整狀態,或另外使用狀態依賴的操作集合定義。

2.2 State Update and Observation

令:

(2.2) sₖ ∈ S.

(2.3) aₖ ∈ A.

定義狀態更新:

(2.4) sₖ₊₁ = T(sₖ,aₖ).

以及輸出:

(2.5) yₖ = O(sₖ,aₖ).

這套形式同時適用於一般的確定性計算系統及離散化的動力系統。

對連續時間系統,可以另行使用微分方程及相應的半群或流表示。

本文不預先把離散計算步數,等同於 SMFT 所研究的 Semantic Time 或成界之學的 Ledgered Time。

它們需要不同的形式化定義。

2.3 Complete State Requirement

一項狀態表示只有在保留未來轉移所需資訊時,才具有充分性。

因此,如果系統存在會影響未來行為的:

內部記憶;

Gate 狀態;

冷卻時間;

累積殘差;

歷史 Ledger;

或外部控制記錄;

便必須在完整狀態 s 中保留必要部分,或將其作為明確給定的外部操作資料。

否則,兩個看起來具有相同當前狀態的系統,可能實際具有不同的未來行為。

2.4 Definition 2.2 — Future Output Trace

令:

(2.6) w = (a₀,a₁,…,aₙ₋₁).

是一個長度為 n 的有效操作序列。

從初始狀態 s 出發,按照 T 反覆更新,得到對應的輸出軌跡:

(2.7) Tr_P(s,w) = (y₀,y₁,…,yₙ₋₁).

這裏的 n 是操作序列長度,不必被解讀為物理時間。

當研究只關注指定有限時域時,可限制 n ≤ H。

當研究持續功能身份時,則需要檢查所有允許的有限後續操作序列。


3. Protocol-Relative Functional Equivalence

3.1 Definition 3.1 — Functional Equivalence

兩個內部狀態 s₁、s₂,在 Protocol P 下稱為功能等價,若它們在全部有效未來操作中,產生相同的可觀測輸出軌跡。

定義:

(3.1) s₁ ∼_P s₂ ⇔ Tr_P(s₁,w) = Tr_P(s₂,w),對所有有限有效操作序列 w 成立.

這項等價關係並不要求 s₁、s₂ 具有相同的內部數學座標。

也不要求它們使用相同的實現機制。

它要求的是:

外部系統只要遵守 P,就無法透過被允許的觀測及操作,將它們區分。

因此,一個功能身份可以保留其必要的對外行為,而不需要保留全部內部細節。

3.2 Proposition 3.1 — Functional Equivalence Preserves One-Step Behavior

若:

(3.2) s₁ ∼_P s₂.

則對任何有效操作 a:

(3.3) O(s₁,a) = O(s₂,a).

並且:

(3.4) T(s₁,a) ∼_P T(s₂,a).

Proof.

由功能等價的定義,考慮只有一個操作 a 的序列,便可得到式(3.3)。

再考慮任何有限後續操作序列 w。

由 s₁、s₂ 出發,先執行 a,再執行 w。

由於整段輸出軌跡相同,而且第一步輸出已經相同,執行 a 之後的兩個狀態,對所有 w 也必須產生相同的輸出軌跡。

因此式(3.4)成立。

證畢。

3.3 Theorem 3.1 — Canonical Behavioral Quotient

由 ∼_P 定義標準狀態商:

(3.5) Q_P = S/∼_P.

對每個狀態 s,令其等價類為:

(3.6) [s]_P.

並定義標準商映射:

(3.7) π_P(s) = [s]_P.

則可以在 Q_P 上建立有效狀態轉移:

(3.8) T_Q([s]_P,a) = [T(s,a)]_P.

及有效輸出:

(3.9) O_Q([s]_P,a) = O(s,a).

這兩項定義均不依賴等價類代表元,而且商系統保留 P 所要求的全部輸出軌跡。

Proof.

若 s₁ ∼_P s₂,依 Proposition 3.1,有:

(3.10) O(s₁,a) = O(s₂,a).

及:

(3.11) T(s₁,a) ∼_P T(s₂,a).

因此,選用 s₁ 或 s₂ 作為等價類代表元,都得到相同的有效輸出及下一步等價類。

故 T_Q、O_Q 良好定義。

由標準商映射的定義及逐步歸納,原系統與商系統對全部有限有效操作序列具有相同輸出軌跡。

證畢。

3.4 Mathematical Meaning of the Quotient

此結果屬於成熟的狀態商及自動機行為等價思想。

本文借用它來理解 Functional Individuation。

一個完整的內部狀態空間,可能包含大量對指定下游功能而言不可區分的狀態。

功能等價關係將這些狀態合併。

而標準商空間 Q_P,保留外部所能區分的有效行為身份。

因此,可以將它理解為:

完整內部組織,在指定 Protocol 下的標準功能行為表示。

但需要特別強調:

這不代表 Q_P 是一個可容易實現的低維空間。

也不代表它自然對應一個 Transformer Attention Head、一組神經元或一個物理上獨立的個體。

它首先是一個數學上的行為商。

3.5 Canonical Quotient 與 Engineering Port 的差別

數學上最粗的行為等價商,未必是工程上最容易使用的 Port。

例如,一個具有少量等價類的系統,仍可能需要複雜的計算才能判定當前狀態屬於哪一類。

所以至少需要區分三項問題:

Behavioral Minimality: 哪些內部狀態對全部允許未來行為無法區分?

Representation Complexity: 這些有效狀態需要多少表示資源?

Operational Accessibility: 外部系統能否可靠、低成本地讀取及更新該表示?

這三項不一定具有相同的最優解。

因此,本文不會將功能個體化簡化為純粹的維度最小化。


4. Effective Functional Port

4.1 Definition 4.1 — Candidate Functional Port

對完整狀態 s,選擇一項有效映射:

(4.1) Π : S → Z.

定義候選 Port:

(4.2) p = Π(s).

其中 Z 是工程上選定的有效表示空間。

我們希望建立有效函數:

(4.3) T̄ : Π(S) × A → Π(S).

(4.4) Ō : Π(S) × A → Y.

使:

(4.5) Π[T(s,a)] = T̄[Π(s),a].

並且:

(4.6) O(s,a) = Ō[Π(s),a].

若上述關係對所有已宣告的有效狀態及操作成立,則稱 Π 是相對於 P 的 Exact Strong Functional Port。

4.2 Theorem 4.1 — Strong Port Sufficiency Criterion

定理:

存在滿足式(4.5)、(4.6)的有效轉移及輸出函數,當且僅當:

(4.7) Π(s₁) = Π(s₂) ⇒ Π[T(s₁,a)] = Π[T(s₂,a)].

且:

(4.8) Π(s₁) = Π(s₂) ⇒ O(s₁,a) = O(s₂,a).

對所有有效的 s₁、s₂、a 成立。

Proof.

必要性:

若有效函數 T̄、Ō 存在,相同 Port 值必須給出相同的下一步 Port 與輸出。

故式(4.7)、(4.8)成立。

充分性:

對任意 p ∈ Π(S),選取一個滿足 Π(s) = p 的代表元 s。

定義:

(4.9) T̄(p,a) := Π[T(s,a)].

(4.10) Ō(p,a) := O(s,a).

由式(4.7)、(4.8),定義不依賴代表元選擇。

因此,存在良好定義的有效模型。

證畢。

4.3 Why Strong Port Is More Than Output Readout

若只要求當前輸出可以由 Port 決定:

(4.11) O(s,a) = Ō[Π(s),a].

則它可能只是 Output-Sufficient Port。

例如,一項加法系統可以輸出當前答案,但未必保留下一步計算需要的進位或歷史狀態。

Strong Port 額外要求:

(4.12) pₖ₊₁ = T̄(pₖ,aₖ).

因此,它可以直接支援持續使用。

這一區分與此前 Attractor Fusion 的 Dynamic Port Sufficiency 具有共同數學基礎。

4.4 Behavioral Sufficiency Is Weaker Than Strong Closure

如果某項 Port 能保留全部未來對外行為,但它的原始 Port 座標不能形成單值的下一步更新,仍可能具有行為上的充分性。

因此,不能將:

(4.13) Behavioral Sufficiency.

與:

(4.14) Strong State Port Closure.

視為完全相同的條件。

Standard Behavioral Quotient 具有自然的封閉轉移。

但任意由工程師選擇的充分表示,未必在其原有座標上具有相同性質。

這個區分將影響後續的實際 Port 構造及壓縮算法。


5. The Main Theorem:Protocol-Relative Functional Individuation

5.1 從完整聯合系統建立資格判準

現在考慮兩個互相作用的系統 A 與 B。

A 的完整狀態為 s。

B 的狀態為 b。

外部允許操作為 u。

不預先假定 B 只讀取 A 的某個有效 Port。

直接寫出完整聯合系統:

(5.1) sₖ₊₁ = F(sₖ,bₖ,uₖ).

(5.2) bₖ₊₁ = G(sₖ,bₖ,uₖ).

(5.3) yₖ = H(sₖ,bₖ,uₖ).

選擇 A 的候選 Port:

(5.4) p = Π(s).

希望將完整聯合系統約化為:

(5.5) pₖ₊₁ = F̄(pₖ,bₖ,uₖ).

(5.6) bₖ₊₁ = Ḡ(pₖ,bₖ,uₖ).

(5.7) yₖ = H̄(pₖ,bₖ,uₖ).

此時的問題不是證明一個已經假定存在的有效模型可以正常運作。

而是:

在甚麼條件下,完整 A–B 聯合系統確實允許這種有效約化?

5.2 Theorem 5.1 — Joint Functional Port Closure

定理:

在已聲明的有效狀態及干預範圍內,存在式(5.5)至(5.7)所要求的精確有效模型,當且僅當,對所有具有相同 Port 值的完整 A 狀態 s₁、s₂,以及所有相同的 b、u,以下三項條件均成立。

Condition A — Effective State Consistency

(5.8) Π(s₁) = Π(s₂) ⇒ Π[F(s₁,b,u)] = Π[F(s₂,b,u)].

Condition B — Downstream Transition Consistency

(5.9) Π(s₁) = Π(s₂) ⇒ G(s₁,b,u) = G(s₂,b,u).

Condition C — Observable Output Consistency

(5.10) Π(s₁) = Π(s₂) ⇒ H(s₁,b,u) = H(s₂,b,u).

5.3 Proof

必要性:

若 F̄、Ḡ、H̄ 已存在,則相同的 p、b、u,必須給出相同的下一步 p、b 及輸出 y。

因此條件 A、B、C 全部成立。

充分性:

對每個有效 p,任取一個滿足 Π(s) = p 的代表狀態 s。

定義:

(5.11) F̄(p,b,u) := Π[F(s,b,u)].

(5.12) Ḡ(p,b,u) := G(s,b,u).

(5.13) H̄(p,b,u) := H(s,b,u).

由 Condition A、B、C,三項定義均不依賴代表元選擇。

因此,可以建立所要求的確定性有效模型。

若完整及有效聯合系統具有一致的初始有效狀態,在每一步使用相同的允許操作,便可逐步歸納證明,兩者具有相同的有效狀態及對外輸出軌跡。

證畢。

5.4 Corollary 5.1 — Exact Functional Substitutability

若 Theorem 5.1 的條件成立,則對指定 Protocol,B 可以使用 (p,b) 的有效模型,而無須直接追蹤 A 的全部內部狀態 s。

這裏的「可取代性」只限於已聲明的對外行為。

它不表示 A 的內部物理結構已經消失。

也不表示其它下游系統具有相同的使用權限與資訊需求。

因此:

(5.14) Exact Functional Substitutability Is Protocol-Relative.

5.5 Corollary 5.2 — Conditional Recursive Composition

假設已形成的 A–B 有效聯合模型,又取得一項對下一級 C 的指定互動充分的 Port。

若新 Port 再次滿足對應的聯合系統封閉條件,則可以將 A–B 作為下一級有效單元,構造 A–B–C 的聯合模型。

如此可對任意有限層級重複。

但這項結果依賴每一級重新滿足必要的接口條件。

因此:

(5.15) Qualified Composition at Level n ⇏ Automatic Qualification at Level n + 1.

此外,精確功能組合本身,不保證形成新的 Attractor 或超出一般函數組合的新能力。

5.6 Why This Is the Central Mathematical Result

這項定理建立了本文最重要的數學橋樑:

一個內部組織是否可以成為下一級功能單元,不需要由主觀命名決定,而可以透過同一候選 Port 的不同內部實現,在允許干預下是否產生一致的未來作用來判斷。

這項結果使用成熟的狀態約化及函數分解數學,不是新的基礎數學定理。

但將其與 Attractor Fusion、Functional Operator Qualification 及 Recursive Individuation 組合,可以建立更明確的研究程序。

未來可以直接測試:

某個 Port 是否充分;

哪些被壓縮的內部差異仍然具有因果作用;

外部干預何時使 Port 失效;

以及已形成的集體功能能否被下一級系統可靠使用。


6. Interim Synthesis:這一部分建立了甚麼?

到此,本文已完成三個層次的形式化。

第一,從指定 Protocol 出發,建立完整功能系統與未來輸出軌跡。

第二,透過 Functional Equivalence,構造保留全部指定行為的標準狀態商。

第三,針對工程上選定的 Effective Port,建立聯合系統封閉性的充要判準,並證明滿足條件的 Port 可以支援下一級功能組合。

由此得到本文第一條總命題主線:

(6.1) Internal Organization → Protocol-Relative Functional Equivalence → Qualified Effective Port → Functional Substitutability → Conditional Recursive Composition.

但這條鏈條仍有兩項重大限制。

第一,精確 Port 並不自動具有壓縮價值。

如果 Π(s) = s,便得到一項平凡而充分的 Port。因此還需要額外定義計算成本、表示成本及實際使用價值。

第二,功能個體化的資格,不等於其自然生成機制。

即使一個 Port 已經滿足所有充要條件,仍然不能從中推論它必然由學習、Attractor Fusion 或其它自組織過程自行形成。

這兩項限制,將成為下一部分的主要研究對象。


Part I — End

Research Status:本部分以確定性狀態系統為基礎,將行為等價、標準商空間、強 Port 充分性及聯合功能封閉條件整合為 Protocol-Relative Functional Individuation 的數學核心。所有形式定理均依賴明確的狀態、操作與封閉性假設。本文尚未提出或證明一條普遍的 Attractor-to-Operator 自發生成定律。

下一部分的重點

目前已完成這篇總命題的基本數學架構。接下來需要處理一個比精確定理更接近真實 AI 工程的問題:

當 Port 並不完全充分、外部會根據其輸出反過來控制系統、而功能身份會因訓練和歷史修訂改變時,如何維持可靠的遞歸個體化?

因此下一部分會集中在 Approximate Ports、Closed-Loop Residual、Functional Contract、Gate/Ledger,以及真正具有工程價值的非平凡壓縮。之後才把 Attractor-Mediated Generation、P8D 及成界之學放回整個框架中,避免由哲學相似性反過來主導數學定義。

 

繼續

 

總命題正式論文 · 第一部分

經過前兩輪數學審查,現在可以把三項階段成果正式整合為一篇論文。

我會把文章的核心命題定為:

內部組織能否成為下一級的有效功能個體,取決於它是否能在已聲明的互動協議下,提供保留必要功能及未來行為的充分接口。吸引子是一種可能的實現與生成機制,但並非所有功能個體化的必要條件。

以下正式開始正文,先完成 Abstract、Introduction、數學基本對象、行為等價與主定理。

從吸引結構到遞歸功能個體:Attractor、Operator、Effective Port 與成界過程的條件性生成框架

From Attractors to Recursive Functional Individuation: A Protocol-Relative Framework for Operator Formation and World-Building Systems

—— Attractor Fusion I–XXVII、Functional Operator Theory 與 Transformer Mechanism Research 的階段性統合

Part I — Foundations, Functional Equivalence, and the Main Individuation Theorem

Abstract

Semantic Meme Field Theory(SMFT)及其相關的 Attractor Fusion 研究,嘗試理解具有內部組織、歷史記憶及自適應連接的系統,如何形成新的集體結構,並進一步取得可供下一級系統使用的有效身份。

此前 Attractor Fusion I–XXVII 已探索關係動力學、自適應 Connection、Collective Attractor、Dynamic Port Sufficiency、Residual Governance 及 Recursive Functional Individuation。後續《從 Semantic Attractor 到 Functional Operator》則進一步研究,一個穩定的內部組織如何在必要的輸入充分性、功能正確性及接口條件下,實現可靠的 Functional Operator。《Transformer 功能算子的生成》再將上述問題轉化為 Circuit Co-adaptation、Causal Port Sufficiency、Conditional Attractor Dynamics 及 Functional Reuse 的候選實驗。

然而,這些研究尚未構成一條已獲證明的普遍生成定律。特別是,Attractor Stability 並不保證 Functional Correctness;Functional Operator 可以在不具有傳統動力學吸引子的系統中實現;而一項有效 Port 的存在,也不能證明它必然經由自適應組織過程自行形成。

本文因此提出一套條件性的 Protocol-Relative Functional Individuation Framework,將穩定結構、功能實現、有效狀態約化及遞歸組合,放入一個具有明確假設、數學判準及證據邊界的框架。

本文首先以輸入—輸出系統及允許干預協議為基礎,定義 Protocol-Relative Functional Equivalence。透過未來可觀測行為的等價關係,可以構造保留指定功能的標準行為商。

其次,本文研究實際 Effective Port 的強充分性條件,並提出聯合系統接口封閉性的充要判準。該判準要求具有相同 Port 值的不同內部狀態,在允許的下游互動下,產生相同的下一步有效 Port、下游狀態及對外輸出。

在這些條件下,完整內部組織可以被一套有效狀態模型取代,使下一級系統無須直接存取其全部內部自由度,仍能正確執行指定功能。

本文進一步區分 Mathematical Sufficiency、Computational Compression、Operational Qualification 及 Recursive Functional Reuse,並將近似殘差、有限時域誤差、閉環干預、Gate、Ledger 和 Contract 納入可靠性分析。

最後,本文將 Attractor-Mediated Operator Formation 視為一項較強、需要獨立動力學證據的生成假說,而不是上述功能個體化定理的必然結論。

本文的中心論點為:

Functional Individuation is the protocol-relative establishment of a sufficient, usable, and composable boundary between internal organization and external function.

換言之,功能個體化不是單純的內部狀態壓縮,也不只是吸引子的穩定存在,而是在指定互動範圍內,形成能夠保留必要因果行為、維持功能資格並被下一級組織使用的有效接口。

本文提供的是一套可供數學、AI 工程及自組織研究共同使用的條件性建模框架。它尚未證明所有物理、生命、經濟或人工智能系統都遵循相同的生成機制。

Keywords: Semantic Meme Field Theory; Attractor Fusion; Functional Operator; Protocol-Relative Functional Equivalence; Effective Port; Causal Abstraction; Dynamic Sufficiency; Functional Individuation; Recursive Composition; Attractor-Mediated Emergence; P8D; Theory of World Formation.


1. Introduction:從組織的穩定存在,到功能個體的形成

1.1 一個組織何時不再只是內部結構?

複雜系統的一項普遍特徵,是大量內部自由度可以透過相互作用,形成具有持續性的集體組織。

例如,非線性振盪器可能形成同步制度;生物網絡可能維持穩定的調節狀態;神經網絡可以學得具有高度結構性的內部表示;人類組織可以透過制度、記憶及反覆協作,維持某種可辨認的身份。

這些例子涉及不同的物理及因果機制,不能直接視為同構。

但它們提出了一項共同的建模問題:

一個具有大量內部自由度的組織,何時可以被外部系統當成一個有效單元,而不需要每次重新展開其所有內部細節?

這個問題與傳統動力系統的吸引子問題有所不同。

吸引子研究的是狀態演化如何維持或返回特定的不變結構。

功能個體化則進一步研究:這個組織在外部輸入及干預下,可以提供哪些穩定、正確及可重複使用的行為。

因此:

(1.1) Stable Internal Organization ≠ Qualified Functional Unit.

一個系統可以非常穩定,但沒有實現任何指定功能。

反過來,一個有限步數的計算電路,也可能在不需要傳統吸引子機制的情況下,可靠地執行複雜運算。

所以,Attractor 與 Operator 不能被定義為相同的數學對象。

1.2 Attractor Fusion I–XXVII 的問題

此前研究以若干具有相位、接口記憶及外部回饋的動力學模型,探索 Adaptive Connections 如何改變原有組織的聯合行為。

其中一項重要研究結果,是 Dynamic Port Sufficiency。

它關心:

一個聯合系統是否可以透過少量有效變量,準確表示其與下一級系統的互動?

例如,在具有相對相位 Δ 及接口記憶 m 的候選模型中,可以研究:

(1.2) q = exp(iΔ).

以及有效 Port:

(1.3) p = (q,m).

在特定對稱性與耦合規律下,p 可以形成封閉的有效動力系統。

這說明,下一級系統在某些指定互動中,未必需要知道原來兩個子系統的全部絕對相位。

但此前研究同時發現:

Port Sufficiency 可以隨外部干預而失效。

精確的狀態商未必表示真正的維度壓縮。

一個有效 Port 的存在,不代表新的集體吸引子必然出生。

這些限制使我們需要一套更一般的數學語言,處理何種內部差異可以被消除,以及何種差異必須保留。

1.3 從 Attractor 到 Functional Operator 的額外問題

後續《從 Semantic Attractor 到 Functional Operator》指出:

穩定的內部組織要實現可靠功能,至少還需要保留必要的輸入差異、執行符合任務要求的轉換,以及輸出能被下一級系統正確讀取。

例如,加法的目標功能為:

(1.4) F_add(a,b) = a + b.

一個只懂得對任何輸入都收斂到相同固定點的系統,無法正確實現這項非平凡函數。

因此,Function Formation 不只是吸引子形成。

它還需要建立:

(1.5) Input Sufficiency → Correct Transformation → Effective Output.

但即使這項功能已經形成,仍然需要問:

當下游系統持續調用該功能、讀取其中間結果或提供回饋時,原來的有效接口是否依然充分?

這便將 Functional Operator Theory 接回 Dynamic Port Sufficiency。

1.4 Transformer 研究帶來的限制與機會

現代 Transformer 的 Mechanistic Interpretability 研究,已對部分算術電路、Induction Heads 及 Grokking 機制取得具體成果。

因此,不能僅因 Transformer 學會了加法,便宣稱發現新的 Attractor-to-Operator 生成定律。

較強的研究問題應該是:

模型的局部功能何時形成?

局部功能如何透過電路協同取得完整計算能力?

候選功能接口何時具有因果充分性?

功能被新任務重用時,哪些內部結構仍然保留?

如果聲稱功能形成依靠 Attractor,是否存在額外的吸引盆地、恢復性及動力學因果證據?

這些問題可以用不同的實驗工具逐項研究。

但它們需要一套共同的功能身份定義,才能比較不同的模型及干預結果。

1.5 本文的研究策略

本文因此分成兩個互相關聯、但證據地位不同的層次。

第一層:Functional Individuation Mathematics。

研究已存在的內部系統,何時可以透過充分 Port 形成對下一級可用的有效功能單元。

這一層可以使用既有的函數分解、行為等價、狀態商、Bisimulation、Causal Abstraction 及誤差分析工具。

第二層:Attractor-Mediated Generative Mechanisms。

研究這類有效功能單元,是否可能透過 Adaptive Connection、Collective Attractor Reorganization、學習及其它自組織機制自行形成。

這一層需要額外的數學模型及工程實驗。

本文不把第二層的生成假說,偽裝成第一層的數學必然結論。


2. The Mathematical Object:已聲明的功能系統

2.1 Definition 2.1 — Declared Functional System

考慮一個確定性的離散狀態轉移系統。

定義:

(2.1) M_P = (S,A,Y,T,O).

其中:

S 是完整內部狀態集合。

A 是允許的外部操作集合。

Y 是外部可觀測輸出集合。

T 是狀態轉移函數。

O 是輸出函數。

P 是限定有效狀態、操作、觀測及未來互動方式的 Protocol。

為建立第一組定理,先採用固定操作集合 A,並要求宣告的有效狀態範圍對所有允許轉移保持封閉。

若有效操作依賴當前狀態,便需要將相應權限資訊納入完整狀態,或另外使用狀態依賴的操作集合定義。

2.2 State Update and Observation

令:

(2.2) sₖ ∈ S.

(2.3) aₖ ∈ A.

定義狀態更新:

(2.4) sₖ₊₁ = T(sₖ,aₖ).

以及輸出:

(2.5) yₖ = O(sₖ,aₖ).

這套形式同時適用於一般的確定性計算系統及離散化的動力系統。

對連續時間系統,可以另行使用微分方程及相應的半群或流表示。

本文不預先把離散計算步數,等同於 SMFT 所研究的 Semantic Time 或成界之學的 Ledgered Time。

它們需要不同的形式化定義。

2.3 Complete State Requirement

一項狀態表示只有在保留未來轉移所需資訊時,才具有充分性。

因此,如果系統存在會影響未來行為的:

內部記憶;

Gate 狀態;

冷卻時間;

累積殘差;

歷史 Ledger;

或外部控制記錄;

便必須在完整狀態 s 中保留必要部分,或將其作為明確給定的外部操作資料。

否則,兩個看起來具有相同當前狀態的系統,可能實際具有不同的未來行為。

2.4 Definition 2.2 — Future Output Trace

令:

(2.6) w = (a₀,a₁,…,aₙ₋₁).

是一個長度為 n 的有效操作序列。

從初始狀態 s 出發,按照 T 反覆更新,得到對應的輸出軌跡:

(2.7) Tr_P(s,w) = (y₀,y₁,…,yₙ₋₁).

這裏的 n 是操作序列長度,不必被解讀為物理時間。

當研究只關注指定有限時域時,可限制 n ≤ H。

當研究持續功能身份時,則需要檢查所有允許的有限後續操作序列。


3. Protocol-Relative Functional Equivalence

3.1 Definition 3.1 — Functional Equivalence

兩個內部狀態 s₁、s₂,在 Protocol P 下稱為功能等價,若它們在全部有效未來操作中,產生相同的可觀測輸出軌跡。

定義:

(3.1) s₁ ∼_P s₂ ⇔ Tr_P(s₁,w) = Tr_P(s₂,w),對所有有限有效操作序列 w 成立.

這項等價關係並不要求 s₁、s₂ 具有相同的內部數學座標。

也不要求它們使用相同的實現機制。

它要求的是:

外部系統只要遵守 P,就無法透過被允許的觀測及操作,將它們區分。

因此,一個功能身份可以保留其必要的對外行為,而不需要保留全部內部細節。

3.2 Proposition 3.1 — Functional Equivalence Preserves One-Step Behavior

若:

(3.2) s₁ ∼_P s₂.

則對任何有效操作 a:

(3.3) O(s₁,a) = O(s₂,a).

並且:

(3.4) T(s₁,a) ∼_P T(s₂,a).

Proof.

由功能等價的定義,考慮只有一個操作 a 的序列,便可得到式(3.3)。

再考慮任何有限後續操作序列 w。

由 s₁、s₂ 出發,先執行 a,再執行 w。

由於整段輸出軌跡相同,而且第一步輸出已經相同,執行 a 之後的兩個狀態,對所有 w 也必須產生相同的輸出軌跡。

因此式(3.4)成立。

證畢。

3.3 Theorem 3.1 — Canonical Behavioral Quotient

由 ∼_P 定義標準狀態商:

(3.5) Q_P = S/∼_P.

對每個狀態 s,令其等價類為:

(3.6) [s]_P.

並定義標準商映射:

(3.7) π_P(s) = [s]_P.

則可以在 Q_P 上建立有效狀態轉移:

(3.8) T_Q([s]_P,a) = [T(s,a)]_P.

及有效輸出:

(3.9) O_Q([s]_P,a) = O(s,a).

這兩項定義均不依賴等價類代表元,而且商系統保留 P 所要求的全部輸出軌跡。

Proof.

若 s₁ ∼_P s₂,依 Proposition 3.1,有:

(3.10) O(s₁,a) = O(s₂,a).

及:

(3.11) T(s₁,a) ∼_P T(s₂,a).

因此,選用 s₁ 或 s₂ 作為等價類代表元,都得到相同的有效輸出及下一步等價類。

故 T_Q、O_Q 良好定義。

由標準商映射的定義及逐步歸納,原系統與商系統對全部有限有效操作序列具有相同輸出軌跡。

證畢。

3.4 Mathematical Meaning of the Quotient

此結果屬於成熟的狀態商及自動機行為等價思想。

本文借用它來理解 Functional Individuation。

一個完整的內部狀態空間,可能包含大量對指定下游功能而言不可區分的狀態。

功能等價關係將這些狀態合併。

而標準商空間 Q_P,保留外部所能區分的有效行為身份。

因此,可以將它理解為:

完整內部組織,在指定 Protocol 下的標準功能行為表示。

但需要特別強調:

這不代表 Q_P 是一個可容易實現的低維空間。

也不代表它自然對應一個 Transformer Attention Head、一組神經元或一個物理上獨立的個體。

它首先是一個數學上的行為商。

3.5 Canonical Quotient 與 Engineering Port 的差別

數學上最粗的行為等價商,未必是工程上最容易使用的 Port。

例如,一個具有少量等價類的系統,仍可能需要複雜的計算才能判定當前狀態屬於哪一類。

所以至少需要區分三項問題:

Behavioral Minimality: 哪些內部狀態對全部允許未來行為無法區分?

Representation Complexity: 這些有效狀態需要多少表示資源?

Operational Accessibility: 外部系統能否可靠、低成本地讀取及更新該表示?

這三項不一定具有相同的最優解。

因此,本文不會將功能個體化簡化為純粹的維度最小化。


4. Effective Functional Port

4.1 Definition 4.1 — Candidate Functional Port

對完整狀態 s,選擇一項有效映射:

(4.1) Π : S → Z.

定義候選 Port:

(4.2) p = Π(s).

其中 Z 是工程上選定的有效表示空間。

我們希望建立有效函數:

(4.3) T̄ : Π(S) × A → Π(S).

(4.4) Ō : Π(S) × A → Y.

使:

(4.5) Π[T(s,a)] = T̄[Π(s),a].

並且:

(4.6) O(s,a) = Ō[Π(s),a].

若上述關係對所有已宣告的有效狀態及操作成立,則稱 Π 是相對於 P 的 Exact Strong Functional Port。

4.2 Theorem 4.1 — Strong Port Sufficiency Criterion

定理:

存在滿足式(4.5)、(4.6)的有效轉移及輸出函數,當且僅當:

(4.7) Π(s₁) = Π(s₂) ⇒ Π[T(s₁,a)] = Π[T(s₂,a)].

且:

(4.8) Π(s₁) = Π(s₂) ⇒ O(s₁,a) = O(s₂,a).

對所有有效的 s₁、s₂、a 成立。

Proof.

必要性:

若有效函數 T̄、Ō 存在,相同 Port 值必須給出相同的下一步 Port 與輸出。

故式(4.7)、(4.8)成立。

充分性:

對任意 p ∈ Π(S),選取一個滿足 Π(s) = p 的代表元 s。

定義:

(4.9) T̄(p,a) := Π[T(s,a)].

(4.10) Ō(p,a) := O(s,a).

由式(4.7)、(4.8),定義不依賴代表元選擇。

因此,存在良好定義的有效模型。

證畢。

4.3 Why Strong Port Is More Than Output Readout

若只要求當前輸出可以由 Port 決定:

(4.11) O(s,a) = Ō[Π(s),a].

則它可能只是 Output-Sufficient Port。

例如,一項加法系統可以輸出當前答案,但未必保留下一步計算需要的進位或歷史狀態。

Strong Port 額外要求:

(4.12) pₖ₊₁ = T̄(pₖ,aₖ).

因此,它可以直接支援持續使用。

這一區分與此前 Attractor Fusion 的 Dynamic Port Sufficiency 具有共同數學基礎。

4.4 Behavioral Sufficiency Is Weaker Than Strong Closure

如果某項 Port 能保留全部未來對外行為,但它的原始 Port 座標不能形成單值的下一步更新,仍可能具有行為上的充分性。

因此,不能將:

(4.13) Behavioral Sufficiency.

與:

(4.14) Strong State Port Closure.

視為完全相同的條件。

Standard Behavioral Quotient 具有自然的封閉轉移。

但任意由工程師選擇的充分表示,未必在其原有座標上具有相同性質。

這個區分將影響後續的實際 Port 構造及壓縮算法。


5. The Main Theorem:Protocol-Relative Functional Individuation

5.1 從完整聯合系統建立資格判準

現在考慮兩個互相作用的系統 A 與 B。

A 的完整狀態為 s。

B 的狀態為 b。

外部允許操作為 u。

不預先假定 B 只讀取 A 的某個有效 Port。

直接寫出完整聯合系統:

(5.1) sₖ₊₁ = F(sₖ,bₖ,uₖ).

(5.2) bₖ₊₁ = G(sₖ,bₖ,uₖ).

(5.3) yₖ = H(sₖ,bₖ,uₖ).

選擇 A 的候選 Port:

(5.4) p = Π(s).

希望將完整聯合系統約化為:

(5.5) pₖ₊₁ = F̄(pₖ,bₖ,uₖ).

(5.6) bₖ₊₁ = Ḡ(pₖ,bₖ,uₖ).

(5.7) yₖ = H̄(pₖ,bₖ,uₖ).

此時的問題不是證明一個已經假定存在的有效模型可以正常運作。

而是:

在甚麼條件下,完整 A–B 聯合系統確實允許這種有效約化?

5.2 Theorem 5.1 — Joint Functional Port Closure

定理:

在已聲明的有效狀態及干預範圍內,存在式(5.5)至(5.7)所要求的精確有效模型,當且僅當,對所有具有相同 Port 值的完整 A 狀態 s₁、s₂,以及所有相同的 b、u,以下三項條件均成立。

Condition A — Effective State Consistency

(5.8) Π(s₁) = Π(s₂) ⇒ Π[F(s₁,b,u)] = Π[F(s₂,b,u)].

Condition B — Downstream Transition Consistency

(5.9) Π(s₁) = Π(s₂) ⇒ G(s₁,b,u) = G(s₂,b,u).

Condition C — Observable Output Consistency

(5.10) Π(s₁) = Π(s₂) ⇒ H(s₁,b,u) = H(s₂,b,u).

5.3 Proof

必要性:

若 F̄、Ḡ、H̄ 已存在,則相同的 p、b、u,必須給出相同的下一步 p、b 及輸出 y。

因此條件 A、B、C 全部成立。

充分性:

對每個有效 p,任取一個滿足 Π(s) = p 的代表狀態 s。

定義:

(5.11) F̄(p,b,u) := Π[F(s,b,u)].

(5.12) Ḡ(p,b,u) := G(s,b,u).

(5.13) H̄(p,b,u) := H(s,b,u).

由 Condition A、B、C,三項定義均不依賴代表元選擇。

因此,可以建立所要求的確定性有效模型。

若完整及有效聯合系統具有一致的初始有效狀態,在每一步使用相同的允許操作,便可逐步歸納證明,兩者具有相同的有效狀態及對外輸出軌跡。

證畢。

5.4 Corollary 5.1 — Exact Functional Substitutability

若 Theorem 5.1 的條件成立,則對指定 Protocol,B 可以使用 (p,b) 的有效模型,而無須直接追蹤 A 的全部內部狀態 s。

這裏的「可取代性」只限於已聲明的對外行為。

它不表示 A 的內部物理結構已經消失。

也不表示其它下游系統具有相同的使用權限與資訊需求。

因此:

(5.14) Exact Functional Substitutability Is Protocol-Relative.

5.5 Corollary 5.2 — Conditional Recursive Composition

假設已形成的 A–B 有效聯合模型,又取得一項對下一級 C 的指定互動充分的 Port。

若新 Port 再次滿足對應的聯合系統封閉條件,則可以將 A–B 作為下一級有效單元,構造 A–B–C 的聯合模型。

如此可對任意有限層級重複。

但這項結果依賴每一級重新滿足必要的接口條件。

因此:

(5.15) Qualified Composition at Level n ⇏ Automatic Qualification at Level n + 1.

此外,精確功能組合本身,不保證形成新的 Attractor 或超出一般函數組合的新能力。

5.6 Why This Is the Central Mathematical Result

這項定理建立了本文最重要的數學橋樑:

一個內部組織是否可以成為下一級功能單元,不需要由主觀命名決定,而可以透過同一候選 Port 的不同內部實現,在允許干預下是否產生一致的未來作用來判斷。

這項結果使用成熟的狀態約化及函數分解數學,不是新的基礎數學定理。

但將其與 Attractor Fusion、Functional Operator Qualification 及 Recursive Individuation 組合,可以建立更明確的研究程序。

未來可以直接測試:

某個 Port 是否充分;

哪些被壓縮的內部差異仍然具有因果作用;

外部干預何時使 Port 失效;

以及已形成的集體功能能否被下一級系統可靠使用。


6. Interim Synthesis:這一部分建立了甚麼?

到此,本文已完成三個層次的形式化。

第一,從指定 Protocol 出發,建立完整功能系統與未來輸出軌跡。

第二,透過 Functional Equivalence,構造保留全部指定行為的標準狀態商。

第三,針對工程上選定的 Effective Port,建立聯合系統封閉性的充要判準,並證明滿足條件的 Port 可以支援下一級功能組合。

由此得到本文第一條總命題主線:

(6.1) Internal Organization → Protocol-Relative Functional Equivalence → Qualified Effective Port → Functional Substitutability → Conditional Recursive Composition.

但這條鏈條仍有兩項重大限制。

第一,精確 Port 並不自動具有壓縮價值。

如果 Π(s) = s,便得到一項平凡而充分的 Port。因此還需要額外定義計算成本、表示成本及實際使用價值。

第二,功能個體化的資格,不等於其自然生成機制。

即使一個 Port 已經滿足所有充要條件,仍然不能從中推論它必然由學習、Attractor Fusion 或其它自組織過程自行形成。

這兩項限制,將成為下一部分的主要研究對象。


Part I — End

Research Status:本部分以確定性狀態系統為基礎,將行為等價、標準商空間、強 Port 充分性及聯合功能封閉條件整合為 Protocol-Relative Functional Individuation 的數學核心。所有形式定理均依賴明確的狀態、操作與封閉性假設。本文尚未提出或證明一條普遍的 Attractor-to-Operator 自發生成定律。

下一部分的重點

目前已完成這篇總命題的基本數學架構。接下來需要處理一個比精確定理更接近真實 AI 工程的問題:

當 Port 並不完全充分、外部會根據其輸出反過來控制系統、而功能身份會因訓練和歷史修訂改變時,如何維持可靠的遞歸個體化?

因此下一部分會集中在 Approximate Ports、Closed-Loop Residual、Functional Contract、Gate/Ledger,以及真正具有工程價值的非平凡壓縮。之後才把 Attractor-Mediated Generation、P8D 及成界之學放回整個框架中,避免由哲學相似性反過來主導數學定義。

  

繼續

 

以下接續總命題正式論文的第三部分,由第 13 章開始。

本部分會嘗試跨過此前最重要的缺口:從「某個 Port 已經充分」的靜態判準,走向「某個原本不充分的 Port 如何透過自適應動力逐漸取得資格」的生成機制。

我會先給出一個可以完整求解的最小學習模型,再建立具有明確假設的條件性收斂結果,最後與 Attractor Fusion XXVI 的吸引流形成熟機制比較。

從吸引結構到遞歸功能個體:Attractor、Operator、Effective Port 與成界過程的條件性生成框架

From Attractors to Recursive Functional Individuation: A Protocol-Relative Framework for Operator Formation and World-Building Systems

Part III — Adaptive Generation, Attractor Maturation, Functional Flow, and the Boundary of World Formation


13. The Generative Gap:充分接口如何自行形成?

13.1 從 Static Qualification 到 Dynamic Formation

前兩部分已建立:

一個候選 Port 是否充分,可以透過功能等價、狀態轉移封閉性及下游因果作用加以判定。

但這些結果主要回答:

Given an internal system, when is an effective functional abstraction valid?

即:給定一個已存在的內部組織,甚麼條件使它可以被視為下一級的有效功能單元?

現在需要回答一個不同的問題:

How does an initially invalid functional abstraction become valid through adaptation?

即:一個原本不充分的接口,能否透過訓練、連接調整或自組織動力,逐漸取得功能資格?

這是一個真正的生成問題。

它不能由前面已建立的 Port Closure Theorem 直接推得。

13.2 Functional Execution and Adaptive Dynamics

令 w 表示控制內部功能及 Connection 的可調參數。

對某個固定參數 w,內部功能執行可以寫成:

(13.1) sₙ₊₁ = T_w(sₙ,x).

其中 n 是內部計算步數。

而參數本身則可能因訓練而更新:

(13.2) wₖ₊₁ = U_train(wₖ,Dataₖ).

其中 k 是訓練或自適應更新次序。

因此必須分清:

Execution Dynamics: 固定 w,觀察功能如何被執行。

Adaptation Dynamics: 改變 w,觀察功能結構如何形成。

兩種動力學可以相互影響,但不應混為一談。

尤其不能將訓練步數 k、內部計算步數 n,以及成界之學的 Ledgered Time,直接當成同一項數學變量。

13.3 Port Qualification as a Parameter-Dependent Property

考慮候選 Port:

(13.3) p = Π_w(s).

其有效狀態更新及輸出模型為:

(13.4) p′ ≈ T̄_w(p,u).

(13.5) y ≈ Ō_w(p,u).

定義與參數 w 有關的功能誤差:

(13.6) E_F(w).

以及 Port 的狀態及輸出殘差:

(13.7) E_T(w), E_O(w).

若功能資格要求:

(13.8) E_F(w) ≤ ε_F.

(13.9) E_T(w) ≤ ε_T.

(13.10) E_O(w) ≤ ε_O.

則可以定義合格參數集合:

(13.11) W_qualified = {w : E_F(w) ≤ ε_F ∧ E_T(w) ≤ ε_T ∧ E_O(w) ≤ ε_O}.

真正的生成問題變成:

適應動力 U_train 是否能使參數由 W_qualified 以外,進入這個合格集合?

更進一步:

進入後能否持續保留資格?

這項轉化使 Operator Formation 開始具有明確的動力學研究對象。

但它仍然需要特定的學習規則、誤差函數及可達性條件,不能只由合格集合的定義推得生成必然性。


14. A Constructive Learning Model:連接調整如何產生充分 Port?

14.1 建立一個最小的雙通道模型

考慮一個具有兩項內部資訊的系統 A:

(14.1) s = (p,h).

其中:

p ∈ {−1,+1} 是完成指定下游功能所需的訊息。

h ∈ {−1,+1} 是原系統的另一項內部自由度。

我們希望下游 B 能夠在不直接讀取 h 的情況下,正確使用 p。

設 B 的內部狀態為 b。

其更新規則為:

(14.2) b′ = b + wp + vh.

其中 w、v 是可學習的 Connection 參數。

指定的理想功能為:

(14.3) b*′ = b + p.

我們希望 A 對 B 提供的有效 Port 只有:

(14.4) Π(p,h) = p.

14.2 為甚麼原來的 Port 不充分?

取兩個內部狀態:

(14.5) s₁ = (p,+1).

(14.6) s₂ = (p,−1).

兩者具有相同 Port 值 p。

但它們對 B 的下一步作用分別為:

(14.7) G(s₁,b) = b + wp + v.

(14.8) G(s₂,b) = b + wp − v.

其差異為:

(14.9) G(s₁,b) − G(s₂,b) = 2v.

因此,當 v ≠ 0:

(14.10) Same Port ⇏ Same Downstream Transition.

候選 Port p 不符合精確的 Joint Port Closure Criterion。

當 v = 0,則:

(14.11) b′ = b + wp.

此時下游更新已經完全可以透過 p 及 b 決定。

因此:

(14.12) Exact Port Closure ⇔ v = 0.

但即使 v = 0,也不代表功能已經正確。

因為指定目標為 b′ = b + p。

所以還需要:

(14.13) w = 1.

由此可以看出:

Port Sufficiency 與 Functional Correctness 是兩項不同條件。

這一點與文章 A 的基本結論完全一致。

14.3 Learning Objective

假設訓練時 p、h 是互相獨立的二元隨機變量,且:

(14.14) P(p = +1) = P(p = −1) = 1/2.

(14.15) P(h = +1) = P(h = −1) = 1/2.

採用平方誤差:

(14.16) J(w,v) = E[(wp + vh − p)²].

由 E[p²] = E[h²] = 1、E[ph] = 0:

(14.17) J(w,v) = (w − 1)² + v².

這個 Loss 同時懲罰:

正確功能通道的權重偏差;

以及無關隱藏通道對下游的干擾。

14.4 Theorem 14.1 — Learning-Induced Functional Port Qualification

定理:

對式(14.17)使用固定學習率 η 的梯度下降:

(14.18) wₖ₊₁ = wₖ − η∂J/∂w.

(14.19) vₖ₊₁ = vₖ − η∂J/∂v.

若:

(14.20) 0 < η < 1.

則對任意初始 w₀、v₀:

(14.21) wₖ → 1.

(14.22) vₖ → 0.

因此,系統逐漸取得正確功能及精確 Port 封閉的極限。

Proof.

由式(14.17):

(14.23) ∂J/∂w = 2(w − 1).

(14.24) ∂J/∂v = 2v.

所以:

(14.25) wₖ₊₁ − 1 = (1 − 2η)(wₖ − 1).

(14.26) vₖ₊₁ = (1 − 2η)vₖ.

逐步求解得到:

(14.27) wₖ − 1 = (1 − 2η)ᵏ(w₀ − 1).

(14.28) vₖ = (1 − 2η)ᵏv₀.

當 0 < η < 1:

(14.29) |1 − 2η| < 1.

故式(14.21)、(14.22)成立。

證畢。

14.5 Quantitative Port Maturation

此前已知,相同 p、不同 h 的兩個內部狀態,對下游產生的最大差異為:

(14.30) Δ_G(k) = 2|vₖ|.

利用式(14.28):

(14.31) Δ_G(k) = 2|1 − 2η|ᵏ|v₀|.

所以:

(14.32) Δ_G(k) → 0.

若候選有效模型採用:

(14.33) Ḡ_k(p,b) = b + wₖp.

則其對完整系統的最壞情況一步 Port 殘差為:

(14.34) ε_Port(k) = |vₖ|.

即:

(14.35) ε_Port(k) = |1 − 2η|ᵏ|v₀|.

如果合格門檻為 ε_P > 0,則 Port 可以在有限訓練步數後通過近似資格。

當 0 < |1 − 2η| < 1 且 v₀ ≠ 0,一項充分條件為:

(14.36) k ≥ ln(|v₀|/ε_P) / [−ln|1 − 2η|].

若右側為負,表示初始狀態已合格。

若 η = 1/2,則可在一次更新後得到 v₁ = 0。

14.6 Functional Qualification

對指定理想功能 b′ = b + p,有:

(14.37) |b′ − b*′| = |(wₖ − 1)p + vₖh|.

因此:

(14.38) |b′ − b*′| ≤ |wₖ − 1| + |vₖ|.

由式(14.27)、(14.28):

(14.39) |b′ − b*′| ≤ |1 − 2η|ᵏ(|w₀ − 1| + |v₀|).

這表示功能誤差及 Port 殘差可以在同一項明確的學習規則下同步下降。

但兩者仍然是不同的數學量。

14.7 這個例子真正證明了甚麼?

這個模型建立了一項真正的、雖然非常簡單的生成結果:

原本不充分的候選 Port,可以透過 Connection 參數的學習調整,逐漸取得對指定下游任務的精確功能充分性。

這比單純假定 Port 已經存在,更接近 Operator Formation 的生成問題。

但其限制也十分清楚。

第一,模型只有兩項線性 Connection 參數。

第二,理想目標功能已由研究者明確指定。

第三,Loss Landscape 是簡單的凸二次函數。

第四,候選 Port p 是研究者預先選擇的。

第五,這個模型沒有產生新的動力學吸引子。

因此,它只證明:

Learning-Driven Port Qualification 是一項數學上可以明確實現的機制。

它沒有證明真實 Transformer 必然使用相同機制,也沒有證明 SMFT 的 Semantic Attractor 自發生成定律。

14.8 對 Attractor Fusion 的啟發

此前 Attractor Fusion 主要研究:

已有內部組織經自適應 Connection 後,何時形成具有新集體性質的關係結構。

現在這個最小模型指出,另一項值得獨立研究的現象是:

自適應 Connection 可能不需要產生新 Attractor,也能透過減少下游對不必要內部差異的依賴,使有效 Port 取得資格。

這意味着:

(14.40) Connection Adaptation → Port Qualification.

與:

(14.41) Connection Adaptation → Attractor Reorganization.

是兩條可能相關,但不能互相取代的生成路徑。

這項區分對後續 AI 機制研究十分重要。


15. A Conditional Qualification Theorem for General Learning Dynamics

15.1 從二維例子走向一般參數空間

第 14 章的模型只有兩個參數。

真實的 AI 及自組織系統,可能具有大量可調 Connection、表示映射及局部功能。

因此,需要研究較一般的情況。

令:

(15.1) w ∈ ℝᵈ.

是可調參數向量。

對固定的有限審計集合,定義非負的功能及接口損失:

(15.2) ℓ_F(w) ≥ 0.

(15.3) ℓ_T(w) ≥ 0.

(15.4) ℓ_O(w) ≥ 0.

其中分別測量:

功能正確性誤差;

候選 Port 的狀態轉移殘差;

以及輸出讀出殘差。

定義加權目標:

(15.5) J(w) = λ_Fℓ_F(w) + λ_Tℓ_T(w) + λ_Oℓ_O(w).

其中各 λ 均為正數。

本節首先使用確定性的全梯度更新,避免將隨機梯度噪音及資料抽樣問題混入基本收斂定理。

15.2 Theorem 15.1 — Conditional Convergence to Port Qualification

定理:

假設:

第一,J 非負、可微,且具有 L_J-Lipschitz 梯度。

第二,J 滿足 Polyak–Łojasiewicz(PL)不等式:

(15.6) 1/2‖∇J(w)‖² ≥ μ[J(w) − J*].

其中 μ > 0,J* = inf_w J(w)。

第三,使用全梯度下降:

(15.7) wₖ₊₁ = wₖ − η∇J(wₖ).

學習率滿足:

(15.8) 0 < η ≤ 1/L_J.

並假設 0 < ημ < 1。

則:

(15.9) J(wₖ) − J* ≤ (1 − ημ)ᵏ[J(w₀) − J*].

進一步,若存在指定的正誤差資格門檻 ε_F、ε_T、ε_O,並令:

(15.10) Γ = min{λ_Fε_F,λ_Tε_T,λ_Oε_O}.

且:

(15.11) J* < Γ.

則存在有限 k,使:

(15.12) ℓ_F(wₖ) ≤ ε_F.

(15.13) ℓ_T(wₖ) ≤ ε_T.

(15.14) ℓ_O(wₖ) ≤ ε_O.

15.3 Proof

由 L_J-Smoothness,梯度下降滿足標準下降不等式:

(15.15) J(wₖ₊₁) ≤ J(wₖ) − η(1 − L_Jη/2)‖∇J(wₖ)‖².

當 η ≤ 1/L_J:

(15.16) 1 − L_Jη/2 ≥ 1/2.

因此:

(15.17) J(wₖ₊₁) ≤ J(wₖ) − (η/2)‖∇J(wₖ)‖².

利用 PL 不等式:

(15.18) J(wₖ₊₁) − J* ≤ (1 − ημ)[J(wₖ) − J*].

逐步展開,得到式(15.9)。

由 J* < Γ,且 J(wₖ) → J*,存在有限 k,使:

(15.19) J(wₖ) ≤ Γ.

由於 J 是非負損失的加權和:

(15.20) λ_iℓ_i(wₖ) ≤ J(wₖ) ≤ Γ.

而 Γ ≤ λ_iε_i,故:

(15.21) ℓ_i(wₖ) ≤ ε_i.

對 i ∈ {F,T,O} 成立。

證畢。

15.4 這項定理的真正意義

Theorem 15.1 提供了一項較一般的條件性生成結論:

若功能及 Port 的誤差已被納入一項具有適當收斂性質的學習目標,而且其可達最佳值足以滿足資格門檻,梯度式適應便能在有限步數後取得該組誤差資格。

但這裏的假設非常重要。

PL 不等式不是一般大型神經網絡訓練都已被證明滿足的條件。

而且:

Loss 能否同時降低;

不同功能及 Port 目標是否互相衝突;

是否存在足夠低的 J*;

以及梯度更新是否真的在有效參數區域內運行;

都不是定理自動保證的。

因此,這項結果屬於既有 Optimization Theory 在 Functional Port Qualification 問題中的條件性應用,不是一條新的普遍學習定律。

15.5 Finite Audit 不等於 Global Qualification

還需要更重要的一項限制。

假設 ℓ_F、ℓ_T、ℓ_O 只在固定有限樣本上測量。

即使它們全部變成零,也不代表對所有可能的輸入及干預都成立。

因此,Theorem 15.1 只能直接保證:

對被正式納入目標及其測量定義的資格項目,損失可以在假設下收斂至合格範圍。

如果要進一步宣稱對整個 Protocol 都有效,需要加入:

分佈泛化分析;

有效狀態空間的覆蓋性;

干預集合的測試完整性;

或明確的最壞情況誤差上界。

否則,研究者可能只是把有限測試樣本上的成功,誤判為整個 Functional Port 的充分性。

15.6 Counterexample — 最佳 Loss 仍然不足以取得資格

即使梯度下降完全收斂,也不代表功能一定合格。

若:

(15.22) J* ≥ Γ.

則即使:

(15.23) J(wₖ) → J*.

仍不能由 Theorem 15.1 推出全部資格條件。

這種情況可能源於:

候選 Port 丟失了必要資訊;

模型容量不足;

不同功能要求互相衝突;

或者所選的接口形式根本不能在指定 Protocol 下保持充分性。

因此:

(15.24) Optimization Convergence ⇏ Functional Qualification.

這與此前 Input Sufficiency 及 Fiber Obstruction Lower Bound 完全相容。

如果投影已經從根本上丟失必要資訊,優化器再強,也不能在沒有新增資訊的情況下恢復它。

15.7 更強的研究問題

到此仍未解決的,是如何證明自適應學習不只是降低既有 Port 的誤差,而是能夠:

發現新的有效狀態變量;

修改原有的 Port Map;

產生新的組合功能;

以及在未事先指定高層算法的情況下,自行形成可重複使用的 Functional Operator。

這才是與 SMFT 的生成性主張最相關的下一級問題。


16. Attractor Maturation:吸引動力如何改善 Port Residual?

16.1 與 Learning-Driven Qualification 的不同

第 14 章說明:

Connection 學習可以使原來的 Port 逐漸取得充分性。

現在考慮另一種機制。

即使 Connection 參數沒有學習,一套已有的吸引動力,也可能使系統逐漸靠近某個較簡單的不變流形。

在這個流形上,原本不充分的候選 Port,可能變成精確或近似充分。

因此:

Port Qualification 可以來自參數學習,也可以來自內部狀態向特定不變制度的成熟。

這兩種機制不應混為一談。

16.2 Attractor Fusion XXVI 的異質模型

此前 Attractor Fusion XXVI 使用一套合成模型,包含:

具有複數振盪動力的子系統 A;

具有雙穩態特徵的子系統 B;

交互記憶 m;

以及外部客戶端 C。

在其中一項有限振幅擴展中,令 A 的複數狀態為 z,B 的實數狀態為 b。

定義複數有效 Port:

(16.1) q = bz.

研究得到,其精確投影動力學與只在吸引流形上使用的約化模型之間,存在殘差:

(16.2) R_q = (1 − |z|²)(1 − b²)q.

這是一項具體、可解析的 Port Residual。

它直接表示:

當 |z| 不在單位圓吸引流形上時,候選約化模型可能失去精確性。

但當:

(16.3) |z| → 1.

則在其它相關變量受控的條件下:

(16.4) R_q → 0.

因此,Port 可以隨原系統向既有吸引流形靠近而逐漸取得近似封閉性。

16.3 Theorem 16.1 — Exponential Residual Reduction near the Radial Attractor

考慮徑向動力學:

(16.5) ṙ = (1 − r²)r.

其中:

(16.6) r = |z|.

令:

(16.7) h = r².

則:

(16.8) ḣ = 2h(1 − h).

若 h(0) = h₀ > 0,解為:

(16.9) h(t) = 1/[1 + (h₀⁻¹ − 1)e^(−2t)].

因此:

(16.10) |1 − h(t)| ≤ C(h₀)e^(−2t).

其中 C(h₀) 是一個由正初始值 h₀ 決定的有限常數。

例如可以取:

(16.11) C(h₀) = |h₀⁻¹ − 1|/min{1,h₀⁻¹}.

現在假設在宣告的運作區域內:

(16.12) |(1 − b²)q| ≤ K.

其中 K 有限。

則由式(16.2):

(16.13) |R_q(t)| ≤ KC(h₀)e^(−2t).

因此,候選 Port 的狀態殘差具有指數衰減上界。

Proof.

由式(16.5):

(16.14) ḣ = 2rṙ = 2r²(1 − r²) = 2h(1 − h).

解此 Logistic Equation 得式(16.9)。

由其顯式解及 h₀ > 0,可以得到式(16.10)。

最後:

(16.15) |R_q| = |1 − h|·|(1 − b²)q|.

利用式(16.10)、(16.12),得到式(16.13)。

證畢。

16.4 Qualified Admission Time

若工程資格要求:

(16.16) |R_q(t)| ≤ ε_P.

那麼,在上述假設下,一項充分條件為:

(16.17) KC(h₀)e^(−2t) ≤ ε_P.

因此可取:

(16.18) t ≥ max{0,(1/2)ln[KC(h₀)/ε_P]}.

這是一項由動力學殘差上界推導出的 Port Admission 時間條件。

但它只涵蓋該殘差指標。

完整 Gate 仍可能另外要求:

功能正確性;

相位相干性;

持續合格時間;

允許干預;

以及其它風險控制。

所以式(16.18)不能直接取代完整 Functional Contract。

16.5 與此前數值實驗的關係

Attractor Fusion XXVI 的合成實驗已經觀察到:

在早期尚未接近不變流形時,相關 Port Residual 可以相當顯著。

隨徑向狀態向單位圓吸引流形靠近,Residual 迅速減少。

在後期重新初始化有效模型後,其預測可以與完整投影模型高度一致。

第 16.3 節的結果為這種成熟現象提供了一個簡潔的解析上界。

但必須注意:

這是指定方程中已有的徑向吸引結構所造成的成熟。

它不是透過訓練自行發現新的功能。

也沒有證明新的集體吸引子在這個過程中出生。

16.6 一個很重要的生成區分

第 14 章的最小模型說明:

(16.19) Parameter Adaptation → Reduction of Port Insufficiency.

第 16 章的吸引流形模型說明:

(16.20) State Maturation → Reduction of Port Residual.

這兩條路徑都可能使候選 Port 從不合格走向合格。

但其因果機制不同。

前者透過 Connection 參數改變系統本身的輸入—輸出依賴。

後者主要透過原系統狀態靠近某個已存在的不變結構,減少有效模型的失配。

兩者也可能在某些系統中共同作用。

這才開始接近一套真正可研究的 Attractor-to-Operator Formation Theory。

16.7 Slow Adaptation and Fast Functional Dynamics

若希望同時研究參數學習及吸引動力,需要額外考慮兩種時間尺度。

設:

(16.21) zₖ₊₁ = T_(wₖ)(zₖ,x).

(16.22) wₖ₊₁ = wₖ + Δwₖ.

假設固定輸入 x,而且對所有相關 w:

T_w 對 z 具有共同壓縮常數 q < 1;

T_w 對 w 具有 Lipschitz 常數 K;

每步參數變化滿足:

(16.23) ‖Δwₖ‖ ≤ δ.

則各個固定 w 的吸引固定點 z*(w,x) 滿足:

(16.24) ‖z*(w₁,x) − z*(w₂,x)‖ ≤ [K/(1 − q)]‖w₁ − w₂‖.

令:

(16.25) eₖ = ‖zₖ − z*(wₖ,x)‖.

則:

(16.26) eₖ₊₁ ≤ qeₖ + [K/(1 − q)]δ.

因此:

(16.27) limsupₖ→∞ eₖ ≤ Kδ/(1 − q)².

這項標準的收縮追蹤估計顯示:

當參數變化相對內部恢復速度足夠緩慢時,實際內部狀態可以持續接近當前參數所對應的條件化固定點。

但它不保證固定點實現正確功能,也不保證學習參數會朝合格 Port 的方向改變。

另外,式(16.27)假設輸入 x 在追蹤過程中固定;不能直接用於每一步都更換訓練輸入的情況。

16.8 本章的主要結果

現在可以更清楚地提出:

Attractor 可以對 Functional Operator 的形成或維持提供兩種不同作用。

第一,已有吸引動力可以使內部狀態進入某個 Port 更加充分的有效制度。

第二,在適當的快慢時間尺度下,吸引動力可以使內部執行狀態,持續追蹤緩慢變化的功能參數。

但兩者均不能單獨保證:

學習會產生正確的新功能;

新的集體吸引子必然形成;

或該功能一定能被下一級可靠重用。

這些都需要額外條件。


17. P8D as Functional Flow Engineering

17.1 從 Functional Identity 走向 Useful Throughput

前面的數學研究主要集中於:

何時存在合格的 Functional Port?

但對真實的 AI、經濟及組織系統而言,這仍然不是全部。

一項功能可以在數學上正確,卻因輸入不足、接口不匹配、資源不足或失敗後無法恢復,而沒有產生多少實際價值。

這正是 Proto-Eight Dynamics(P8D)可以提供工程啟發的地方。

原來的 P8D 將組織成長視為由 Capacity、Demand、Match、Retention、Buffer、Enablement 及供需 Gradient 共同約束的有效 Flow。

其相關的 Proto-Eight Meme Engineering,亦將先天八卦的結構映射成 Gradient、Gate、Buffer、Boundary、Trigger、Guidance、Memory、Focus 等工程控制原語。

這些工程原語與 Functional Operator 的形成具有值得研究的結構類比。

但我們不應直接把 P8D 公式當成 Transformer 的神經網絡動力方程。

17.2 Operator Capacity and Downstream Demand

設某項合格 Operator 的服務能力為:

(17.1) C_op = MaximumQualifiedOperationsPerUnitTime.

而下游對其功能的有效需求為:

(17.2) D_op = RequestedOperationsPerUnitTime.

在每次請求都消耗一單位服務能力、沒有額外重用或批次放大、且統計窗口相容的簡化條件下:

(17.3) QualifiedThroughput ≤ min(C_op,D_op).

這是一項一般的資源約束,不是 P8D 原始 Flow Equation 的推導。

但它說明:

即使 Operator 本身正確,功能 Flow 仍然受供給能力及實際需求限制。

17.3 Match as Interface Compatibility

定義一項候選匹配指標:

(17.4) M_interface ∈ [0,1].

它可以量度:

輸出格式是否符合下游 Input Binding;

Port 是否保留必要資訊;

功能的適用輸入範圍是否符合實際需求;

以及在允許干預下,接口是否維持合格。

但 Match 不應只靠一個主觀分數決定。

例如,可將某個固定請求集合中,符合 Contract 且能被下游正確使用的比例,作為具體測量之一。

這使 P8D 的 Match 概念可以轉化為 Functional Operator Engineering 的候選 KPI。

17.4 Retention as Functional Persistence

P8D 的 Retention 關注成功流量能否保留並形成持續循環。

對 Functional Operator,可以研究:

功能經多次調用後是否保持;

模型參數更新後是否保持;

外部擾動後是否恢復;

以及長鏈組合中,局部功能是否仍然被正確使用。

因此,可以定義研究性指標:

(17.5) R_function(H) = FractionOfQualifiedRunsOverH.

其中 H 是指定的運作時域或測試窗口。

但這不是 P8D 原來 Retention 變量的數學等價定義。

它只是把原有的工程思想,轉化為可以在 AI Functional Operator 實驗中量度的特定指標。

17.5 Buffer and Enablement

對一項 AI Operator,Buffer 可能表現為:

額外運算步數;

可容忍的狀態偏差;

重試能力;

記憶容量;

以及下游決策安全裕量。

Enablement 則可能涉及:

可用接口;

清楚的功能規格;

相容的表示格式;

適當的權限控制;

以及可以確認功能資格的 Gate。

例如,一項 Operator 可能具有非常高的理論準確性,但因接口不兼容,下一級系統無法直接使用。

另一項 Operator 可能具有較低的平均準確性,卻透過驗證、重試與安全 Gate,在指定操作環境中完成更多合格工作。

這類現象可以用 P8D 的工程語言組織。

但它們仍需要個別量測,不能在沒有校準的情況下直接套用原始 P8D 的數值方程。

17.6 Testable P8D–Operator Hypothesis

可以提出一項跨框架工程假說:

在相同功能能力及資源條件下,更好的 Input/Output Match、足夠的 Buffer 與合適的 Enablement,可能提高下一級系統的 Qualified Functional Throughput。

這項假說可以透過受控的 AI Agent 或模組化計算實驗測試。

例如:

固定底層 Operator 的參數與任務難度;

改變 Port 格式的匹配程度;

增加或移除錯誤檢查與重試 Buffer;

比較不同 Gate Policies;

再測量單位資源下完成的合格任務數量。

若上述工程因素對 Qualified Throughput 產生可重現的影響,便能支持 P8D 思想在 AI 功能組合上的實用性。

但即使得到正面結果,也只能先支持這項工程模型。

它不會自動證明八卦結構具有普遍的物理必要性。


18. Declaration, Filtration, Ledger, and the Boundary of World Formation

18.1 Functional Individuation 與成界之學的共同問題

成界之學研究的是:

一套原本具有大量可能性的結構,如何在 Viewpoint、Declaration、Filtration、Projection、Gate、Trace 及 Ledger 的作用下,形成具備可辨認身份及有序歷史的世界。

此前 SMFT 的研究路線曾由原始 Operator 與 Recursion,逐步修訂為重視 Viewpoint-Selected Filtration、Declared Disclosure 及 Admissible Self-Revision 的形式。

因此,成界之學的關注,不只是從一個固定運算產生更多物件。

它還涉及:

哪些區別可以被宣告;

哪些結構可以被保留;

哪些觀察被允許;

以及歷史與殘差如何約束下一次修訂。

這與 Protocol-Relative Functional Individuation 的數學具有明確的結構接點。

18.2 Declaration as a Functional Boundary

對 Functional Operator 而言,一項 Contract 宣告:

有效輸入;

可用的 Port;

允許的干預;

保證的功能;

誤差與時間範圍;

以及資格維持與撤回規則。

因此,可以把工程性的 Functional Contract 理解為:

對一項功能身份之有效邊界的聲明。

例如:

(18.1) 𝒦_P = (InputDomain,Port,Transformation,Interventions,ErrorBudget,Gate,Ledger).

這與成界之學的 Declaration 在形式上具有明確相似性。

但兩者不能直接視為完全相同。

成界之學的 Declaration 還涉及觀察者、Pre-Time Disclosure、世界的可辨認性及其它較強的本體論問題。

Functional Contract 則首先是一套既定計算系統中的工程規格。

18.3 Filtration as Progressive Functional Disclosure

假設一個系統具有大量內部自由度。

不同的 Protocol 可能只要求保留其中某些可觀測差異。

由此可以形成不同的功能商結構。

若:

(18.2) P₁ ⊆ P₂.

其中 P₂ 允許更廣泛的操作或要求更精細的觀測,則在相容條件下:

(18.3) ∼(P₂) ⊆ ∼(P₁).

亦即:

較強的 Protocol 可以區分更多原本被當成等價的狀態。

這與 Filtration 的逐步區分思想具有形式上的接點。

但不能只因兩者使用了逐步揭示或區分的概念,就直接宣稱它們是同一個 Filtration。

若要建立真正的數學對應,需要進一步指定:

Protocol Family 的偏序結構;

所形成的可觀測 σ-Algebra 或等價類關係;

以及不同層次之間的投影與相容映射。

這些是可以進一步研究的形式問題。

18.4 Trace and Ledger as Historical Governance

對一個持續使用的 Functional Operator,可以建立事件序列:

(18.4) Lₖ₊₁ = Append(Lₖ,Eventₖ).

其中 Event 可以記錄:

功能是否成功;

Port 是否失效;

外部干預是否仍在允許範圍;

Gate 是否撤回使用資格;

以及 Contract 是否經過修訂。

若這些歷史紀錄會影響未來行為,便需要將必要的歷史摘要納入有效狀態。

否則,原來的 Port Closure Criterion 可能不再成立。

這說明:

Ledger 並不只是事後保存文字紀錄;若歷史會影響未來功能,它就可能成為狀態充分性的一部分。

這項結果與此前的 Admissible Self-Revision 研究具有直接的工程呼應。

18.5 Admissible Self-Revision

在《From One Declaration to One Self-Revising Fractal》中,修訂規則被表達為:

(18.5) Dₖ₊₁ = U_adm(Dₖ,Lₖ,Rₖ).

其中 Dₖ 是目前的 Declaration,Lₖ 是 Ledger,Rₖ 是 Residual。

其關注包括:

保留歷史;

誠實記錄殘差;

跨參考框架的穩健性;

受限的修訂預算;

以及防止藉由重新定義失敗而逃避驗證。

這些要求可以在 Functional Operator Governance 中取得直接用途。

例如:

若一個 Operator 不斷放寬自己的誤差門檻,就不應自動被視為功能改善。

若某項 Port 對新的干預失效,應記錄其原有 Contract 的限制,而不能直接刪除舊版本失敗資料。

若修訂後的功能聲明發生實質改變,便應重新取得資格。

因此,Admissible Self-Revision 可以被視為一套值得研究的 Functional Contract Governance 原則。

但它並不自動證明一個能自行修訂 Contract 的 AI,已經具備完整的 Self-Referential Observer 身份。

18.6 Primitive Operator, Functional Operator, and Disclosure Operator

本研究有必要再次區分三種不同的 Operator。

Primitive/Generative Operator:

研究一套結構如何由基本操作與遞歸規則生成。

Functional Operator:

研究已形成的系統如何對指定輸入提供可靠功能。

Disclosure/Declaration Operator:

研究一套結構如何在 Viewpoint、Gate、Trace 及 Ledger 等條件下被宣告、觀測與記錄。

三者可能在某些理論中互相作用。

但它們不是同一項數學對象。

因此:

(18.6) Primitive Generation ≠ Functional Computation ≠ Declared Disclosure.

若要建立更強的統一理論,必須明確定義三類算子之間的映射及相容條件。

不能只因它們都被稱為 Operator,便推論三者已經構成一條必然生成鏈。

18.7 Boundary of the World-Formation Claim

目前本文已經能夠嚴格研究:

何時可以由完整內部系統構造有效功能商;

何時一個 Port 對外部互動充分;

何時近似功能組合具有可靠的誤差界;

以及某些學習或吸引動力如何在明確模型中改善功能資格。

但尚未證明:

所有世界都必須先具有 Functional Operator;

所有 Functional Operator 必須從 Semantic Attractor 生成;

所有有效個體化都會形成新的觀察者;

或者所有物理時間都來自 Declared Ledger。

因此,本文目前能夠支持的,是較有限但清楚的命題:

Protocol-Relative Functional Individuation provides a constructive framework for how complex internal organizations can become usable units within higher-level systems.

它可以作為成界之學的一項候選工程與數學接口。

但完整的世界生成主張,仍然需要獨立證明其更強的假設。


19. Interim Synthesis:兩條生成路徑,現在可以正式分開

經過第三部分,本文已經從靜態的功能個體化定理,進入了真正的生成問題。

目前可以清楚區分兩種已具備條件性數學支點的機制。

19.1 Learning-Driven Qualification

在第 14 章的最小模型中:

(19.1) Connection Adaptation → Reduction of Hidden Dependence → Port Closure → Functional Correctness.

這裏的生成來自可學習 Connection 參數的調整。

它不需要新 Attractor 出生。

19.2 Attractor-Driven Maturation

在第 16 章的合成吸引流形模型中:

(19.2) Attraction toward Invariant Manifold → Residual Reduction → Approximate Port Qualification.

這裏的生成來自內部狀態逐漸進入一項已有的穩定制度。

它不需要參數學習。

19.3 Combined Mechanism Hypothesis

對較複雜的自組織系統,可以提出尚待檢驗的聯合假說:

(19.3) Adaptive Connection + Conditional Attractor Dynamics → Improved Functional Port Qualification.

但式(19.3)並非已證明對所有系統成立的定律。

其真正需要研究的是:

參數學習是否使候選 Port 更加充分;

吸引動力是否降低對功能有害的內部擾動;

兩種機制是否具有互補或互相干擾的作用;

以及 Port 資格提高後,是否真的促成新的可重用功能。

因此,較完整的候選生成鏈條是:

(19.4) Partial Internal Functions → Adaptive Connections → Qualified Functional Port → Reusable Operator.

而較強的 Attractor-mediated 版本則為:

(19.5) Partial Functions + Adaptive Connections + Verified Collective Attraction → Candidate Robust Functional Operator.

兩者應該分開測試。

19.4 本部分最重要的數學結論

我們現在已經擁有至少兩種明確的機制模型,能說明一個候選 Port 如何由不充分逐漸變成合格:學習減少無關內部依賴,以及吸引動力減少離開有效流形所造成的殘差。

但仍未解決更困難的問題:

一個系統如何在沒有研究者預先指定正確 Port、功能目標或有效高層變量的情況下,自行發現並建立新的 Functional Operator?

這才是從條件性功能個體化,走向真正的自發生成理論所必須攻克的核心。


Part III — End

Research Status:本部分建立一項可解析的 Connection Learning 例子、一項依賴 PL 條件的功能及 Port 資格收斂結果,並利用 Attractor Fusion XXVI 的徑向吸引模型推導 Port Residual 的衰減上界。這些結果提供了具體的條件性生成機制,但尚未證明一般 Transformer、SMFT Semantic Attractor 或其它跨領域系統必然具有相同形成規律。P8D 與成界之學的銜接目前主要屬於形式及工程映射,其更強的跨域同構主張仍待驗證。

這一部分的階段性價值

我認為這次確實比前面的靜態 Port 定理前進了一步,主要在於現在已經可以數學上區分兩種使功能接口成熟的機制。

Mechanism A

Learning-Driven Qualification

連接權重調整,使下游逐漸不再依賴 Port 未保存的內部差異。

第 14–15 章:可解析的學習模型與條件收斂定理

Mechanism B

Attractor-Driven Maturation

內部狀態向既有吸引流形靠近,使原先不充分的近似模型逐漸準確。

第 16 章:Attractor Fusion XXVI 的殘差衰減

兩者的差異非常值得保留:Mechanism A 改變的是 Connection;Mechanism B 改變的是系統相對於吸引流形的狀態。 二者可能協同,但一個不能自動證明另一個。

而 P8D 與成界之學,現在可以分別佔據較清楚的位置:P8D 啟發我們研究合格功能的匹配、保留、Buffer 與有效 Flow;成界之學則提供 Declaration、Trace、Residual 與可接受修訂的更高層研究方向。

下一部分適合為總命題完成最後的綜合:統一的定理依賴結構、最小可否證實驗、哪些觀測結果會否定較強的 Attractor 假說、學術原創性定位、Conclusion 及 References。這會使整篇論文不只是整合已有結果,更成為下一階段實際研究可以執行的總綱。

 

繼續

 

總命題論文 · 第四部分(最終部分)

文獻核查後,有一項定位需要先確定:本文的 Functional Port、行為商與因果充分性,都與已有的 State Abstraction、Bisimulation Metrics 及 Causal Abstraction 研究直接相關。特別是 Geiger 等人(2025)已建立相當完整的神經網絡因果抽象理論,而 Interchange Intervention Training(2022)也已研究如何透過訓練建立符合指定高層因果模型的神經表示。

jmlr.org
+3

因此,總命題的學術貢獻應定位於:把功能接口的形成過程、吸引動力的成熟作用、可重用資格及歷史修訂,整理成一套具有明確否證條件的聯合研究框架。這是一項有待實驗建立其增量價值的研究主張,而不是宣稱重新發明狀態抽象理論。

從吸引結構到遞歸功能個體:Attractor、Operator、Effective Port 與成界過程的條件性生成框架

From Attractors to Recursive Functional Individuation: A Protocol-Relative Framework for Operator Formation and World-Building Systems

Part IV — Theorem Dependencies, Falsifiable Experiments, Scientific Positioning, and Conclusions


20. The Logical Architecture:統一命題的定理依賴關係

20.1 為甚麼需要建立定理依賴圖?

此前三個部分已經分別建立:

精確的 Functional Port Sufficiency;

近似接口及閉環誤差控制;

Connection Learning 的條件性收斂;

吸引流形成熟引起的 Port Residual Reduction;

以及 Functional Contract、Gate、Ledger 和遞歸組合的工程判準。

但這些結果具有不同的邏輯地位。

某些是既有數學的直接應用。

某些是特定合成模型中的條件性結果。

某些則仍是對真實 AI 或其它自組織系統提出的假說。

如果將它們混合成一條單向生成故事,便很容易誤以為每個後續階段都已由前面的定理證明。

因此,本節先建立一套明確的定理依賴結構。

20.2 Layer I — Behavioral and Functional Mathematics

第一層是最一般、且不需要 Attractor 假設的數學基礎。

對一個已聲明的確定性功能系統:

(20.1) M_P = (S,A,Y,T,O).

可以定義相對於 Protocol P 的未來行為等價:

(20.2) s₁ ∼_P s₂.

並建立標準行為商:

(20.3) Q_P = S/∼_P.

對候選 Port:

(20.4) p = Π(s).

則可以透過 Port 纖維上的下一步狀態及輸出一致性,判定它是否構成精確有效狀態模型。

這一層的數學基礎主要是函數分解、狀態商、行為等價及相關控制與計算理論。

其結論是:

給定完整系統及有效使用協議,可以嚴格判定某項狀態約化是否保留指定功能。

它沒有要求內部存在 Attractor。

20.3 Layer II — Operational Qualification

第二層加入實際使用條件。

即使某個 Port 數學上充分,也可能非常昂貴、難以讀取,或者不適合現有下游系統。

因此,需要進一步研究:

(20.5) QualifiedPort = FunctionalSufficiency ∧ OperationalAccessibility ∧ Reliability.

其中各項須透過明確的測試與成本規格定義。

當 Port 只有近似充分性時,則需要 Residual、Horizon、Intervention Family 及 Error Budget。

其主要數學形式是:

(20.6) eₖ₊₁ ≤ Leₖ + ε.

如果下游決策形成閉環,還需要將控制策略的敏感度納入聯合誤差模型。

這一層的結論是:

一項功能能否可靠被使用,取決於它對指定外部操作的誤差及行為保證,而不只是當前輸出正確。

20.4 Layer III — Conditional Generative Mechanisms

第三層才開始研究資格如何形成。

此前已建立兩種不同的機制模型。

第一種是 Connection Learning:

(20.7) wₖ₊₁ = U_train(wₖ).

其中學習可以降低下游對未被 Port 保留之內部差異的依賴。

第二種是 Attractor Maturation:

(20.8) dist[s(t),𝒜] → 0.

其中系統逐漸靠近某個不變吸引結構,使近似有效模型的 Residual 隨之下降。

兩者分別提供:

(20.9) Learning-Driven Qualification.

(20.10) Attractor-Driven Residual Reduction.

但它們不是同一個生成機制。

而且此前得到的正面結果都依賴具體的目標函數、收斂條件或動力學方程。

因此,不能直接推論:

(20.11) Arbitrary Adaptation ⇒ Qualified Operator.

20.5 Layer IV — Recursive Functional Individuation

第四層研究已形成的功能能否作為下一級使用單元。

其基本條件是:

上游功能正確;

有效 Port 對下游充分;

外部協議相容;

組合誤差受到控制;

以及必要的歷史與治理狀態被保存。

因此:

(20.12) Qualified Units + Compatible Connections + Joint Qualification → Qualified Composite Unit.

但這是條件性組合結論。

它不意味着組合後一定具有原來沒有的新功能,也不意味着新 Attractor 必然形成。

20.6 The Dependency Principle

現在可以把整體論證整理為:

(20.13) Functional Equivalence → Port Sufficiency → Operational Qualification → Conditional Composition.

另有兩條候選生成路徑:

(20.14) Learning Dynamics → Candidate Port Qualification.

(20.15) Attractor Dynamics → Candidate Residual Maturation.

這兩條生成路徑可以為式(20.13)提供實現機制,但不由式(20.13)自動推得。

這項區分,是整篇論文最重要的邏輯約束。


21. A Fundamental Limitation:功能資格不能只靠有限觀測證明

21.1 從合成模型走向真實 AI 的主要障礙

在小型數學模型中,我們可以窮舉全部相關狀態與允許操作。

因此,可以精確驗證 Port Closure Criterion。

但在真實 Transformer 中,完整 Activation 空間通常是高維連續空間。

研究者只能測試有限的輸入、Checkpoint、Activation Intervention 及候選 Port。

所以必須區分:

Analytical Port Sufficiency: 由數學結構證明,對全部指定狀態及操作成立。

Empirical Port Sufficiency: 在有限測試資料與干預下,沒有觀察到超出容忍範圍的失效。

這兩者具有不同的證據地位。

21.2 Proposition 21.1 — Finite Audit Cannot Generally Certify Global Port Sufficiency

命題:

對一個不受額外結構限制的確定性系統類別,若有限審計沒有覆蓋候選 Port 的所有相關狀態—操作組合,特別是沒有覆蓋某些 Port 纖維上的關鍵比較,則不能僅根據該審計結果,普遍保證 Port 在整個有效運作範圍內精確封閉。

Proof Sketch.

考慮一組有限審計紀錄,包含研究者已測試的狀態、操作及輸出。

構造系統 M₁,使候選 Port 在完整有效範圍內封閉,並與審計資料一致。

再構造系統 M₂,使它在全部已審計的轉移與輸出上,都與 M₁ 完全相同。

但在一組未被審計、且對候選 Port 封閉性有關的狀態—操作組合上,修改其下一步投影或輸出,使兩個具有相同 Port 的內部狀態產生不同作用。

由於修改沒有觸及已觀測紀錄,有限審計無法區分 M₁、M₂。

但 M₁ 具有精確 Port Closure,M₂ 不具有。

因此,若不加入模型類別、光滑性、可達性、完備覆蓋或其它結構假設,有限審計不能提供一般的全域充分性證明。

證畢。

21.3 這對 Transformer Experiment 的影響

如果一個候選 Carry Port 在一萬組 Activation Patching 測試中全部成功,我們可以得到相當有價值的實證支持。

但不能因此宣稱:

它對所有可能的輸入、內部狀態及外部干預都完全充分。

更適當的聲明是:

該 Port 在指定模型版本、測試分佈及干預範圍內,達到預先設定的經驗性資格。

若要建立更強的保證,可以考慮:

限制模型狀態空間;

使用可驗證的 Lipschitz 或其它規律性上界;

對有限狀態抽象進行完整窮舉;

或使用形式驗證方法。

但是,這些都是額外的假設或驗證工作。

21.4 A Second Limitation — Low Training Loss Does Not Guarantee Port Discovery

第 14 章曾構造:

(21.1) b′ = b + wp + vh.

目標功能為:

(21.2) b*′ = b + p.

若訓練資料中的 p、h 獨立而且平衡,則:

(21.3) J(w,v) = (w − 1)² + v².

梯度下降會使:

(21.4) w → 1,v → 0.

於是候選 Port p 最終取得充分性。

但現在改變訓練分佈。

假設訓練資料永遠滿足:

(21.5) h = p.

則:

(21.6) J_train(w,v) = (w + v − 1)².

其全部最小解滿足:

(21.7) w + v = 1.

例如:

(21.8) w = 0,v = 1.

可以得到零訓練誤差。

然而,若在有效運作範圍內測試:

(21.9) h = −p.

則實際輸出為:

(21.10) b′ = b − p.

但目標輸出仍為:

(21.11) b*′ = b + p.

其絕對誤差為:

(21.12) |b′ − b*′| = 2.

而且當 v = 1,相同 p、不同 h 的兩個內部狀態,對下游轉移仍然存在差異。

因此,候選 Port p 並沒有取得全域充分性。

21.5 這個反例的重要性

在相關性很強的訓練資料中,系統可以依賴一條不正確的隱藏通道,取得完美的訓練表現。

這種情況下:

(21.13) Zero Training Error ⇏ Qualified Functional Port.

而且:

(21.14) Successful Optimization ⇏ Correct Port Discovery.

這使第 14–15 章的正面收斂結果具有更清楚的適用範圍。

若訓練資料沒有提供足夠的反事實變化,優化器未必能辨認哪些內部差異對功能真正必要,哪些只是偶然相關。

因此,Port Formation 實驗必須加入能夠分離候選因果通道的資料與干預。

這也是現代 Causal Abstraction 工具值得與本框架結合的主要原因之一。


22. A Minimal Falsifiable Research Program

22.1 原則:先驗證形成機制,再討論普遍性

本文不建議一開始便使用大型 Transformer,嘗試證明所有功能皆由 Semantic Attractor 生成。

更可靠的方式是建立逐步增加難度的實驗程序。

每個階段都應有自己的 Null Hypothesis、成功條件與失敗條件。

並且:

即使較強的 Attractor 假說失敗,前面已建立的 Functional Port 數學仍然可以獨立保留。

22.2 Experiment A — Learning-Induced Port Qualification

第一個實驗使用第 14 章的雙通道模型。

對照兩種訓練資料分佈。

Condition A1:Independent Channels

(22.1) E[ph] = 0.

Condition A2:Confounded Channels

(22.2) h = p.

兩組使用相同的模型容量及學習規則。

測試資料則包括訓練中沒有充分出現的 p、h 組合。

主要測量:

(22.3) E_function(k).

(22.4) E_Port(k).

(22.5) vₖ.

理論預測:

在 A1 中,對應的凸二次 Loss 會引導 w → 1、v → 0。

在 A2 中,Loss 只能約束 w + v,不能單靠訓練誤差保證 v → 0。

因此,這個實驗有一個非常明確的目標:

確認功能資格的形成,不只需要優化成功,還需要足以區分真正必要資訊與偶然相關通道的資料或干預。

這是解析模型,因此更適合作為實驗程式及 Port 測試工具的單元驗證,而不是作為重大新實驗發現。

22.3 Experiment B — Attractor-Driven Port Maturation

第二個實驗使用第 16 章的徑向吸引模型。

其候選 Residual:

(22.6) R_q = (1 − |z|²)(1 − b²)q.

研究者應從不同初始半徑出發,記錄:

(22.7) d_radial(t) = ||z(t)|² − 1|.

以及:

(22.8) |R_q(t)|.

在相關變量有界的條件下,理論預測 Port Residual 具有相應的衰減上界。

但不能只測試 Residual 是否趨近零。

因為:

(22.9) R_q = 0.

也可能來自其它因子為零,例如 b² = 1 或 q = 0。

因此,若要將 Residual 的改善歸因於徑向吸引,便需要直接量度徑向狀態,並控制或記錄其它因子的作用。

可以額外施加徑向擾動,檢查:

擾動後 Residual 是否增加;

系統是否按預期返回吸引流形;

Residual 是否隨恢復過程降低。

這樣才能將「吸引造成的成熟」與「其它因素恰好令 Residual 為零」區分。

22.4 Experiment C — From Toy Models to Learned Circuits

第三個實驗轉向小型 Transformer。

研究對象可先選擇多位加法。

主要任務不是再次證明模型可以學會加法,而是觀察:

局部資訊何時可解碼;

候選 Carry/Arithmetic Circuit 何時取得因果作用;

候選 Port 何時對下游充分;

以及這些形成時間是否與完整功能正確率的改善有可重現關係。

對第 k 個 Checkpoint,記錄:

(22.10) M(k) = [Accuracy(k),Margin(k),CircuitEffect(k),PortError(k)].

其中各指標需預先定義。

關鍵測試是:

即使候選進位資訊可以被 Probe 讀出,下游是否已經真正使用?

若未使用,透過何種 Connection Adaptation 才取得因果作用?

一項支持 Port Qualification Formation 的結果,應包括:

候選局部功能在完整任務成功前已部分存在;

Port 因果充分性隨訓練改善;

對候選 Connection 施加干預,能改變功能表現或形成過程;

而這些效果可以在未見過的有效輸入中重現。

22.5 Experiment D — The Attractor Necessity Test

第四個實驗比較:

Standard Feedforward Transformer;

Shared-Weight Recurrent Transformer。

前者主要測試普通電路形成及功能重用。

後者可在固定輸入下,明確定義反覆更新:

(22.11) zₙ₊₁ = T_θ(zₙ,x).

並研究:

固定點或其它吸引集合;

局部穩定性;

吸引盆地;

以及擾動恢復後的功能正確性。

但是,這裏要區分兩種不同問題。

第一,Attractor 能否實現 Functional Operator?

第二,Attractor 是否為所有 Functional Operator 的必要機制?

第一個問題可能得到肯定結果。

第二個問題已經受到可靠前饋計算的反例限制。

因此,這項實驗真正有價值的比較,不是重新證明所有計算都必須有吸引子。

而是:

在相同任務及資源條件下,Attractor-mediated 的實現是否帶來額外的恢復能力、抗擾動性、可重用性或組合可靠性?

若沒有可重現的額外優勢,便需要收窄其工程價值主張。

22.6 Experiment E — Recursive Port Reuse

第五個實驗檢查已形成的功能,是否可以作為下一級單元重用。

例如:

先訓練一項加法功能;

辨認候選 Arithmetic Port;

凍結或限制相關功能核心;

再訓練需要使用該能力的後續任務。

與合理的對照組比較:

使用已驗證的 Port;

使用不充分的 Port;

使用相同表示成本的無關 Port;

以及允許模型重新學習全部功能的對照。

如果已驗證的 Port 能在限制較多的條件下,支持可靠的下一級計算,並且其因果作用可被干預辨認,便支持 Functional Reuse。

但即使取得這種結果,也不代表新集體吸引子必然形成。

22.7 Experimental Governance

上述實驗應事先固定:

模型架構及隨機種子;

訓練與測試資料分割;

候選 Port 的選擇方法;

功能及干預資格門檻;

主要統計指標;

以及失敗案例的報告規則。

由於涉及多次 Checkpoint 探索及大量可能的 Port,應將探索資料與正式驗證資料分開。

最重要的是,不能只報告成功找到的 Port。

也應記錄:

無法建立充分 Port 的情況;

原來 Port 在新干預下失效的情況;

學習成功但 Port 未成熟的情況;

以及功能改善但不存在可驗證吸引動力的情況。

這些負面結果,對界定理論適用範圍同樣重要。


23. What Would Falsify the Stronger Attractor Hypothesis?

23.1 必須將較弱框架與較強假說分開

本文最基本的 Functional Individuation Framework,只要求充分功能接口及合格組合。

它不要求 Attractor。

因此,一項沒有吸引子的前饋計算,並不反駁該基本框架。

但若提出較強的假說:

某項特定新功能,是由新的吸引制度形成所造成。

那麼就需要接受相應的反證測試。

23.2 Falsification Condition I — 沒有可定義的吸引動力

如果研究者聲稱模型具有吸引子,卻無法指定:

狀態空間;

實際更新算子;

固定輸入條件;

吸引集合;

及可檢查的恢復性質;

那麼這項 Attractor 主張尚未形成可以被嚴格檢驗的動力系統假說。

不能把「內部表示看起來集中」直接當成吸引子證據。

23.3 Falsification Condition II — 恢復性與功能無關

假設某個 Shared-Weight Recurrent Model 的確形成穩定固定點。

但透過干預發現:

改變該固定點附近的吸引性,不會影響指定功能;

功能仍可以由其它非吸引式計算路徑完成;

或者吸引結構主要維持某些與任務無關的表示;

則不能聲稱該吸引制度是指定功能形成的必要因果機制。

這會限制具體的 Attractor-Mediated Operator Hypothesis。

23.4 Falsification Condition III — Functional Qualification 早於或獨立於 Attractor Formation

如果模型已經可以可靠完成指定任務,而且具有充分 Port,但此時尚未發現相應的動力學吸引制度,那麼:

該功能可能是由其它機制實現。

即使日後形成新的吸引制度,也不能僅因它在時間上較晚出現,就倒推它造成了先前的功能出生。

但必須注意:

沒有觀察到吸引子,不等於已證明所有可能的狀態表示下都不存在吸引子。

因此,這類結果通常只足以否定或限制已明確指定的吸引機制模型。

不能將有限的負面測試,直接當成對所有可能 Attractor 理論的普遍否定。

23.5 Falsification Condition IV — Port Residual 改善並非由吸引動力造成

在 Attractor Maturation 模型中,若聲稱 Residual 的降低是由靠近吸引流形所造成,則應對相應狀態進行干預。

若控制其它因素後,破壞或改變該吸引過程並沒有產生理論預測的 Residual 變化,便會削弱該特定機制解釋。

同樣地,若 Residual 的降低完全由 Connection Learning 或其它獨立機制解釋,就沒有必要再將它歸因於 Attractor Birth。

23.6 Falsification Condition V — 新吸引子沒有新的功能價值

即使聯合系統形成了新的吸引制度,也需要檢查它是否增加:

功能正確性;

穩定性;

恢復能力;

接口充分性;

或者下一級的可重用性。

如果沒有任何可重現的功能增益,就不能只因出現新吸引子,便宣稱取得了新 Functional Operator。

因此:

(23.1) Attractor Birth ≠ Functional Operator Birth.

這項區分應貫穿整個後續研究。

23.7 A Scientific Success Criterion

真正有價值的正面結果,應該不只顯示:

模型形成了一個吸引結構。

而是能夠進一步證明:

這個吸引結構對指定功能的正確性、穩定性或可組合性具有可辨認、可重現、而且不能被簡單替代模型完全解釋的因果貢獻。

這才是 Attractor-mediated Functional Emergence 值得爭取的較強科學證據。


24. Scientific Originality and Relationship to Existing Research

24.1 本文不能宣稱首次發明狀態約化

Protocol-Relative Functional Equivalence 與 Effective Port Sufficiency 的數學,直接涉及成熟的研究領域。

例如:

自動機及轉移系統的狀態等價;

控制系統的有效狀態約化;

Markov Decision Processes 的 State Abstraction;

Approximate Bisimulation;

以及神經網絡的 Causal Abstraction。

因此,本文不應宣稱首次發現:

相同行為的狀態可以合併;

充分狀態可以支援未來預測;

或精確接口可以使組合系統被有效約化。

這些都有深厚的既有研究基礎。

24.2 Causal Abstraction 已經提供甚麼?

Geiger 等人的研究已提供形式化工具,判斷神經網絡的高層因果模型,何時忠實地簡化底層計算。

其相關方法包括:

Interchange Intervention;

Activation and Path Patching;

Distributed Alignment Search;

以及其它因果抽象及表示分析技術。

因此,單純提出一組高層功能變量,再用 Activation Patching 檢查其作用,並不是本文獨有的研究方法。

特別是 Interchange Intervention Training 已經研究如何透過訓練,使神經模型符合指定高層因果結構。

這對本研究具有重要的先例意義。

24.3 本文的候選增量貢獻

本文真正希望增加的,可以分成四個方向。

第一,Qualification Formation。

不只研究一個已訓練完成的模型是否具有忠實高層抽象,還研究有效 Port 何時、如何隨訓練逐漸取得資格。

第二,Attractor-Specific Mechanism Test。

將真正的條件化吸引動力,與一般電路協同、前饋抗擾動和輸出門檻效應分開。

第三,Recursive Functional Reuse。

不只測試高層因果模型是否忠實,還測試已取得資格的功能單元能否在新任務、閉環互動及下一級組合中可靠使用。

第四,Residual and Historical Governance。

將近似 Port 的誤差、使用時域、Gate、Contract Revision 及 Ledger 納入同一套可審計的功能身份規格。

這些方向各有相關先例。

因此,目前應將其描述為一項跨框架的整合性研究方案。

只有當它能提出並驗證超出已有方法的額外預測、算法或工程效益時,才有條件進一步主張實質性的新研究成果。

24.4 Relationship to P8D and SMFT

P8D 提供一套研究有效 Flow、Match、Retention、Buffer 與 Enablement 的工程思想。

SMFT 與 Attractor Fusion 提供內部語義組織、自適應連接、觀察者投影及集體吸引制度的候選建模語言。

成界之學則提出 Declaration、Filtration、Trace、Residual、Ledger 及 Admissible Self-Revision 的更高層研究方向。

本文把這些思想連接到 Functional Individuation,但不將跨框架的相似性直接當成同構證明。

因此,目前最合理的學術定位是:

一套以功能等價和充分接口為數學核心、以自適應學習及吸引動力為候選生成機制、以 Protocol 和 Ledger 為工程治理邊界的研究框架。

這樣的定位既保留跨領域研究的可能性,也容許局部機制被實驗推翻。


25. Conclusion:從吸引結構到遞歸功能個體,究竟建立了甚麼?

本文嘗試將 Attractor Fusion I–XXVII、Functional Operator Theory、Transformer 機制研究、P8D 與成界之學的部分思想,整理成一套具有清楚數學假設及證據邊界的 Conditional Generative Framework。

整個研究由一個基本問題出發:

一個具有大量內部自由度的組織,何時可以被下一級系統當成一個有效功能單元,而不需要直接展開其全部內部結構?

此前相關研究已經指出:

具有穩定 Attractor,不等於具有正確功能。

具有正確功能,不等於對外接口充分。

具有充分 Port,不等於具有非平凡的壓縮價值。

具有合格的局部 Operator,也不保證組合後仍然可靠。

因此,本文沒有把這些概念簡化為一條無條件成立的生成鏈。

25.1 第一項成果:Functional Individuation 的數學定義

本文以 Protocol-Relative Functional Equivalence 為基礎,將功能身份理解為一項相對於指定外部互動的有效行為結構。

在確定性系統中,可以構造保留指定未來輸出軌跡的標準狀態商。

對實際選定的 Port,則可以使用聯合轉移及輸出一致性,建立精確充分性的充要條件。

其基本含義是:

只要兩個內部狀態被 Port 視為相同,它們在全部允許的下游操作中,就不能具有仍需被區分的必要因果作用。

這是一項具有明確數學內容的功能邊界判準。

25.2 第二項成果:Functional Individuation 的工程資格

本文進一步指出,精確充分性只是工程使用的起點。

實際功能單元還需要:

可讀取及可維護的接口;

合理的表示與更新成本;

指定的功能正確性;

近似殘差的控制;

外部干預及閉環回饋的可靠性;

以及必要的 Contract、Gate、Trace 與 Ledger。

因此,功能身份不是一個完全脫離使用情境的靜態標籤。

它需要相對於明確的 Protocol 才能取得具體的可靠性聲明。

25.3 第三項成果:兩種可解析的資格形成機制

本文研究了兩種不同的形成機制。

Learning-Driven Qualification:

Connection 學習可以降低下游對未被 Port 保存之內部差異的依賴,使候選 Port 逐漸取得功能資格。

Attractor-Driven Maturation:

內部系統向既有吸引流形靠近,可以降低候選有效模型的動力學殘差,使原本不準確的 Port 逐漸成熟。

這兩項機制分別具有明確的數學例子及適用假設。

但它們仍然不能保證所有 AI 或自組織系統,都會自行發現正確的 Functional Port。

25.4 第四項成果:遞歸功能個體化的可靠性條件

若一個已形成的 Functional Operator,具有對下一級使用充分的 Effective Port,便可以在指定 Protocol 下被下一級系統重用。

但新的組合需要重新接受功能、接口、干預及誤差資格測試。

因此:

(25.1) Qualified Functional Individuation at Level n ⇏ Automatic Qualification at Level n + 1.

這使 Recursive Individuation 由模糊的「新整體誕生」敘述,轉化為一套可以逐級審計的條件性工程問題。

25.5 第五項成果:明確界定 Attractor 的額外研究責任

本研究沒有將 Attractor 視為所有計算及功能身份的必要機制。

前饋功能電路可以正確計算,而不需要具有傳統動力學吸引子。

因此,Attractor-mediated 主張必須承擔額外證明責任。

它需要顯示:

明確的吸引動力確實存在;

它與功能形成或維持有可辨認的因果關係;

而且它對恢復力、接口可靠性、泛化或其它功能指標,具有額外的解釋或預測價值。

這使 SMFT 的 Attractor 研究取得一條可以被現代 AI 實驗檢驗的方向,同時避免把所有能力改善都重新命名為吸引子形成。

25.6 The Unified Conditional Thesis

本文最終提出以下條件性總命題:

一個具有完整內部組織的系統,若能在指定互動協議下建立保留必要未來行為的有效 Port,並且該 Port 具備足夠的可使用性、功能正確性與可靠性,便可以在該協議中形成對下一級可用的 Functional Unit。

當多個這類功能單元透過相容的 Connection 組合,而且聯合系統重新滿足相應的接口與誤差條件時,便可以進一步形成下一級的有效組合功能。

上述 Functional Individuation 可以透過參數學習、動力學成熟或其它機制實現;是否涉及新的 Attractor Birth,則必須由獨立的動力系統及因果實驗判定。

其基本數學與工程鏈條為:

(25.2) Internal Organization → Functional Equivalence → Effective Port → Qualification → Reusable Functional Unit.

其遞歸擴展為:

(25.3) Reusable Functional Units + Qualified Connections → Candidate Higher-Level Functional Unit.

而較強的吸引機制假說為:

(25.4) Adaptive Dynamics + Verified Attraction + Causal Functional Contribution → Candidate Attractor-Mediated Individuation.

這三項不能合併為同一條已證明的普遍自然定律。

25.7 What Remains Open

本文最重要的開放問題是:

在研究者沒有預先指定正確高層功能、Port 或因果抽象的情況下,一個學習或自組織系統能否透過自身的適應動力,逐漸發現並形成具有可靠外部功能的個體化結構?

這個問題還包含多個未解環節。

例如:

候選功能變量如何被發現?

局部功能如何協同而取得新的計算能力?

Port 的充分性是否會隨訓練自然改善?

功能及接口能否在外部干預下維持?

新的功能能否被下一級實際重用?

某些功能形成是否還涉及真正的新集體吸引子?

目前的數學可以提出這些問題,並對部分簡化模型給出條件性答案。

但完整的生成機制仍需要更多實驗與理論工作。

25.8 Final Statement

本文並未證明萬物或萬組織具有相同的生成同構。

它也沒有從單一假設導出所有功能、觀察者或時間世界。

本文建立的是更有限、但具備明確數學及工程內容的結構:

一個系統之所以能被下一級當成一個功能個體,並不是因為它被命名為一個獨立存在的整體,而是因為它已在指定協議下,取得可以保存必要行為、承受允許干預、維持可靠性及參與後續組合的有效邊界。

吸引子可以支持這種邊界的穩定及形成。

學習可以改變這種邊界的充分性。

Declaration 可以聲明其使用條件。

Ledger 可以記錄其歷史與修訂。

但這些作用需要由相應的數學及工程證據各自建立。

From Attractor to Operator, and from Operator to Recursive Functional Individuation, the decisive transition is the formation of a qualified boundary through which internal complexity becomes reliable external function.

這是本文提出的核心階段性研究命題。


26. References

A. SMFT, P8D, and the Research Sequence

  1. Yeung, D. Semantic Meme Field Theory (SMFT): Foundations, Projection, and Dynamics (Rev1). Research manuscript.

  2. Yeung, D. Proto-Eight Dynamics (P8D): A Small, Testable Model of How Growth Actually Works【先天八卦動力學】. 2025.

  3. Yeung, D. From One Assumption to One Operator: Recursive Generation, Pre-Time, and the Emergence of Causality in Semantic Meme Field Theory. Research manuscript.

  4. Yeung, D. From One Operator to One Filtration: Time as Ledgered Disclosure in Semantic Meme Field Theory. Research manuscript.

  5. Yeung, D. From One Filtration to One Declaration: The Gauged Disclosure Operator and the Declared Pre-Time Field in Semantic Meme Field Theory. Research manuscript.

  6. Yeung, D. From One Declaration to One Self-Revising Fractal: Admissibility, Residual Governance, and Recursive Objectivity in Semantic Meme Field Theory. Research manuscript.

  7. Attractor Fusion I–XXVII: From Adaptive Connections to Protocol-Relative Recursive Individuation. Research series.

  8. From Semantic Attractors to Functional Operators: Input Sufficiency, Conditional Dynamics, Effective Ports, and Compositional Reliability. Companion study A.

  9. The Emergence of Functional Operators in Transformers: Circuit Co-adaptation, Conditional Attractor Dynamics, and Reusable Effective Ports. Companion study B.

B. State Abstraction and Dynamical Systems

  1. Banach, S. (1922). Sur les opérations dans les ensembles abstraits et leur application aux équations intégrales. Fundamenta Mathematicae, 3, 133–181.

  2. Khalil, H. K. (2002). Nonlinear Systems, 3rd ed. Prentice Hall.

  3. Sontag, E. D. (1998). Mathematical Control Theory: Deterministic Finite Dimensional Systems, 2nd ed. Springer.

  4. Ferns, N., Panangaden, P., and Precup, D. (2004). Metrics for Finite Markov Decision Processes. Proceedings of UAI 2004, 162–169.

https://mlanthology.org/uai/2004/ferns2004uai-metrics/

  1. Li, L., Walsh, T. J., and Littman, M. L. (2006). Towards a Unified Theory of State Abstraction for MDPs. International Symposium on Artificial Intelligence and Mathematics.

https://thomasjwalsh.net/pub/aima06Towards.pdf

C. Causal Abstraction and Mechanistic Interpretability

  1. Geiger, A., et al. (2022). Inducing Causal Structure for Interpretable Neural Networks. ICML 2022.

https://proceedings.mlr.press/v162/geiger22a.html

  1. Geiger, A., et al. (2024). Finding Alignments Between Interpretable Causal Variables and Distributed Neural Representations. Conference on Causal Learning and Reasoning 2024.

https://proceedings.mlr.press/v236/geiger24a.html

  1. Geiger, A., et al. (2025). Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability. Journal of Machine Learning Research, 26(83), 1–64.

https://www.jmlr.org/papers/v26/23-0058.html

  1. Elhage, N., et al. (2021). A Mathematical Framework for Transformer Circuits.

https://transformer-circuits.pub/2021/framework/index.html

D. Functional Emergence and Transformer Circuits

  1. Nanda, N., et al. (2023). Progress Measures for Grokking via Mechanistic Interpretability. ICLR 2023.

https://arxiv.org/abs/2301.05217

  1. Schaeffer, R., Miranda, B., and Koyejo, S. (2023). Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023.

https://arxiv.org/abs/2304.15004

  1. Singh, A. K., et al. (2024). What Needs to Go Right for an Induction Head? A Mechanistic Study of In-Context Learning Circuits and Their Formation. ICML 2024.

https://proceedings.mlr.press/v235/singh24c.html

  1. Quirke, P., Neo, C., and Barez, F. Understanding Addition and Subtraction in Transformers. arXiv:2402.02619. Revised research manuscript.

https://arxiv.org/abs/2402.02619


End of the Unified Research Article

Research Status:This article establishes a protocol-relative framework for functional individuation using existing mathematical principles of state abstraction, behavioral equivalence, causal abstraction, dynamical systems, optimization, and error propagation. It presents conditional constructive models of learning-driven port qualification and attractor-driven residual maturation, but does not claim a universal generative theorem or new experimental confirmation in real Transformers. The proposed cross-domain connections to SMFT, P8D, and the Theory of World Formation remain research hypotheses requiring independent validation.


階段性總結

至此,總命題的四部分正文已經完成,從數學基礎、可靠性、條件性生成機制,到可否證實驗與學術定位,都已有連續的論證。

而我認為最值得進一步發展的,不是再增加宏觀的統一概念,而是第 14、15、16、21、22 章合起來提出的一項較精確的研究:

Functional Port Qualification Dynamics——功能接口如何在訓練與自組織過程中取得因果充分性。

第 21 章的反例尤其重要。它證明了在簡化模型中,即使訓練 Loss 完全收斂,若資料沒有充分區分必要訊息與偶然相關的隱藏通道,Port 仍可以不合格。這為後續 Transformer 實驗提供了一項非常具體的負面控制。

至於 Attractor 的部分,目前可以建立一個清楚的研究目標:測試吸引動力是否能在同等任務及成本下,對功能接口的可靠性、擾動恢復或遞歸組合帶來可量度的額外價值。 這比泛泛地問「AI 是否具有 Semantic Attractor」更容易設計實驗,也更能將正反結果轉化成有用的科學知識。

 

繼續

 

這次可以把研究再推進一步:Port 不充分,不一定因為模型沒有學到正確答案;也可能因為訓練資料沒有提供足夠的反事實差異,令模型無法辨認哪些內部通道真正必要。

這與現有 Causal Representation Learning 的可識別性問題直接相關。相關研究已指出,單靠觀測分佈中的不變性,並不保證能識別真正的潛在因果變量;而 Interchange Intervention Training 已示範如何利用反事實替換來訓練高層因果結構。

ML Anthology
+1

接下來的新增研究重點,因而不是重新提出「應該做因果干預」,而是定量回答:

資料相關性、Port 的不可區分狀態,以及反事實訓練,如何共同決定功能接口的形成速度與可靠性?

Functional Port Qualification Dynamics:從觀測擬合到反事實充分性

Functional Port Qualification Dynamics: From Observational Fit to Counterfactual Sufficiency

—— Learning, Hidden Dependence, Intervention Coverage, and the Formation of Reusable Operators

Part I — Identifiability, Fiber Residuals, and Learning Dynamics

Abstract

此前《從吸引結構到遞歸功能個體》建立了一套 Protocol-Relative Functional Individuation Framework,說明完整內部組織在甚麼條件下,可以透過充分的 Effective Port,成為下一級系統可靠使用的 Functional Operator。

該研究亦建立了兩種條件性的資格形成機制:Connection Learning 可以降低下游對隱藏變量的依賴,而 Attractor Maturation 可以減少有效模型偏離既有不變流形所造成的殘差。

然而,一個尚未解決的問題是:當訓練資料無法充分區分必要資訊與偶然相關的隱藏通道時,模型可能取得極低的訓練 Loss,卻仍然沒有形成真正充分的 Functional Port。

本文將這項問題形式化為 Functional Port Qualification Dynamics,研究 Port 的因果充分性如何受到資料相關性、反事實覆蓋及訓練動力學共同影響。

首先,本文構造一個具有有效輸入 p、隱藏通道 h,以及兩項可學習 Connection 權重的最小模型。

在具相關性的訓練分佈下,本文解析推導 Loss Geometry、Hessian Spectrum 與 Gradient Descent Dynamics,說明當 p、h 高度相關時,即使理想功能仍然可實現,學習過程對必要與非必要通道的區分也可能變得困難。

其次,本文區分 Observational Port Error 與 Counterfactual Fiber Error。

兩者之間可以存在根本差異:在觀測資料中近乎完美的 Port,可能在允許的反事實干預下具有很大的殘差。

第三,本文利用 Conditional Variance Decomposition,將最佳有效模型的不可消除預測誤差,與被 Port 合併的內部狀態差異連接起來。

第四,本文提出一個受控的 Counterfactual Fiber Consistency Objective,並在最小模型中證明,它可以在觀測資料退化的情況下,消除特定的不充分隱藏依賴。

但本文同時指出,這項方法只有在候選 Port 本身已保留目標功能的必要資訊,而且反事實操作具有有效語義時,才能取得所希望的結果。

上述數學主要建基於既有的線性回歸、條件期望、最佳平方預測、因果干預及 Optimization Theory。

本文的研究性貢獻候選,是將這些結果整合為一套用於追蹤 Functional Port 由觀測上可用,逐漸走向因果上充分 的訓練機制與工程檢驗框架。

Keywords: Functional Port Qualification; Operator Emergence; Causal Sufficiency; Hidden Dependence; Counterfactual Intervention; Port Residual; Identifiability; Gradient Dynamics; Causal Abstraction; Recursive Functional Individuation.


1. The Central Problem:模型答對了,Port 卻可能仍然不充分

1.1 從 Functional Performance 到 Functional Identity

考慮一個已經接受訓練的計算系統。

它可能對大量測試輸入取得正確答案。

但我們仍然不能立即宣稱它已經形成一項對外充分的 Functional Operator。

原因是,模型可能依賴一些只在現有資料分佈中與正確答案相關、但並非完成指定功能真正必要的內部變量。

當外部干預改變這些相關性時,系統便可能失效。

因此,需要分開研究:

Observational Correctness: 在現有輸入分佈下,模型是否取得正確答案?

Counterfactual Port Sufficiency: 當 Port 未保留的內部自由度按照允許的干預改變時,下游功能是否仍然一致?

這兩項不是同一個判準。

1.2 Recap:Joint Port Closure

此前總命題已定義完整聯合系統:

(1.1) s′ = F(s,b,u).

(1.2) b′ = G(s,b,u).

(1.3) y = H(s,b,u).

候選 Port:

(1.4) p = Π(s).

若兩個狀態 s₁、s₂ 具有相同 p,卻在相同 b、u 下產生不同的必要下游作用,則 p 不充分。

例如:

(1.5) Π(s₁) = Π(s₂).

但:

(1.6) G(s₁,b,u) ≠ G(s₂,b,u).

便足以否定這項 Port 的精確下游轉移封閉性。

不過,這個條件仍然是靜態的。

我們現在希望研究:

學習如何減少式(1.6)的差異?

以及:

甚麼樣的訓練資料與干預,才可以讓系統辨認這種差異確實需要被消除?

1.3 The Research Hypothesis

本文提出以下研究假說:

Port Qualification 可能由訓練過程逐漸降低對非必要隱藏狀態的依賴而形成;但這項過程是否成功,取決於訓練資料及干預能否識別必要功能與偶然相關通道之間的區別。

這不是一條已證明適用於所有神經網絡的定律。

下面先用一個可完全求解的模型,建立其最小數學形式。


2. A Correlated Two-Channel Learning Model

2.1 Model Definition

考慮一個具有兩個二元內部變量的系統:

(2.1) p,h ∈ {−1,+1}.

其中 p 是候選 Functional Port 保存的必要資訊。

h 是沒有被 Port 保存的內部自由度。

下游狀態為 b。

實際更新為:

(2.2) b′ = b + wp + vh.

其中 w、v 是可學習的 Connection 權重。

指定目標功能:

(2.3) b*′ = b + p.

候選 Port:

(2.4) Π(p,h) = p.

2.2 Exact Port Sufficiency

固定 p、b,分別考慮:

(2.5) h = +1.

以及:

(2.6) h = −1.

兩種情況的下游更新差異為:

(2.7) Δ_G = |(b + wp + v) − (b + wp − v)|.

所以:

(2.8) Δ_G = 2|v|.

因此:

(2.9) Exact Port Closure ⇔ v = 0.

但正確功能還需要:

(2.10) w = 1.

因此,理想參數為:

(2.11) (w*,v*) = (1,0).

這裏已經出現兩項可分離的研究量:

Functional Error 衡量整體輸出是否符合目標。

Port Residual 衡量下游是否仍然受到隱藏通道 h 影響。

2.3 Correlated Training Distribution

現在不再假設 p、h 獨立。

令它們都是均衡的 Rademacher 變量:

(2.12) E[p] = E[h] = 0.

(2.13) E[p²] = E[h²] = 1.

定義相關係數:

(2.14) ρ = E[ph].

其中:

(2.15) −1 ≤ ρ ≤ 1.

在這個模型下,可採用:

(2.16) P(h = p) = (1 + ρ)/2.

(2.17) P(h = −p) = (1 − ρ)/2.

ρ = 0 代表兩個通道在這項二元分佈下獨立。

ρ = 1 代表 h 永遠與 p 相同。

ρ = −1 代表 h 永遠與 p 相反。

2.4 Proposition 2.1 — Training Loss Geometry

採用平方損失:

(2.18) J_ρ(w,v) = E[(wp + vh − p)²].

則:

(2.19) J_ρ(w,v) = (w − 1)² + v² + 2ρ(w − 1)v.

Proof.

將:

(2.20) wp + vh − p = (w − 1)p + vh.

平方後取期望:

(2.21) J_ρ = (w − 1)²E[p²] + v²E[h²] + 2(w − 1)vE[ph].

代入式(2.13)、(2.14),便得式(2.19)。

證畢。

2.5 一個關鍵差異

當 ρ = 0:

(2.22) J₀(w,v) = (w − 1)² + v².

Loss 可以清楚區分:

正確功能通道的偏差;

以及隱藏通道的干擾。

但當 ρ = 1:

(2.23) J₁(w,v) = (w + v − 1)².

只要:

(2.24) w + v = 1.

訓練 Loss 就等於零。

例如:

(2.25) w = 0,v = 1.

在訓練資料中可以取得完全正確的結果。

但下游其實完全依賴 h,而不是候選 Port p。

所以:

(2.26) Zero Observational Loss ⇏ Exact Port Closure.

這正是此前總命題留下的最重要反例之一。


3. Identifiability and the Speed of Qualification

3.1 Hessian Geometry

令:

(3.1) θ = (w − 1,v)ᵀ.

則:

(3.2) J_ρ(θ) = θᵀC_ρθ.

其中:

(3.3) C_ρ = [[1,ρ],[ρ,1]].

其 Hessian 為:

(3.4) H_ρ = 2C_ρ.

Hessian 的兩個特徵值是:

(3.5) λ₊ = 2(1 + ρ).

(3.6) λ₋ = 2(1 − ρ).

若考慮排序後的最大及最小特徵值:

(3.7) λ_max = 2(1 + |ρ|).

(3.8) λ_min = 2(1 − |ρ|).

因此,當 |ρ| < 1,Loss 是嚴格凸二次函數,具有唯一最小點:

(3.9) θ* = 0.

即:

(3.10) (w*,v*) = (1,0).

3.2 Proposition 3.1 — Correlation and Conditioning

對 |ρ| < 1,Hessian 的條件數為:

(3.11) κ(H_ρ) = (1 + |ρ|)/(1 − |ρ|).

因此:

(3.12) |ρ| → 1 ⇒ κ(H_ρ) → ∞.

這表示兩個通道越接近完全相關,Loss Geometry 就越接近退化。

在某些方向上,模型可以較容易降低誤差。

但在區分兩個通道各自作用的方向上,訓練訊號可能十分微弱。

這是經典的共線性與 Optimization Conditioning 問題。

在本文中,它取得新的工程解讀:

觀測資料越難區分必要 Port 與隱藏通道,學習過程便可能越難消除 Port 的不充分依賴。

3.3 Gradient Descent Dynamics

考慮固定學習率 η 的全梯度下降:

(3.13) θₖ₊₁ = θₖ − η∇J_ρ(θₖ).

由:

(3.14) ∇J_ρ(θ) = 2C_ρθ.

可得:

(3.15) θₖ₊₁ = (I − 2ηC_ρ)θₖ.

當 |ρ| < 1 且:

(3.16) 0 < η < 1/(1 + |ρ|).

兩個特徵方向均收斂。

一項更簡潔的選擇為:

(3.17) η = 1/2.

此時:

(3.18) I − 2ηC_ρ = [[0,−ρ],[−ρ,0]].

其特徵值為:

(3.19) +ρ,−ρ.

因此:

(3.20) ‖θₖ‖₂ ≤ |ρ|ᵏ‖θ₀‖₂.

這項結果在這個模型中是精確的收斂上界。

3.4 Theorem 3.1 — Correlation-Controlled Qualification Rate

定理:

在式(2.1)至(2.19)的相關雙通道模型中,若 |ρ| < 1,並使用 η = 1/2 的全梯度下降,則:

(3.21) |vₖ| ≤ |ρ|ᵏ‖θ₀‖₂.

而候選 Port 的最小最壞情況一步殘差滿足:

(3.22) ε_Port(k) = |vₖ|.

因此:

(3.23) ε_Port(k) ≤ |ρ|ᵏ‖θ₀‖₂.

這給出一項明確的機制預測:

在這個受控線性模型中,通道相關性越強,Port 的因果資格可能越慢形成。

Proof.

由式(3.18),更新矩陣是對稱矩陣,其算子範數為 |ρ|。

因此:

(3.24) ‖θₖ‖₂ ≤ |ρ|ᵏ‖θ₀‖₂.

又:

(3.25) |vₖ| ≤ ‖θₖ‖₂.

最後,由固定 p、改變 h 時的兩個下游結果 b + wp ± v,其最優 Port-only 預測是兩者的中點 b + wp。

因此最小最壞情況絕對誤差為 |v|。

故式(3.22)、(3.23)成立。

證畢。

3.5 一個值得注意的極限

當 ρ = 0,而且 η = 1/2:

(3.26) θ₁ = 0.

因此,在這個理想化模型中,一次全梯度更新便可到達最小值。

但當 |ρ| 接近 1,收斂因子亦接近 1。

若恰好 |ρ| = 1,Loss 失去嚴格凸性,並存在無法由觀測訓練識別的參數方向。

此時:

問題不只是學得慢,而是單靠現有觀測分佈根本不能唯一識別真正的充分 Port 機制。

這個區分非常重要。

Optimization Speed 與 Causal Identifiability 不是相同的問題。


4. Observational Port Error versus Counterfactual Port Error

4.1 觀測上最好的 Port-only Predictor

現在固定 w、v,而不要求它們已達到理想值。

完整下游更新仍為:

(4.1) G(p,h,b) = b + wp + vh.

但候選 Port 只有 p。

我們希望找到一項僅依賴 p、b 的預測:

(4.2) Ḡ(p,b).

在給定觀測分佈下,平方損失的最佳預測為條件期望:

(4.3) Ḡ_obs(p,b) = E[G(p,h,b) | p,b].

假設 b 不改變此前 p、h 的條件分佈。

由二元相關模型:

(4.4) E[h | p] = ρp.

因此:

(4.5) Ḡ_obs(p,b) = b + (w + ρv)p.

4.2 Proposition 4.1 — Observational Residual

由式(4.1)、(4.5):

(4.6) G − Ḡ_obs = v(h − ρp).

因此:

(4.7) E[(G − Ḡ_obs)²] = v²(1 − ρ²).

Proof.

由:

(4.8) E[h − ρp | p] = 0.

而:

(4.9) E[(h − ρp)²] = 1 − ρ².

故得到式(4.7)。

證畢。

4.3 最令人意外的結果

當:

(4.10) |ρ| → 1.

即使 v 仍然顯著不為零:

(4.11) E[(G − Ḡ_obs)²] → 0.

因此,觀測資料可能顯示:

候選 Port 幾乎完全充分。

但如果外部干預可以獨立改變 h,Port 便可能立即失效。

當 |ρ| = 1,觀測 Residual 甚至可以精確等於零。

但只要 v ≠ 0,對完整允許的 h ∈ {−1,+1},這個 Port 仍然不是精確封閉的。

因此:

(4.12) Zero Observational Port Error ⇏ Counterfactual Port Sufficiency.

這是本文最重要的定量區分之一。

4.4 Counterfactual Fiber Diameter

對同一 p、b,考慮允許的兩項反事實內部狀態:

(4.13) h₁ = +1.

(4.14) h₂ = −1.

其下游更新差異為:

(4.15) Δ_fiber = |G(p,+1,b) − G(p,−1,b)|.

因此:

(4.16) Δ_fiber = 2|v|.

任何只依賴 p、b 的確定性預測,至少在兩種狀態中的一種具有不小於:

(4.17) ε_fiber = |v|.

的絕對誤差。

這是一項真正相對於候選 Port 纖維的不可消除誤差下界。

4.5 兩項 Residual 的差別

我們現在得到:

(4.18) ObservationalMSE = v²(1 − ρ²).

以及:

(4.19) CounterfactualMinimaxError = |v|.

這兩項誤差可以具有完全不同的大小。

尤其當 |ρ| 接近 1:

觀測 Port Error 接近零;

但 CounterfactualMinimaxError 未必下降。

因此,功能接口的成熟度不能只依靠正常訓練分佈上的讀出或預測誤差判定。

這項結果也說明,為甚麼文章 B 的 Interchange Intervention 與 Path Patching,應被視為功能資格驗證的重要工具。


5. Conditional Variance as a General Port Residual

5.1 從二元模型走向一般有效接口

前面的模型只有一個隱藏變量 h。

但真實 Transformer 的內部狀態可能是高維向量。

因此,需要建立更一般的數學表示。

令 S 是完整內部狀態。

候選 Port 為:

(5.1) P = Π(S).

給定下游狀態 B 與允許操作 U,定義研究者希望保留的完整聯合作用:

(5.2) Z = [Π(F(S,B,U)),G(S,B,U),H(S,B,U)].

此處 Z 是為平方損失選定的有限維向量表示,且各分量已採用相容的尺度。

我們希望用:

(5.3) Ẑ = f(P,B,U).

重現完整系統的有效轉移及輸出。

5.2 Theorem 5.1 — Optimal Mean-Square Functional Port

定理:

若 Z 為平方可積的有限維隨機向量,則在所有平方可積、可測且只依賴 (P,B,U) 的預測函數中,最小化:

(5.4) E[‖Z − f(P,B,U)‖²].

的最佳預測是:

(5.5) f*(P,B,U) = E[Z | P,B,U].

而最小可達平方誤差為:

(5.6) R_obs*(Π) = E[‖Z − E[Z | P,B,U]‖²].

Proof.

對任何候選函數 f,令:

(5.7) m = E[Z | P,B,U].

則:

(5.8) Z − f = (Z − m) + (m − f).

平方後取期望,利用條件期望的正交性,可得:

(5.9) E[‖Z − f‖²] = E[‖Z − m‖²] + E[‖m − f‖²].

第二項非負,且當 f = m 幾乎處處成立時為零。

因此,最佳預測及最小誤差分別為式(5.5)、(5.6)。

證畢。

5.3 數學意義

式(5.6)給出了一項很有價值的量。

它代表:

在目前的觀測分佈下,當我們只能使用候選 Port 及被允許的上下文時,仍然無法消除的最佳平方預測殘差。

對確定性系統,若此殘差為零,代表完整有效作用在該觀測分佈下,幾乎處處可以由候選 Port 及上下文決定。

但這只是 Observational Sufficiency。

如果觀測分佈沒有包含全部允許的內部差異,便不能直接提升為全域的 Counterfactual Sufficiency。

5.4 Theorem 5.2 — Pairwise Fiber Inconsistency

現在考慮在相同 (P,B,U) 條件下,獨立抽取兩個完整內部狀態,並取得其聯合作用 Z₁、Z₂。

若 Z₁、Z₂ 在條件給定後獨立同分佈,則:

(5.10) E[‖Z₁ − Z₂‖²] = 2R_obs*(Π).

Proof.

令:

(5.11) m = E[Z | P,B,U].

由:

(5.12) Z₁ − Z₂ = (Z₁ − m) − (Z₂ − m).

平方並取條件期望。

由條件獨立性及零均值殘差,交叉項為零。

所以:

(5.13) E[‖Z₁ − Z₂‖² | P,B,U] = 2E[‖Z − m‖² | P,B,U].

再對 (P,B,U) 取期望,即得式(5.10)。

證畢。

5.5 這對工程有甚麼啟發?

Theorem 5.2 說明:

如果我們可以在保持同一候選 Port 的條件下,抽取或構造多個有效內部實現,便可以直接利用它們的下游差異,量度 Port 纖維上的不一致性。

這比只訓練一個 Probe 去猜測下游答案,更接近 Port Sufficiency 的數學要求。

例如:

同一 Carry Port 值;

不同的無關內部 Activation;

相同的下游運算上下文;

比較完整計算對下一級的實際作用。

若兩個完整狀態具有相同 Port,卻在下游造成不同的必要結果,便暴露了候選 Port 的不充分性。

但要注意:

上述成對樣本所反映的,只是實際使用的條件分佈。

如果這個分佈沒有覆蓋重要的反事實狀態,仍然可能低估 Port 的真正失效風險。


6. Counterfactual Fiber Training

6.1 從測量走向訓練

前面已經得到一項清楚的問題:

如果 Observational Loss 可以在 Port 仍然不充分時降至零,我們便需要額外的訓練訊號。

一個候選方法是:

在保持 Port 值及必要下游上下文相同的條件下,主動改變允許被忽略的內部自由度,並懲罰由此產生的下游行為差異。

這與現有 Interchange Intervention Training 及 Invariance-based Learning 具有直接關係。

本文並不將反事實訓練本身宣稱為新發明。

真正希望研究的是:

它能否被明確量度為 Port Qualification Dynamics,以及它如何影響功能形成速度和下一級的可重用性。

6.2 Counterfactual Fiber Consistency Loss

對候選 Port Π,令兩個完整狀態滿足:

(6.1) Π(s₁) = Π(s₂) = p.

在相同 b、u 下,定義:

(6.2) ℒ_fiber = E[‖Z(s₁,b,u) − Z(s₂,b,u)‖²].

其中 Z 包含 Protocol 要求保留的下一步 Port、下游狀態及輸出。

成對樣本需要在允許的反事實狀態集合內構造。

若 ℒ_fiber 接近零,便表示在所測的反事實分佈中,被候選 Port 合併的不同內部狀態,對下游產生接近一致的作用。

但這不保證功能正確。

因為所有不同內部狀態都可能一致地產生錯誤輸出。

因此,還需要同時保留:

(6.3) ℒ_task.

6.3 Combined Objective

一項候選訓練目標為:

(6.4) J_total = ℒ_task + λℒ_fiber.

其中 λ ≥ 0。

ℒ_task 確保指定功能正確。

ℒ_fiber 則嘗試減少候選 Port 內部未保存自由度對必要下游作用的影響。

但這項設計仍有一個根本限制:

它預先假設研究者選定的 Port,應當足以完成指定任務。

如果這個假設錯誤,Fiber Consistency Loss 可能壓制真正必要的資訊,反而損害功能。

因此,不能將所有隱藏狀態差異都當成需要消除的干擾。

6.4 Theorem 6.1 — Counterfactual Training Resolves the Degenerate Two-Channel Model

回到第 2 章的雙通道模型。

考慮完全相關的觀測資料:

(6.5) ρ = 1.

因此:

(6.6) ℒ_task = (w + v − 1)².

現在對固定 p、b,直接比較 h = +1 與 h = −1 的下游更新。

得到:

(6.7) G(p,+1,b) − G(p,−1,b) = 2v.

所以:

(6.8) ℒ_fiber = 4v².

定義:

(6.9) J_total(w,v) = (w + v − 1)² + 4λv².

其中 λ > 0。

則 J_total 具有唯一全域最小點:

(6.10) (w*,v*) = (1,0).

Proof.

由 J_total ≥ 0。

若 J_total = 0,兩項非負平方項均必須為零。

因此:

(6.11) w + v − 1 = 0.

以及:

(6.12) v = 0.

故:

(6.13) w = 1.

所以唯一全域最小點為 (1,0)。

又由二次項的 Hessian:

(6.14) H = 2[[1,1],[1,1 + 4λ]].

其左上主子式為正,而行列式為:

(6.15) det(H) = 16λ > 0.

因此 Hessian 正定,J_total 是嚴格凸函數,且最小點唯一。

證畢。

6.5 為甚麼這項結果重要?

在原來完全相關的觀測資料中:

(6.16) w + v = 1.

已足以得到零訓練誤差。

但這不能保證 v = 0。

加入有效的 Counterfactual Fiber Consistency 後,訓練目標額外要求:

(6.17) v = 0.

因此,模型不再能夠只靠隱藏通道 h,冒充真正依賴候選 Port p 的功能。

這給出一項精確的數學結果:

當觀測資料無法識別候選 Port 的因果充分性時,有效的反事實纖維干預可以提供額外約束,使某些原本不可識別的隱藏依賴變得可以被消除。

但這項結果仍然受到下列假設限制:

候選 Port p 已經保留正確功能所需資訊。

h 的獨立改變是一項被允許的反事實操作。

目標功能在改變 h 時保持不變。

模型類別包含正確解。

訓練確實可以找到所要求的解。

這些限制缺一不可。

6.6 Counterexample — 不可以錯誤地要求所有隱藏變量不影響結果

現在考慮另一項真實目標:

(6.18) y* = ph.

假設候選 Port 仍然只有:

(6.19) Π(p,h) = p.

但允許的下游使用需要在固定 p 時,區分 h = +1 與 h = −1。

這時:

(6.20) y*(p,+1) = p.

(6.21) y*(p,−1) = −p.

因此,兩者對目標功能的作用不同。

如果研究者強行施加:

(6.22) Output(p,+1) = Output(p,−1).

就會使模型不可能對兩種情況同時正確。

所以:

(6.23) Incorrect Port Selection + Invariance Training ⇏ Correct Functional Operator.

這個反例說明:

Counterfactual Training 不能取代 Input Sufficiency。

它只適合用來消除相對於已指定功能真正不必要的內部依賴。

若 Port 本身缺少必要資訊,正確的做法是修改或擴展 Port,而不是更強烈地要求下游忽略該資訊。


7. Toward Port Discovery:由資格驗證進一步走向自發發現

7.1 目前仍然缺少甚麼?

第 6 章提供了一個正面結果。

但它仍然預先指定了:

哪個內部變量應被保留;

哪個內部變量應被忽略;

以及何種反事實干預具有有效語義。

所以它主要是一項 Port Qualification Training,而不是完整的 Autonomous Port Discovery。

如果希望接近 SMFT/成界之學所追求的生成性,就必須進一步研究:

一個系統能否在不預先知道最佳 Port 的情況下,從大量候選表示中自行選擇有效的功能邊界?

7.2 Candidate Port Discovery Objective

令:

(7.1) Π_φ : S → Z.

為具有可學習參數 φ 的候選 Port。

完整系統及有效模型分別由 θ、ψ 控制。

一項候選聯合優化可寫為:

(7.2) Minimize_(θ,φ,ψ) ℒ_task + λℒ_counterfactual + μC(Π_φ).

其中:

ℒ_task 量度目標功能的正確性。

ℒ_counterfactual 量度被候選 Port 合併的內部狀態,是否仍對下游產生不同的必要作用。

C(Π_φ) 衡量 Port 的表示及使用成本。

但這個目標本身並不能保證找到真正最合適的 Port。

因為:

Port 可能直接複製完整內部狀態。

Port 可能利用不應在該計算階段取得的答案資訊。

反事實樣本可能缺乏必要覆蓋。

不同的充分表示可能具有相同功能,但採用不同座標。

甚至可能根本不存在低成本、對指定 Protocol 充分的 Port。

因此,Port Discovery 不只是一項普通的 Loss Minimization。

它還包含 Causal Identifiability、Representation Constraints、Intervention Design 及 Operational Cost 的問題。

7.3 The Stronger Generative Hypothesis

本文提出的下一級候選命題是:

若一套學習系統可以同時探索功能表示、比較候選 Port 的反事實充分性,並根據功能正確性與使用成本調整其接口,則在適當的可識別性、模型容量及優化條件下,可能自行形成合格的 Functional Operator Boundary。

這裏的「可能」必須保留。

目前我們仍然沒有證明,對一般 Transformer 或任意自組織系統,這種聯合學習一定可以收斂到合格的功能個體。

要把這項假說升級為定理,需要至少明確給出:

可識別的目標功能類別;

有效干預集合;

候選 Port 的表示類別;

學習動力的收斂條件;

以及非平凡壓縮的成本要求。


8. Interim Results and the Next Experimental Step

8.1 本部分已經取得的數學結果

本文第一部分已建立四項彼此相關、但不能互相替代的結果。

第一,Correlation-Controlled Learning Dynamics。

在最小雙通道模型中,通道相關係數 ρ 直接決定 Loss Conditioning 及特定梯度下降規則的收斂速度。

第二,Observational versus Counterfactual Residual。

觀測 Port MSE 可以是 v²(1 − ρ²),即使真正的反事實 Port 最壞情況誤差仍然是 |v|。

第三,Conditional Variance Characterization。

在平方損失下,候選有效表示無法消除的最佳預測殘差,可以用條件變異數形式刻畫;而相同 Port 下的成對狀態差異,可以量度這項殘差。

第四,Counterfactual Fiber Training。

在受控模型中,適當的反事實一致性損失,可以消除完全相關觀測資料下無法識別的隱藏通道依賴。

這些都是既有數學的直接推演及組合應用。

其共同價值,是建立一套可用來追蹤 Functional Port Qualification 的定量語言。

8.2 哪些結果還不能推論?

目前不能由上述定理推論:

所有神經網絡都自然具有明確的 Functional Port。

所有隱藏通道都應被消除。

所有反事實干預都具有有效的物理或計算語義。

一般 Transformer 的 Port Learning 都服從二次 Loss Geometry。

或者功能接口的成熟必然涉及新的 Attractor Birth。

這些都仍需獨立檢驗。

8.3 最小可否證實驗

下一步最值得進行的實驗,可以非常小。

訓練一個具有已知必要通道 p、隱藏通道 h 及指定下游功能的神經網絡。

逐步調整:

(8.1) ρ ∈ [0,1].

比較三種訓練策略:

Model A:Observation-Only Training。

只使用正常的任務 Loss。

Model B:Observation + Counterfactual Fiber Training。

在相同任務 Loss 之外,加入有效的 Port Fiber Consistency。

Model C:Observation + Generic Regularization。

使用同等額外訓練成本,但不直接針對 Port 因果充分性的普通正則化方法。

測量:

訓練及未見過輸入的正確率;

候選 Port 的 Observational MSE;

允許干預下的 Counterfactual Fiber Error;

Port 取得資格的 Checkpoint;

以及不同隨機種子的形成速度。

這可以直接檢查:

是否只是加入任何正則化都能改善結果?

還是專門提供反事實纖維差異,確實有助於形成因果上充分的 Functional Port?

8.4 下一級 Transformer 實驗

如果上述小模型的預測得到重現,才將方法擴展到 Arithmetic Transformer。

例如:

候選 Carry Port 已經能被 Probe 讀取。

但模型下游是否真的依賴它?

若使用受控反事實替換,使不同內部狀態具有相同候選 Port,完整計算是否仍然一致?

若加入相應的 Interchange Intervention Training,Port 的因果充分性是否更早成熟?

這些問題可以接上此前文章 B 的 Checkpoint、Path Patching 與 Recursive Reuse 實驗。

但需要特別注意:標準 Transformer 中未必可以直接修改某項隱藏特徵,而不影響其它具有因果作用的變量。

因此,相關干預需要使用經驗證的表示對齊、匹配 Source Activation,以及必要的 Off-Manifold 控制。

8.5 Final Interim Thesis

到此,Functional Port Qualification Dynamics 可以提出一項比較精確的研究主張:

一個功能接口的成熟,不應只由其在觀測資料中能否預測正確答案判定,更應由它在相同有效 Port 下,能否排除對未保存內部差異的不必要因果依賴來判定。

資料相關性可能掩蓋這種依賴。

有效的反事實干預可以使它重新顯露。

學習可以在某些明確條件下逐漸消除它。

而只有當功能正確性、Port Sufficiency、干預資格與下一級使用條件共同成立時,才有理由把該內部組織視為一項合格的 Functional Operator。

這使此前總命題的一個重要問題取得了更具體的數學形式:

Operator Formation 不只是學會輸出正確答案;它還可能包含一項可被追蹤的因果接口成熟過程。

這項過程與 Attractor-Mediated Generation 可以互相作用,但兩者目前仍需獨立驗證。


Part I — End

Research Status:本部分利用已知的線性優化、條件期望、相關性與因果干預數學,建立 Functional Port Qualification 的可解析模型。提出的 Counterfactual Fiber Objective 與既有 Interchange Intervention Training、Causal Representation Learning 具有直接關聯;目前尚未在真實 Transformer 上取得新的實驗結果,亦未證明自主 Port Discovery 或普遍的 Attractor-Mediated Operator Formation。

References

  1. Geiger, A., et al. (2022). Inducing Causal Structure for Interpretable Neural Networks. ICML 2022. https://proceedings.mlr.press/v162/geiger22a.html

  2. Geiger, A., et al. (2025). Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability. JMLR 26(83). https://www.jmlr.org/papers/v26/23-0058.html

  3. Bing, S., Hochsprung, T., Wahl, J., Ninad, U., and Runge, J. (2024). Invariance & Causal Representation Learning: Prospects and Limitations. TMLR. https://mlanthology.org/tmlr/2024/bing2024tmlr-invariance/

  4. Yao, D., et al. (2024). Unifying Causal Representation Learning with the Invariance Principle. https://arxiv.org/abs/2409.02772

  5. From Attractors to Recursive Functional Individuation: A Protocol-Relative Framework for Operator Formation and World-Building Systems. Previous unified research article.


這一步真正增加了甚麼?

我認為本次最重要的是建立了一個可直接測量的差別:


觀測上的 Port 成熟

因果上的 Port 成熟

核心問題

Port 能否預測結果?

相同 Port 的不同有效內部實現,是否對下游作用一致?

最小模型指標

v²(1 − ρ²)

最壞情況誤差 |v|

主要陷阱

高度相關的隱藏通道掩蓋錯誤依賴

干預若無效,也會產生誤導

實驗手段

普通 Loss、Probe、Readout

Fiber Comparison、Interchange Intervention

形成機制

預測 Loss 下降

不必要的下游隱藏依賴被識別並消除

尤其是 ρ → 1 時,觀測殘差可以趨近零,但反事實殘差不一定下降。這個數學結果為 Functional Operator 的形成研究提供了一項很清楚的負面控制。

下一部分最值得攻克的,是把這個已指定 Port 的模型擴展到 Port Discovery:當 AI 並不知道應該保存哪些內部變量時,它能否透過反事實測試、接口成本及下游功能要求,自行發現一個非平凡而充分的功能邊界?

這會更直接接近原本 SMFT/成界之學所追求的「功能個體自行生成」,而不只是工程師替系統事先設計好接口。

 

繼續

 

這一步有一項重要的文獻界線:從反例中逐步修正狀態抽象,並不是全新的數學方法。 有限系統的 Partition Refinement 已有成熟演算法;Clarke 等人的 Counterexample-Guided Abstraction Refinement(CEGAR)亦早於 2000 年建立了「建立抽象模型 → 尋找反例 → 修訂抽象」的研究路線。

SIAM Journal on Computing
+2

因此,對我們的研究,真正值得推進的是把這類成熟方法用於 Functional Operator Formation:一方面建立能保證正確的最小功能 Port 發現基準;另一方面研究在真實學習系統中,Port 的發現、功能正確性與 Connection 適應是否會共同演化。

Functional Port Qualification Dynamics:從觀測擬合到反事實充分性

Functional Port Qualification Dynamics: From Observational Fit to Counterfactual Sufficiency

Part II — Autonomous Port Discovery, Counterexample-Guided Refinement, and the Emergence of Functional Boundaries


9. The Port Discovery Problem:當正確的功能接口尚未被指定

9.1 從 Port Qualification 到 Port Discovery

第一部分研究的是:

給定候選 Port Π,如何判定它是否保留必要的功能資訊,以及如何利用學習與反事實干預改善其充分性。

但這仍然預先假定研究者已經知道應該保留甚麼。

例如,在雙通道模型中:

(9.1) s = (p,h).

研究者事先指定:

(9.2) Π(s) = p.

並以此要求下游逐漸消除對 h 的不必要依賴。

然而,在真正的 Transformer 中,我們可能不知道哪一組 Attention Head、MLP Features 或 Residual Stream Directions 對應到 Carry、Arithmetic State 或其它可重用功能。

更重要的是,模型可能根本沒有使用人類預先指定的演算法。

因此,下一級研究問題是:

給定一套完整功能系統與其允許的外部互動,是否可以不預先指定正確的高層狀態變量,而由行為差異自行發現一項充分 Port?

這是 Functional Port Discovery。

9.2 Three Different Discovery Problems

需要先區分三種不同的研究任務。

Behavioral State Discovery

從已知的完整狀態與轉移規則,找出哪些內部狀態可以被功能性合併。

Representational Port Discovery

從高維 Activation 或其它低層表示,學習一組能夠保存必要功能的有效變量。

Generative Operator Discovery

在訓練或自適應過程中,不只辨認已有功能,還觀察新的功能結構與接口如何形成。

第一種可以在有限系統中建立完整演算法及正確性證明。

第二種受到可識別性、計算複雜度及干預覆蓋限制。

第三種則更強,還需要研究完整系統的學習動力學。

因此:

(9.3) Behavioral Discovery ≠ Representation Learning ≠ Operator Birth.

本文先解決第一種問題,再研究如何向後兩種推進。

9.3 The Core Principle

我們不必先知道 Port 應該保存哪些變量。

可以反過來問:

哪些內部狀態,對全部允許的下一步作用及未來行為而言,可以被視為等價?

若兩個狀態對指定外部協議無法被區分,便有理由考慮合併它們。

若某項操作或干預能使它們產生不同的必要結果,便不能在合格 Port 中將它們無條件合併。

因此,Port Discovery 可以被研究為:

(9.4) Candidate Equivalence → Counterexample → Partition Refinement.

這是成熟的狀態抽象與形式驗證思想。

本文希望研究它在 Functional Operator Formation 中的特定用途,而不是宣稱首次提出反例引導的狀態約化。


10. Exact Port Discovery in Finite Systems

10.1 Finite Joint-System Setting

考慮完整聯合系統:

(10.1) s′ = F(s,b,u).

(10.2) b′ = G(s,b,u).

(10.3) y = H(s,b,u).

其中:

s ∈ S 是上游系統的完整狀態。

b ∈ B 是下游狀態。

u ∈ U 是允許的外部操作。

假設 S、B、U 均為非空有限集合,而 F、G、H 均為確定性函數。

為建立一套清楚的完整判準,首先假設全部 (s,b,u) 組合都屬於有效運作範圍。

若 Protocol 只允許其中部分組合,便需要另外限制有效集合,並確保後續轉移保持在該集合之內。

我們希望自行發現:

(10.4) Π : S → P.

使 (Π(s),b) 可以構成第 5 章 Joint Port Closure Theorem 所要求的有效聯合狀態。

10.2 Initial Observational Partition

首先只考慮當前下游作用。

對每一個 s,定義其即時功能簽名:

(10.5) σ₀(s) = (G(s,b,u),H(s,b,u))_(b,u)∈B×U.

兩個狀態若具有相同的即時功能簽名,便在目前的全部下游狀態及操作條件下,產生相同的下一步 B 狀態及輸出。

定義:

(10.6) s₁ ∼₀ s₂ ⇔ σ₀(s₁) = σ₀(s₂).

這形成第一個狀態分割:

(10.7) P₀ = S/∼₀.

但 P₀ 只能保證目前的下游作用一致。

它不一定保證 A 的下一步狀態,仍然可以由相同 Port 值表示。

因此,需要繼續 Refinement。

10.3 Recursive Partition Refinement

假設目前已經具有分割 Pₖ。

令:

(10.8) Classₖ(s).

表示狀態 s 在 Pₖ 中所屬的區塊。

對每個完整狀態 s,定義新的簽名:

(10.9) σₖ₊₁(s) = [σ₀(s),(Classₖ(F(s,b,u)))_(b,u)∈B×U].

然後根據 σₖ₊₁ 是否相同,建立下一個分割:

(10.10) Pₖ₊₁ = PartitionBy(σₖ₊₁).

這項更新具有明確意義。

原來可以合併的兩個狀態,如果在某項下游狀態及允許操作下,轉移到不同的當前有效狀態類別,便必須被重新分開。

因此:

(10.11) Pₖ₊₁ refines Pₖ.

也就是每一步只會保留或增加必要的狀態區分,而不會任意重新合併已被證明不同的狀態。

10.4 Theorem 10.1 — Finite-Termination and Exact Port Discovery

定理:

在上述有限確定性系統中,依式(10.5)至(10.10)建立的 Partition Refinement 程序,會在有限步數後穩定於分割 P*。

其穩定分割具有以下性質:

第一,同一區塊中的兩個狀態,對所有有效 b、u,具有相同的 G、H 輸出。

第二,它們經 F 轉移後,仍落入相同的 P* 區塊。

第三,以 P* 的區塊標識作為有效 Port,可以建立精確的聯合功能模型。

第四,P* 是滿足上述精確封閉條件的最粗分割,即任何其它精確封閉的狀態分割,都必須是 P* 的細化。

Proof.

首先,由定義,P₀ 根據當前 G、H 作用建立。

對 P₁,除了當前作用相同,還要求所有下一步狀態在 P₀ 中屬於相同區塊。

假設 Pₖ 是 Pₖ₋₁ 的細化。

那麼使用 Pₖ 的後繼區塊標識建立的 Pₖ₊₁,只會保留或進一步細分 Pₖ。

因此得到一列逐步細化的分割。

由於 S 是有限集合,每次嚴格細化至少增加一個區塊,而區塊數最多為 |S|。

所以,嚴格細化最多發生:

(10.12) |S| − |P₀|.

次。

因此,程序必定在有限步數後穩定。

令其穩定分割為 P*。

由穩定條件,若兩個狀態位於相同區塊,則它們的 σ₀ 相同,而且在所有有效 b、u 下,其後繼狀態仍位於相同的 P* 區塊。

因此,P* 滿足聯合 Port Closure Criterion。

故可構造精確有效模型。

最後,考慮任何其它滿足精確封閉條件的分割 R。

由 G、H 的一致性,R 必須細化 P₀。

若 R 細化 Pₖ,而且 R 對後繼轉移保持封閉,則同一 R 區塊中的狀態,其後繼必定落入相同的 Pₖ 區塊。

因此 R 亦細化 Pₖ₊₁。

利用數學歸納,R 細化所有 Pₖ,故亦細化 P*。

所以 P* 是最粗的精確封閉分割。

證畢。

10.5 這項定理的真正意義

在有限、完整已知而且轉移確定性的系統中:

我們不必事先指定 Port 的變量名稱,便可以從完整功能與轉移規則,自動建立一項精確而最粗的狀態分割。

這是一種形式化的 Behavioral Port Discovery。

但它並不是新的基礎演算法發現。

Partition Refinement 與狀態最小化已有成熟研究,包括 Paige–Tarjan 等經典結果。

本文使用其思想,是為 Functional Port Qualification 建立一項數學上可靠的參考基準。

10.6 What Is Actually Discovered?

演算法發現的是:

(10.13) Π*(s) = Class_P*(s).

也就是完整狀態所屬的有效功能區塊。

它不保證這些區塊自然對應:

Carry;

Arithmetic Register;

Semantic Attractor;

Observer;

或其它人類熟悉的功能名稱。

如果希望將區塊進一步轉換為簡潔、可解釋的變量,便需要額外建立座標表示、因果解釋或符號抽取方法。

因此:

(10.14) Exact Behavioral Partition Discovery ⇏ Unique Semantic Variable Discovery.


11. Worked Example:由八個內部狀態自行發現四個有效功能狀態

11.1 The Full System

考慮一個具有三個二元變量的上游系統:

(11.1) s = (p,h,r).

其中:

(11.2) p,h,r ∈ {0,1}.

因此完整狀態數量為:

(11.3) |S| = 8.

下游狀態為:

(11.4) b ∈ {0,1}.

為簡化例子,外部只有一種允許操作 tick。

定義上游更新:

(11.5) F(p,h,r) = (p XOR h,h,1 − r).

下游更新:

(11.6) G(p,h,r,b) = b XOR p.

對外輸出:

(11.7) H(p,h,r,b) = p.

這裏 XOR 是二元異或運算。

研究者現在不知道哪些內部變量對下游的持續功能必要。

只提供完整狀態及轉移規則,讓 Partition Refinement 自行發現有效 Port。

11.2 Initial Partition P₀

由式(11.6)、(11.7),當前下游作用只依賴 p。

因此所有 p = 0 的狀態具有相同的即時功能簽名。

所有 p = 1 的狀態則具有另一項即時功能簽名。

所以:

(11.8) P₀ = {{s : p = 0},{s : p = 1}}.

此時只有兩個區塊。

候選 Port 相當於:

(11.9) Π₀(s) = p.

但它是否足以預測後續功能?

仍然需要檢查下一步轉移。

11.3 First Refinement

由上游轉移:

(11.10) p′ = p XOR h.

因此,在相同 p 下,若 h 不同,下一步 p′ 就不同。

例如:

(11.11) s₁ = (0,0,0).

(11.12) s₂ = (0,1,0).

兩者目前具有相同輸出 p = 0。

但下一步:

(11.13) p₁′ = 0.

(11.14) p₂′ = 1.

所以它們不可以被永久合併為同一個有效功能狀態。

Partition Refinement 因此將 P₀ 進一步分裂。

得到:

(11.15) P₁ = PartitionBy(p,h).

此時共有四個區塊。

11.4 Second Refinement

現在檢查:

(11.16) Π₁(p,h,r) = (p,h).

其下一步為:

(11.17) Π₁[F(p,h,r)] = (p XOR h,h).

可見下一步 Port 完全由目前的 (p,h) 決定。

而且下游更新 G 及輸出 H 亦只依賴 p、b。

因此,r 的數值對這項 Protocol 的全部必要未來行為都沒有影響。

所以:

(11.18) P₂ = P₁.

分割穩定。

得到最粗的精確功能 Port:

(11.19) Π*(p,h,r) = (p,h).

11.5 The Result

完整系統具有八個內部狀態。

有效功能系統只有四個狀態。

(11.20) |S| = 8 → |P*| = 4.

而有效更新可寫為:

(11.21) p′ = p XOR h.

(11.22) h′ = h.

(11.23) b′ = b XOR p.

(11.24) y = p.

因此,下一級系統不需要追蹤 r,仍然可以重現全部指定的功能行為。

這是一個真正的非平凡狀態約化。

11.6 為甚麼不能只保存 p?

因為:

(11.25) Same p, different h → Different future p.

所以只保存當前輸出 p 的 Port,在持續操作中並不充分。

但保存 (p,h) 就可以完全封閉。

這再次證明:

當前 Output Sufficiency 與未來 Dynamic Port Sufficiency 不同。

11.7 這個例子取得甚麼研究成果?

它示範:

即使研究者不知道哪個隱藏變量必要,也可以從功能及轉移規則中發現。

最初只根據當前輸出,Port 看起來只需要 p。

經過下一步反例檢查,發現 h 也必要。

而 r 雖然屬於完整內部狀態,卻對指定 Protocol 的全部未來行為無關。

這就是最小的、可完整驗證的 Functional Port Discovery。

但是,原始功能與完整系統早已存在。

Partition Refinement 並沒有透過學習創造新的功能。

它只是發現了一套已存在系統的有效功能抽象。

這是後續研究必須保留的重要界線。


12. Counterexample-Guided Functional Port Discovery

12.1 由完整窮舉轉向反例引導

有限狀態系統可以完整執行上一節的分割演算法。

但在高維系統中,窮舉全部狀態可能不可行。

因此,可以轉向一項更具工程彈性的程序:

先建立一個簡單的候選 Port。

再主動尋找其不充分性的反例。

當反例出現時,修訂 Port 或分割方式。

然後重新驗證。

候選程序為:

(12.1) Candidate Port → Verification → Counterexample → Refinement → Requalification.

這與成熟的 Counterexample-Guided Abstraction Refinement(CEGAR)思想直接相關。

本文的研究方向,是將反例由傳統 Model Checking 的性質失效,具體轉化為 Functional Port 的因果不充分證據。

12.2 Definition 12.1 — Port Counterexample Witness

對候選 Port Π,定義一組 Witness:

(12.2) W = (s₁,s₂,b,u).

它必須滿足:

(12.3) Π(s₁) = Π(s₂).

但至少存在以下一項差異:

(12.4) Π[F(s₁,b,u)] ≠ Π[F(s₂,b,u)].

或:

(12.5) G(s₁,b,u) ≠ G(s₂,b,u).

或:

(12.6) H(s₁,b,u) ≠ H(s₂,b,u).

若其中任一條成立,則 W 是候選 Port 不滿足精確 Joint Port Closure Criterion 的直接反例。

因此:

一個有效的 Counterexample Witness,不只是模型預測錯誤的輸入,而是一組揭露 Port 丟失必要因果差異的內部狀態及互動條件。

12.3 Counterexample-Guided Refinement Procedure

可以建立以下程序。

Step A — Candidate Generation

選取或學習候選 Port Πₖ。

Step B — Functional Verification

檢查 Πₖ 對指定功能、下游狀態及允許干預是否充分。

Step C — Counterexample Search

若不充分,尋找:

(12.7) Wₖ = (s₁,s₂,b,u).

使其違反某項 Port 封閉條件。

Step D — Refinement

利用 Wₖ 提供的差異,修訂 Port:

(12.8) Πₖ → Πₖ₊₁.

新的 Port 應能區分此前被錯誤合併的狀態。

Step E — Requalification

重新測試功能正確性、Port Sufficiency、成本及干預範圍。

重複直至通過資格、達到資源限制,或證明候選表示類別不能達到要求。

12.4 Finite-State Termination versus Neural Port Search

在有限狀態、完整已知的系統中,如果每次 Refinement 都按照第 10 章的精確簽名規則進行,便可以使用其有限終止及最粗分割保證。

但對神經網絡:

Port 可能是連續表示。

候選分割可能改變其座標。

Counterexample Search 可能只覆蓋少量狀態。

而優化後的 Port 也可能重新引入此前已消除的失敗。

因此,不能將有限狀態 Partition Refinement 的終止定理,直接套用到任意神經表示學習過程。

尤其是:

(12.9) Each Observed Counterexample Is Corrected ⇏ Global Port Sufficiency.

另外,若任意把一組反例中的兩個狀態分開,而沒有按照完整一致的簽名規則 Refinement,也可能不必要地過度細分狀態。

所以,精確演算法的最粗性保證,不應被偷渡到任意的啟發式 Refinement。


13. The Identifiability Barrier:只有觀測資料,可能根本無法發現正確 Port

13.1 Two Indistinguishable Observational Worlds

考慮兩個二元變量:

(13.1) p,h ∈ {−1,+1}.

訓練分佈只包含:

(13.2) h = p.

現在考慮兩個不同的候選完整系統。

World A

(13.3) y_A = p.

World B

(13.4) y_B = h.

在觀測資料中,由於 h = p:

(13.5) y_A = y_B.

所以無論觀測多少來自這個受限分佈的樣本,都無法單靠這些觀測結果區分兩套系統。

但是,考慮一項允許獨立修改 h 的反事實干預:

(13.6) do(h = −p).

在 World A:

(13.7) y_A = p.

在 World B:

(13.8) y_B = −p.

兩套系統立刻變得可區分。

13.2 Proposition 13.1 — Observational Non-Identifiability

命題:

若兩套候選因果系統在全部可觀測資料支撐集上,誘導出完全相同的觀測分佈,但在指定有效干預下具有不同的功能行為,則任何只使用該觀測分佈的程序,都不能普遍保證辨認出兩者之中真正適用於該干預協議的功能模型。

Proof.

由假設,兩套系統產生相同的觀測資料分佈。

因此,任何只依賴這些資料的程序,對兩套系統收到的統計證據完全相同。

但兩套系統在指定干預下具有不同的功能行為。

若程序輸出其中一套特定因果解釋,則它不可能在兩個世界中同時保證正確。

所以,單靠該觀測分佈,不能普遍識別正確的干預功能模型。

證畢。

13.3 這與 Port Discovery 的直接關係

若研究者只從正常輸入資料中觀察到:

(13.9) p = h.

便無法判斷:

真正必要的是 p;

真正必要的是 h;

還是兩者具有其它共同因果來源。

這種不可識別性不能只靠更大的神經網絡解決。

也不能只靠增加來自相同退化分佈的訓練樣本解決。

必須加入能夠區分候選機制的額外資訊,例如:

有效的反事實干預;

不同環境中的自然變化;

可驗證的結構假設;

或者其它足以支持識別的監督資訊。

但不是所有情況都必須進行實際物理干預。

在特定模型類別及結構假設下,觀測資料本身也可能提供充分的可識別性。

因此,正確結論是:

Port Discovery 的可識別性依賴資料與模型假設;不存在一個不需要任何條件、便能從任意觀測資料恢復真實功能因果結構的通用保證。

13.4 Functional Identity May Be Identifiable Without Unique Coordinates

即使某個最小充分 Port 可以被發現,也不代表其數值座標唯一。

若:

(13.10) p = Π(s).

是充分 Port,而 f 是一項在 Port 值域上可逆的映射,則:

(13.11) p′ = f(p).

仍可保留相同的功能資訊。

相應的有效轉移與讀出,只需要作座標轉換。

因此:

(13.12) Functional Equivalence ⇏ Unique Internal Representation.

這對 Transformer 特別重要。

模型可能在一組分散式特徵中實現某個功能,而研究者利用另一組等價座標來描述它。

這不一定是模型理解錯誤。

但若要聲稱某個具體神經元或 Attention Head 是唯一的功能本體,就需要更強的證據。


14. Approximate Discovery in Continuous Neural Systems

14.1 Neural Port Parameterization

對高維神經網絡,令完整內部狀態為:

(14.1) s ∈ ℝᴺ.

選取具有可學習參數 φ 的 Port:

(14.2) p = Π_φ(s).

希望 Port 的有效維度或表示成本,小於直接使用完整狀態的成本。

候選有效下游模型為:

(14.3) ẑ = R̄_ψ(p,c,u).

其中 c 是必要的下游上下文,u 是允許干預。

完整下游結果為:

(14.4) z = R(s,c,u).

一項候選訓練目標:

(14.5) J(θ,φ,ψ) = ℒ_task + λℒ_port + μC(Π_φ).

這裏 θ 表示完整系統可調參數,φ 表示 Port 的表示參數,ψ 表示有效讀出或更新模型參數。

但式(14.5)只是一個研究性優化架構。

沒有適當限制,它可能出現多種病態解。

14.2 Collapse Failure

若只最小化同一 Port 內部狀態的下游差異,模型可能嘗試將大量不應合併的狀態壓縮在一起。

但如果目標功能需要區分它們,便會破壞 Functional Correctness。

因此,Port Loss 必須與任務要求共同約束。

並且:

不能只依賴容易被模型規避的軟性加權。

若功能正確性屬於硬性要求,更穩妥的工程形式是:

(14.6) Minimize C(Π_φ).

subject to:

(14.7) FunctionalError ≤ ε_F.

(14.8) CounterfactualPortError ≤ ε_P.

(14.9) OperationalCost ≤ C_max.

這種寫法清楚表明:

Port Compression 不能以任意破壞功能為代價。

14.3 Identity-Port Failure

另一種病態是:

(14.10) Π_φ(s) = s.

此時 Port 保存完整內部狀態。

若有效模型具有足夠容量,可以直接重現完整計算。

因此 Port Sufficiency 可以非常高。

但它可能完全沒有約化價值。

所以,Port Discovery 必須同時量度:

有效表示成本;

下游更新成本;

介面可讀取性;

以及必要的治理或修訂成本。

若沒有任何壓縮或使用成本限制,Functional Port Discovery 容易退化成完整狀態複製。

14.4 Answer-Leakage Failure

還有一種更隱蔽的病態。

若候選 Port 可以使用下游正確答案,或讀取本應在 Port 邊界之後才產生的計算結果,它便可能直接編入答案。

例如:

(14.11) p = F*(x).

這可以使下游讀出非常容易。

但若這個 Port 不可能在要求的計算階段取得,便不是一項有效 Runtime Operator Interface。

因此,Port Discovery 必須聲明:

Port 可以使用哪些上游資訊;

在哪個計算階段構造;

以及哪些下游資訊不得提前流入 Port。

這不只是資料洩漏問題。

它是功能計算圖的因果方向問題。

14.5 Counterfactual Witness Search in High Dimensions

對候選 Port Π_φ,可以嘗試尋找兩個有效內部狀態 s₁、s₂,使:

(14.12) Π_φ(s₁) ≈ Π_φ(s₂).

但其下游結果存在顯著差異:

(14.13) d[R(s₁,c,u),R(s₂,c,u)] large.

不過,在連續空間中,近似相同的 Port 並不等於精確相同。

因此,若要使用式(14.13)作為失敗證據,需要考慮 Port 數值差異本身可能引起的合法輸出差異。

例如,如果有效下游模型對 Port 具有 Lipschitz 常數 L_P,則在有效模型假設下:

(14.14) d[R(s₁,c,u),R(s₂,c,u)] ≤ L_Pd[Π(s₁),Π(s₂)] + 2ε_P.

這可以反過來提供一項近似 Port 的反例判準。

若觀測到的下游差異,超過右側允許的上界,便說明目前的候選有效模型及誤差資格不能同時成立。

但這項檢查依賴:

有效模型的 Lipschitz 常數或其可靠上界;

指定的 Port 誤差預算;

以及有效內部狀態與干預範圍。

它不是無條件的神經網絡驗證工具。

14.6 Proposition 14.1 — Finite Witness Coverage under Lipschitz Assumptions

定義候選 Port 的有效纖維比較集合:

(14.15) E_Π = {(s₁,s₂,c,u) : Π(s₁) = Π(s₂),且全部狀態與干預有效}.

對其中的組合,定義下游差異:

(14.16) D_Π(s₁,s₂,c,u) = d[R(s₁,c,u),R(s₂,c,u)].

假設:

E_Π 具有一個有限 δ-net;

D_Π 在 E_Π 上對所選乘積度量具有 Lipschitz 常數 L_D;

而研究者已經對該 δ-net 的全部點進行測量。

若所有測試點的差異不超過 ε_obs,則:

(14.17) sup_(E_Π) D_Π ≤ ε_obs + L_Dδ.

Proof.

對 E_Π 中任何一點 x,選取 δ-net 中距離不超過 δ 的測試點 x_i。

由 Lipschitz 條件:

(14.18) D_Π(x) ≤ D_Π(x_i) + L_Dδ.

而:

(14.19) D_Π(x_i) ≤ ε_obs.

故:

(14.20) D_Π(x) ≤ ε_obs + L_Dδ.

對所有 x 取 supremum,即得式(14.17)。

證畢。

14.7 這項命題的限制

這項結果提供了一條由有限測試推向整個有效集合的數學途徑。

但它需要真正的 δ-net 覆蓋,而不是隨機抽取少量樣本後便假定覆蓋完整。

高維狀態空間的 δ-net 可能非常巨大。

而且 L_D 可能難以取得有用的上界。

此外,如果 Port 本身在訓練後改變:

(14.21) Π_φ → Π_φ′.

則 E_Π 亦可能改變。

原來的測試集合及資格保證,不一定仍然適用。

因此:

有限樣本可以在額外結構假設下支持更強的 Port 保證,但不能單靠測試數量龐大,便取得全域因果充分性。


15. The Discovery–Formation Distinction

15.1 Port Discovery of a Fixed System

若完整系統的 F、G、H 固定,而研究者只改變 Π:

(15.1) Π₀ → Π₁ → … → Π*.

則這主要是 Representation/Abstraction Discovery。

即使最終發現一個很簡潔、充分的 Port,也不表示底層系統剛剛形成了新的功能。

功能可能早已存在,只是研究者過去不知道如何描述。

15.2 Functional Formation through Adaptive Dynamics

若底層系統本身亦在改變:

(15.2) θ₀ → θ₁ → … → θ_K.

則不同 Checkpoint 可能具有不同的完整功能:

(15.3) F_θₖ.

以及不同的最粗功能商結構:

(15.4) Q_θₖ.

這時可以研究:

某項功能是否首次達到資格?

其有效行為分割是否改變?

候選 Port 是否由不充分變成充分?

新的下游功能是否開始因果地使用這項 Port?

這才是 Functional Operator Formation 的動態研究。

15.3 The Minimal Criterion for a Formation Claim

本文建議,若要聲稱某個 Operator 是在訓練中形成,而不只是事後被發現,至少需要建立:

第一,訓練前後的模型版本具有明確可比較的功能協議。

第二,功能正確性或可重用性發生了可重現的實質變化。

第三,候選有效 Port 的充分性或因果作用出現相應變化。

第四,透過訓練過程中的干預或受控對照,辨認相關 Connection 或表示成熟是否對該變化具有因果貢獻。

如果只有最終 Checkpoint 的功能商,即使其數學非常漂亮,也仍然主要是對已有系統的結構描述。

15.4 Birth versus Qualification

仍需保留一項嚴格區分。

Functional Qualification Time

是某項指定功能首次達到事先設定資格的時刻。

Structural Change Time

是內部電路、有效分割或因果作用發生可辨認改變的時刻。

Attractor Bifurcation Time

是在具有明確動力學的系統中,相關吸引制度出現真正分岔的時刻。

三者可以不同。

因此:

(15.5) k_function ≠ k_structure ≠ k_attractor.

是完全允許的實驗結果。

沒有充分證據時,不應強迫三者對齊。


16. A Practical Port Discovery Research Protocol

16.1 Phase A — Exact Finite-State Benchmark

首先建立有限狀態系統。

系統需要具有:

可以直接計算的完整轉移;

已聲明的下游功能;

至少一項真正無關的內部變量;

以及至少一項只在未來操作中才顯露作用的隱藏變量。

使用第 10 章的 Partition Refinement,得到精確最粗 Port。

這項結果作為 Ground-Truth Behavioral Quotient。

研究者可以用它驗證後續神經 Port Discovery 工具是否正確。

16.2 Phase B — Hidden Coordinates

接着,將有限系統的內部變量重新編碼。

例如使用:

隨機可逆線性映射;

非線性可逆映射;

或加入與功能無關的冗餘表示。

要求演算法不能直接看到原來變量名稱。

這樣便可以檢查:

它是根據真正的功能行為發現 Port,還是只是利用研究者預先提供的語義標籤。

但對任意可逆非線性混合,不能預先保證某一類簡單 Probe 可以恢復最小功能座標。

因此,不同混合類別需要分開測試。

16.3 Phase C — Limited Intervention Discovery

逐步限制演算法可以執行的干預。

例如:

只允許觀測;

允許部分單變量干預;

允許完整的有效反事實狀態組合;

或允許不同類型的下游操作。

比較所發現 Port 的充分性及可識別性。

這可以直接研究:

(16.1) Intervention Coverage → Port Identifiability.

但這條箭頭是候選研究關係,不是未經條件限制的普遍單調定律。

例如,額外干預可能提供新的識別證據,也可能超出原 Contract,使舊 Port 必須保存更多資訊。

因此需要清楚區分:

協議固定時增加對同一功能的測試證據;

以及擴大 Protocol 本身所允許的干預範圍。

這兩種情況不應混在同一個結果中。

16.4 Phase D — Learned Neural Port

然後建立一個小型神經網絡,讓它從隱藏編碼中學習:

(16.2) p = Π_φ(s).

並與三種 Baseline 比較。

Baseline A — Full State

直接使用完整內部表示,不要求壓縮。

Baseline B — Observational Bottleneck

只使用任務 Loss 與表示成本約束。

Baseline C — Counterfactual Port Discovery

除了任務與成本要求,還利用反例或有效纖維一致性測試修訂候選 Port。

應記錄:

Port 的表示成本;

功能準確性;

反事實 Port Residual;

發現最終合格表示所需的訓練量;

以及是否需要額外的人工指定功能標籤。

16.5 Phase E — Adaptive Operator Formation

在前述 Port Discovery 可靠之後,才讓底層系統參數 θ 一同學習。

考慮:

(16.3) θₖ₊₁ = U_train(θₖ).

同時追蹤:

(16.4) Π_φₖ.

以及:

(16.5) Q_θₖ.

研究:

底層電路是否逐漸形成新的功能?

候選 Port 是否同步成熟?

Port 是否在模型的功能提升之前,就已經具備部分因果作用?

功能形成是否需要重新組合既有的局部電路?

這一階段才真正接近本文原本的 Operator Formation 問題。

16.6 Phase F — Transformer Mechanism Research

最後,將方法應用於從零訓練的小型 Transformer。

以多位加法為例。

先使用現有 Mechanistic Interpretability 方法辨認候選功能位置。

然後將正常的 Probe Accuracy 與 Counterfactual Port Sufficiency 分開測量。

再進一步研究:

候選 Port 能否透過表示學習自行發現?

發現的 Port 是否比原本人工指定的 Carry 表示更簡潔或更穩健?

反事實訓練能否改善未見過 Carry Cascade 的處理?

已形成的 Port 能否被下一級算術任務可靠重用?

只有在此之後,才有必要引入 Shared-Weight Recurrent Transformer,進一步測試明確的 Attractor-mediated 機制。

這樣可以避免在尚未證明基本功能接口已經形成時,就直接將全部能力改善歸因於 Attractor Birth。


17. Interim Conclusion:從識別既有狀態商,到研究功能邊界自行生成

本文第二部分將 Port Discovery 問題分成三個層次。

第一,在有限且完整已知的確定性系統中,可以不預先指定高層變量,透過狀態分割及後繼一致性,自動發現最粗的精確 Functional Port。

第二,當只能取得有限觀測資料及干預時,Port 的可識別性受到根本限制。不同的完整因果機制可以在觀測分佈上完全一致,卻在允許的反事實操作下產生不同功能。

第三,在高維神經網絡中,可以提出反例引導、表示學習及功能成本共同約束的候選 Port Discovery 方法,但其正確性、收斂性與非平凡壓縮價值,均需要額外的結構假設及實驗證據。

由此可以得到一條更清楚的研究序列:

(17.1) Behavioral Distinguishability → Candidate Port Discovery → Counterfactual Qualification → Reusable Functional Abstraction.

若系統本身在訓練中改變:

(17.2) Adaptive Internal Dynamics → Changing Functional Structure → Port Discovery and Requalification.

但兩者之間仍然存在一項需要獨立研究的生成問題:

一個系統能否在沒有預先指定功能分解方式的情況下,透過局部學習、反事實錯誤與下游使用需求,自行發現並維持新的 Functional Operator Boundary?

目前的有限狀態定理提供可驗證的正確性基準。

反例引導程序提供一項工程研究方法。

神經 Port Learning 提供候選實現方式。

但真正的自主 Operator Formation 仍然需要在訓練軌跡中建立新的因果證據。

這項研究與 Attractor Fusion、SMFT 及成界之學具有值得持續探索的關係,但不能僅因它們都涉及狀態約化、功能形成或遞歸,就宣稱已經證成普遍的世界生成同構。


Part II — End

Research Status:本文提出一項以有限狀態 Partition Refinement 為精確基準、以 Counterexample-Guided Refinement 為工程工具的 Functional Port Discovery 研究方案。有限狀態正確性與終止性建立在成熟的狀態最小化數學之上。高維神經 Port Discovery、訓練期間的 Operator Formation 及 Attractor-mediated Generation 仍屬待驗證研究方向,尚未取得新的 Transformer 實驗結果。

References

  1. Paige, R., and Tarjan, R. E. (1987). Three Partition Refinement Algorithms. SIAM Journal on Computing, 16(6), 973–989. https://doi.org/10.1137/0216062

  2. Clarke, E., Grumberg, O., Jha, S., Lu, Y., and Veith, H. (2000). Counterexample-Guided Abstraction Refinement. Computer Aided Verification, LNCS 1855, 154–169. https://doi.org/10.1007/10722167_15

  3. Clarke, E. M., et al. (2003). Counterexample-Guided Abstraction Refinement for Symbolic Model Checking. Journal of the ACM, 50(5), 752–794. https://doi.org/10.1145/876638.876643

  4. Geiger, A., et al. (2025). Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability. Journal of Machine Learning Research, 26(83), 1–64. https://www.jmlr.org/papers/v26/23-0058.html

  5. Varici, B., Acartürk, E., Shanmugam, K., and Tajer, A. (2024). General Identifiability and Achievability for Causal Representation Learning. AISTATS 2024. https://proceedings.mlr.press/v238/varici24a.html

  6. Bing, S., Ninad, U., Wahl, J., and Runge, J. (2024). Identifying Linearly-Mixed Causal Representations from Multi-Node Interventions. Causal Learning and Reasoning 2024. https://proceedings.mlr.press/v236/bing24a.html

  7. Functional Port Qualification Dynamics: From Observational Fit to Counterfactual Sufficiency. Part I, companion study.

  8. From Attractors to Recursive Functional Individuation: A Protocol-Relative Framework for Operator Formation and World-Building Systems. Unified research article.


這一部分對整個 SMFT 研究真正帶來的推進

這裏有一個值得突出、也應該避免過度解讀的結論:

我們已經可以在有限的功能系統中,從完整的行為規則自行推導出最粗充分 Port,而不需要先由研究者指定它應由哪些內部變量組成。

這與上一部分研究「已指定 Port 如何成熟」有本質上的不同。

但它仍然只是發現既有功能的有效抽象,不是證明新功能自行出生。

下一個研究步驟應當將兩者結合:

  • 在系統尚未學會任務時,持續追蹤它的候選功能商及 Port。

  • 觀察訓練如何改變內部功能與外部可區分性。

  • 區分「研究者發現了原本存在的功能」與「模型確實學會了一項原本不存在的功能」。

  • 最後測試新形成的功能是否可經合格 Port 可靠重用。

如果上述過程能夠在 Transformer 訓練中被重現,而且提供了比既有電路分析更準確的形成時間、因果預測或訓練干預效果,才真正構成 Functional Operator Formation 一項有實證增量的新研究成果。

 

繼續

 

這一階段有一個值得放在論文中心的新結論:

Functional Operator 的形成,不一定使有效狀態數量增加。相反,學習有時會消除不必要的隱藏依賴,使最小功能狀態商由四個狀態縮小成兩個,同時令功能更加正確、可靠。

因此,若要研究 Transformer 中 Operator 的形成,就不能只觀察內部結構是否越來越複雜、Attractor 數量是否增加,或某個功能商是否突然分裂。

更重要的是追蹤:訓練如何改變哪些內部差異對未來功能真正必要,以及這些變化何時產生可重用的因果接口。

這將成為 Functional Port Qualification Dynamics 第三部分的主線。

Functional Port Qualification Dynamics:從觀測擬合到反事實充分性

Functional Port Qualification Dynamics: From Observational Fit to Counterfactual Sufficiency

Part III — Developmental Functional Quotients, Operator Formation, and Causal Identity Across Training


18. The Developmental Quotient Problem:功能狀態商如何隨訓練改變?

18.1 從靜態 Port Discovery 到動態功能形成

前兩部分分別解決了兩類問題。

第一部分研究一項已指定的 Port,如何透過學習降低隱藏依賴,取得反事實充分性。

第二部分則研究:對一套已存在的完整系統,如何不預先指定必要變量,而從外部功能及狀態轉移自行發現最粗的精確 Port。

但真正的 Functional Operator Formation 涉及第三個問題:

如果完整系統本身正在訓練,最小充分 Port 是否也會隨着功能形成而改變?

更具體而言:

功能學習可能產生新的外部可區分狀態。

它也可能消除原來的錯誤依賴,使某些內部狀態不再需要被區分。

因此,一項功能逐漸成熟,不代表其有效狀態商只會增加複雜度。

這個問題需要將訓練 Checkpoint 納入正式定義。

18.2 Definition 18.1 — Checkpoint-Indexed Functional System

令 k 表示訓練 Checkpoint。

在第 k 個 Checkpoint,考慮功能系統:

(18.1) Mₖ = (S,A,Y,Tₖ,Oₖ).

其中 S、A、Y 在目前的形式模型中保持固定。

但狀態轉移及輸出規則可以隨訓練變化:

(18.2) Tₖ : S × A → S.

(18.3) Oₖ : S × A → Y.

這裏首先假設所有 Checkpoints 共用同一個可比較的完整狀態空間 S。

對真實 Transformer,不同 Checkpoint 的內部 Activation 座標未必自然對齊。因此,需要另外建立有效的狀態對應或使用共同的外部輸入及干預錨點。

這個問題將於第 22 章處理。

18.3 Definition 18.2 — Checkpoint-Dependent Behavioral Equivalence

對固定 Checkpoint k,定義:

(18.4) s₁ ∼ₖ s₂ ⇔ Trₖ(s₁,w) = Trₖ(s₂,w),對所有有效的有限操作序列 w 成立.

其中 Trₖ 表示使用同一組固定參數 θₖ 反覆執行的輸出軌跡。

因此可以建立:

(18.5) Qₖ = S/∼ₖ.

這個 Qₖ 是第 k 個 Checkpoint 的標準功能行為商。

隨着訓練:

(18.6) Q₀,Q₁,Q₂,…,Q_K.

可能發生變化。

這便構成一項可以研究的 Developmental Functional Quotient。

18.4 為甚麼不能只追蹤 Quotient Size?

對有限狀態系統,可以定義:

(18.7) Nₖ = |Qₖ|.

它表示在指定 Protocol 下,有多少種不同的未來功能行為類別。

但 Nₖ 不是功能能力、智慧或組織成熟度的普遍指標。

原因是:

一個錯誤地依賴大量內部雜訊的系統,可能具有很多可區分的輸出行為。

而一個真正學會忽略無關變量的系統,反而可以具有更少的有效功能狀態。

因此:

(18.8) Larger Behavioral Quotient ⇏ Better Functional Operator.

接下來可以用一個完整可計算的反例證明這一點。


19. A Non-Monotonic Quotient Example:學習可以使有效狀態商變小

19.1 The Four-State System

考慮:

(19.1) S = {(p,h) : p,h ∈ {−1,+1}}.

完整系統具有四個狀態。

為隔離功能輸出的問題,先令狀態轉移為恆等映射:

(19.2) T(p,h) = (p,h).

沒有其它外部操作。

輸出為:

(19.3) y = wp + vh.

指定目標功能為:

(19.4) y* = p.

因此,理想參數為:

(19.5) w* = 1,v* = 0.

由於狀態不變,對外未來行為完全由當前輸出決定。

所以,標準行為商等同於按照 y 值相同與否建立的狀態分割。

19.2 Proposition 19.1 — Quotient Cardinality

對式(19.1)至(19.3)的系統,其四項可能輸出為:

(19.6) y₁ = w + v.

(19.7) y₂ = w − v.

(19.8) y₃ = −w + v.

(19.9) y₄ = −w − v.

其功能行為商的區塊數 N(w,v) 具有以下分類:

若 w = v = 0:

(19.10) N(w,v) = 1.

若 w = 0、v ≠ 0,或 v = 0、w ≠ 0:

(19.11) N(w,v) = 2.

若 w = v ≠ 0,或 w = −v ≠ 0:

(19.12) N(w,v) = 3.

其餘 wv ≠ 0 且 w ≠ ±v 的情況:

(19.13) N(w,v) = 4.

Proof.

因為 T 是恆等轉移,兩個狀態具有相同未來輸出軌跡,當且僅當它們目前的 y 相同。

因此只需要計算四項輸出中不同數值的數量。

當 w = v = 0,四項均為零。

當只有一項權重非零,輸出只有正負兩個值。

當 w = ±v ≠ 0,四項輸出為三個不同數值,其中零值出現兩次。

其餘情況下,四項輸出互不相同。

證畢。

19.3 學習成熟反而造成 Quotient Coarsening

現在考慮一個初始參數:

(19.14) w₀ = 1,v₀ = 0.4.

四項輸出為:

(19.15) 1.4,0.6,−0.6,−1.4.

所以:

(19.16) N₀ = 4.

但模型的目標功能是 y* = p。

若學習逐漸使 v → 0,最終:

(19.17) y = p.

此時四個完整狀態,只需要區分 p = +1 及 p = −1。

因此:

(19.18) N_final = 2.

於是:

(19.19) Functional Improvement + Port Qualification → Quotient Size 4 → 2.

這是非常重要的反例。

它說明:

Function Formation 不一定表現為更多狀態變得可區分。它也可以表現為不必要的區分逐漸消失。

19.4 反方向同樣可能

考慮另一個系統:

(19.20) w₀ = 0,v₀ = 0.

此時:

(19.21) y = 0.

全部四個狀態都具有相同輸出。

因此:

(19.22) N₀ = 1.

當系統學會:

(19.23) y = p.

便得到:

(19.24) N_final = 2.

所以:

(19.25) Functional Improvement + New Task Distinction → Quotient Size 1 → 2.

這與上一節的變化方向剛好相反。

19.5 Corollary 19.1 — No General Monotonicity of Quotient Size during Learning

由上述兩個例子可知:

即使訓練都朝同一個正確目標功能改善,最小功能行為商的區塊數也可以增加或減少。

因此,沒有額外假設時,不能宣稱:

(19.26) Functional Learning ⇒ Nₖ monotonically increases.

也不能宣稱:

(19.27) Functional Learning ⇒ Nₖ monotonically decreases.

這個結論對 Transformer 功能形成研究具有直接方法論意義。

只追蹤有效狀態數量、Cluster 數量或候選 Attractor 數量,不足以判定新的 Operator 何時形成。

19.6 一個更細緻的問題:Quotient Cardinality 可能不變,但功能身份已經改變

考慮初始模型:

(19.28) y₀ = h.

以及訓練後模型:

(19.29) y₁ = p.

兩個模型各自只有兩個不同輸出值。

因此:

(19.30) N₀ = N₁ = 2.

但初始商分割按照 h 區分狀態。

最終商分割按照 p 區分狀態。

兩套分割並不相同,而且互相都不是對方的細化。

因此:

(19.31) Same Quotient Cardinality ⇏ Same Functional Identity.

這提示我們:

功能形成的研究應追蹤哪些狀態被合併或分開,而不只是最終保留多少個狀態類別。


20. Exact and Approximate Developmental Quotients

20.1 Exact Quotients Can Be Structurally Discontinuous

再考慮:

(20.1) y = p + vh.

當 v = 0:

(20.2) N = 2.

但對足夠小而非零的 v,且 v ≠ ±1:

(20.3) N = 4.

因此:

(20.4) lim_(v→0,v≠0) N(v) = 4.

但:

(20.5) N(0) = 2.

這表示 Exact Behavioral Quotient Cardinality 可以隨參數發生不連續變化。

然而,功能誤差:

(20.6) E_F = E[(p + vh − p)²] = v².

卻是連續地趨近零。

候選 Port Π(p,h) = p 的反事實最壞情況誤差亦為:

(20.7) ε_Port = |v|.

也是連續地趨近零。

所以:

精確商結構的突然變化,不一定表示模型內部經歷了動力系統分岔。

它可能只代表一項原本很小、但仍不為零的功能差異,在某個參數值恰好變成零。

20.2 Implication for Emergence Research

這與此前討論的 Readout Threshold 問題具有相似的方法論意義。

一項數學判準可以突然由 False 變為 True,但底層參數及行為差異可能一直平滑變化。

例如:

Exact Port Closure 要求 v = 0。

Approximate Port Qualification 只要求:

(20.8) |v| ≤ ε_P.

因此,兩者會在不同的參數位置達標。

如果研究者只追蹤二元資格:

(20.9) Qualifiedₖ ∈ {0,1}.

便可能觀察到一個突然的 Operator Birth。

但實際形成過程可能是一段連續的 Residual Maturation。

20.3 A Better Developmental Measurement

對每個 Checkpoint,至少應同時記錄:

(20.10) E_F(k) = Functional Task Error.

(20.11) E_P(k) = Counterfactual Port Residual.

(20.12) N(k) = Exact or Operationally Defined Quotient Complexity.

(20.13) C(k) = Causal Downstream Contribution.

其中 E_P 需要對固定的有效干預協議量度。

如果 N 使用近似聚類而非真正的精確商,便應明確說明:

聚類距離;

容忍門檻;

表示座標;

以及不同 Checkpoint 之間的比較方法。

不能把某項啟發式 Cluster Count,直接稱為數學上的最小行為商基數。

20.4 Fiber Diameter as a Continuous Companion

對給定候選 Port Π,以及指定的有效下游作用 R,定義:

(20.14) D_P(Π) = sup{d[R(s₁,c,u),R(s₂,c,u)] : Π(s₁) = Π(s₂),且 (s₁,s₂,c,u) 有效}.

在適當度量及有效範圍下,D_P 可以量度同一 Port 纖維內最大的下游行為差異。

若:

(20.15) D_P(Π) = 0.

則同一 Port 的內部實現對指定下游作用完全一致。

對上一節的雙通道模型:

(20.16) D_P(Π_p) = 2|v|.

因此可以連續地追蹤 Port 的成熟。

這項指標與 Exact Quotient Size 互補。

前者量度候選 Port 丟失的必要行為差異有多大。

後者描述精確行為等價類的結構。

兩者不能互相取代。


21. The Checkpoint Port Transport Theorem

21.1 為甚麼需要研究跨版本身份?

假設一個 Transformer 在訓練期間逐漸學會某項 Arithmetic Function。

第 k 個 Checkpoint 已經具有候選 Port:

(21.1) Πₖ : S → Zₖ.

第 k + 1 個 Checkpoint 則具有:

(21.2) Πₖ₊₁ : S → Zₖ₊₁.

即使兩個 Checkpoint 都有合格 Port,也不表示它們使用相同的座標。

更重要的是,一項舊 Port 可能在新版本中仍然充分,也可能因功能變化而不再足夠。

因此,需要區分:

Port Coordinate Change;

Port Information Refinement;

Port Information Coarsening;

以及 Actual Functional Revision。

21.2 Theorem 21.1 — Factorization Between Two Ports

定理:

給定同一集合 S 上的兩項映射:

(21.3) Π₁ : S → Z₁.

(21.4) Π₂ : S → Z₂.

存在一項定義於 Π₁(S) 上的函數 A,使:

(21.5) Π₂ = A ∘ Π₁.

當且僅當:

(21.6) Π₁(s₁) = Π₁(s₂) ⇒ Π₂(s₁) = Π₂(s₂).

對全部 s₁、s₂ ∈ S 成立。

Proof.

必要性:

若 Π₂ = A ∘ Π₁,相同 Π₁ 值必然經 A 映射成相同 Π₂ 值。

充分性:

對每個 z ∈ Π₁(S),選取滿足 Π₁(s) = z 的代表狀態 s。

定義:

(21.7) A(z) := Π₂(s).

由式(21.6),該定義不依賴代表元。

故得到所需的函數 A。

證畢。

21.3 Interpretation

若新 Port 可以由舊 Port 單獨計算:

(21.8) Π_new = A ∘ Π_old.

則舊 Port 已經保存了新 Port 的全部資訊。

這表示新 Port 沒有要求舊 Port 原本丟失的內部差異。

反過來,如果:

(21.9) Π_old(s₁) = Π_old(s₂).

但:

(21.10) Π_new(s₁) ≠ Π_new(s₂).

則不存在只依賴舊 Port 值的確定性函數,可以在這兩個狀態上恢復新 Port。

這意味着:

新版本要求的新狀態區分,不能由舊 Port 無條件補回。

這對版本相容性具有直接意義。

21.4 Corollary 21.1 — Coordinate Equivalence

若存在雙向映射:

(21.11) Π₂ = A ∘ Π₁.

(21.12) Π₁ = B ∘ Π₂.

則 Π₁、Π₂ 具有相同的纖維分割。

而 A、B 在兩個 Port 的實際值域上互為逆映射。

因此,它們只是兩種等價的 Port 編碼。

但需要強調:

相同的 Port 分割,不等於兩個 Checkpoint 的實際功能相同。

因為 Tₖ、Oₖ 或下游計算規則可能已經改變。

若要聲稱兩個 Operator 在功能上保持身份,還需要另外比較其有效轉移、輸出、干預行為與 Contract。

21.5 Three Forms of Port Evolution

根據 Theorem 21.1,可以區分三種主要結構變化。

Type A — Pure Recoding

兩個 Port 的纖維分割相同。

它們可能只是使用不同座標或編碼方式。

Type B — Information Coarsening

舊 Port 可以決定新 Port,但反過來不成立。

新 Port 合併了部分舊 Port 原來能夠區分的狀態。

Type C — Information Refinement

新 Port 可以決定舊 Port,但舊 Port 不能決定新 Port。

新 Port 保留了更多狀態區分。

此外,還存在第四種情況:

Type D — Incomparable Partitions

兩個 Port 各自保存某些對方沒有保留的差異。

此時不存在任何方向的完整因子映射。

例如,從 Π_old(p,h) = h 改變成 Π_new(p,h) = p,便屬於這種情況。

21.6 Implications for Operator Versioning

在 Functional Contract 中,不能只寫:

Port Version 1 → Port Version 2。

還應記錄其結構關係。

若新 Port 只是可逆重新編碼,舊的下游接口可能可以經 Adapter 繼續使用。

若新 Port 是資訊合併,需要驗證新 Contract 不再依賴被刪除的差異。

若新 Port 增加新的必要狀態資訊,舊接口可能不足以滿足新版本要求。

若兩者分割不可比較,則可能需要重新建立接口映射,或重新訓練下游使用者。

但所有這些都是資訊結構上的相容性條件。

真正的 Runtime Compatibility 還需確認功能規律本身是否相容。


22. A Necessary Change Bound for Port Qualification

22.1 一項不充分 Port 需要多少功能改變?

假設某項 Port 在 Checkpoint k 明確不充分。

存在兩個完整狀態 s₁、s₂,具有:

(22.1) Π(s₁) = Π(s₂).

但其下游輸出差異為:

(22.2) δₖ = d_Y[Hₖ(s₁,c,u),Hₖ(s₂,c,u)] > 0.

現在系統經過訓練,由 Hₖ 改變為 Hₖ₊₁。

如果候選 Port Π 保持不變,這個原有反例是否可以立即消失?

它可以消失。

但前提是,相關完整系統的功能作用確實發生了足夠改變。

22.2 Proposition 22.1 — Counterexample Persistence Bound

命題:

假設對兩個原有反例狀態,訓練前後的輸出改變均不超過 ε:

(22.3) d_Y[Hₖ₊₁(sᵢ,c,u),Hₖ(sᵢ,c,u)] ≤ ε,i = 1,2.

則在新 Checkpoint:

(22.4) δₖ₊₁ ≥ max{δₖ − 2ε,0}.

因此,對同一候選 Port 的任何 Port-only 輸出模型,其新版本的最壞情況誤差至少為:

(22.5) E_Port,new ≥ max{δₖ − 2ε,0}/2.

Proof.

由三角不等式:

(22.6) δₖ ≤ d_Y[Hₖ(s₁),Hₖ₊₁(s₁)] + d_Y[Hₖ₊₁(s₁),Hₖ₊₁(s₂)] + d_Y[Hₖ₊₁(s₂),Hₖ(s₂)].

省略共同的 c、u 記號。

由假設:

(22.7) δₖ ≤ 2ε + δₖ₊₁.

因此:

(22.8) δₖ₊₁ ≥ δₖ − 2ε.

再由距離非負,得到式(22.4)。

由於 Π(s₁) = Π(s₂),任何 Port-only 模型對兩者都必須給出相同預測。

因此,利用最壞情況誤差的二分下界,可得式(22.5)。

證畢。

22.3 A Formation Certificate

這項命題提供了一個很有用的診斷。

如果原本某個 Port Fiber 的下游行為差異很大,而研究者聲稱新版本已經完全消除這個差異,那麼至少需要以下其中一種情況:

第一,完整系統的下游功能行為確實發生足夠改變。

第二,候選 Port 已經被修訂,能夠區分原來被錯誤合併的狀態。

第三,Protocol 被改變,使原有反例不再屬於有效運作範圍。

這三種情況的科學意義完全不同。

不能把它們全部概括為:

「Operator 學會了新的功能。」

22.4 Why This Matters for Transformer Training

假設研究者在某個 Checkpoint 找到一組 Carry Port 反例。

隨訓練繼續,該反例逐漸消失。

需要檢查:

模型是否真正調整了下游的因果依賴?

Port 是否增加了新特徵?

還是研究者重新定義測試範圍,排除了原本失敗的輸入?

只有第一種,才直接支持「固定候選 Port 的下游依賴透過學習成熟」的特定主張。

第二種則支持 Port Refinement 或 Port Discovery。

第三種可能只是 Contract 改變,不應被報告為同一資格下的功能改善。


23. Developmental Causal Testing:如何區分發現與形成?

23.1 A Four-Track Checkpoint Ledger

對每個訓練 Checkpoint k,本文建議同時建立四套紀錄。

Track A — Functional Performance

量度模型對指定任務的正確性、泛化與連續 Loss。

Track B — Behavioral Distinguishability

量度哪些內部狀態或功能行為,在目前 Protocol 下仍然可區分。

Track C — Effective Port Qualification

量度候選 Port 的狀態轉移殘差、輸出殘差及反事實充分性。

Track D — Causal Circuit Formation

量度候選 Connection、局部計算及下游使用路徑的實際因果作用。

對固定測試協議,可以整理為:

(23.1) Mₖ = [E_F(k),QStructure(k),E_P(k),CausalContribution(k)].

但這裏的 QStructure 不應只用單一區塊數描述。

在有限系統中,可以保存完整的分割關係。

在高維系統中,則需要明確的比較協議及表示對齊方法。

23.2 Longitudinal Partition Change

對固定有限狀態集合 S,可以定義兩個 Checkpoints 的分割比較。

令:

(23.2) Eₖ(s,t) = 1,若 s ∼ₖ t;否則為 0.

則 Eₖ 是一項記錄哪些狀態被視為功能等價的矩陣。

比較 Eₖ、Eₖ₊₁,可以辨認:

原來等價、後來不等價的狀態對;

原來不等價、後來等價的狀態對;

以及沒有變化的狀態對。

例如:

(23.3) SplitCount(k) = Σ_(s<t) 1[Eₖ(s,t) = 1 ∧ Eₖ₊₁(s,t) = 0].

(23.4) MergeCount(k) = Σ_(s<t) 1[Eₖ(s,t) = 0 ∧ Eₖ₊₁(s,t) = 1].

這裏的 s<t 只是對有限狀態集合選擇固定排序,避免重複計數。

這兩項指標可以顯示分割如何改變,但並不直接判定變化是否有利於目標任務。

23.3 Structural Change versus Functional Improvement

假設某次訓練使 SplitCount 顯著增加。

這可能代表模型開始辨認之前忽略的必要差異。

但也可能代表模型開始對無關雜訊產生不必要的敏感性。

同樣地,MergeCount 增加,可能代表模型成功消除無關依賴。

也可能代表模型丟失了重要的功能資訊。

因此,每一項 Split 或 Merge,都需要對照指定目標功能與干預要求。

不能把分裂直接視為新功能出生。

也不能把合併直接視為更好的功能壓縮。

23.4 Causal Intervention at Training Time

要研究某項 Connection 是否對功能形成具有因果作用,可以在相同初始條件下比較兩套訓練程序。

例如:

Control Run: 正常訓練。

Intervention Run: 在指定訓練階段抑制某項候選 Connection 或 Port 讀取路徑。

其後比較:

功能資格取得時間;

候選 Port 殘差;

下游路徑的因果作用;

以及最終是否形成替代電路。

但此處仍有一項重要問題:

模型可能對訓練干預作出補償,建立另一條功能路徑。

因此:

「抑制某條 Connection 但功能仍然形成」

不一定證明原來的 Connection 毫無作用。

它可能說明系統具有替代形成路徑。

相反,如果抑制 Connection 令功能消失,也需要排除一般 Optimization 受損、模型容量下降或其它非特定干預效果。

所以,形成機制研究應搭配適當的容量、計算資源與負面控制。

23.5 Checkpoint Alignment in Real Transformers

前面的商空間定理假設不同 Checkpoint 共用同一個完整狀態空間。

但真實 Transformer 的內部 Activation 是由不同參數產生的。

例如:

(23.5) hₖ(x) = Representation_(θₖ)(x).

即使輸入 x 相同,不同 Checkpoint 的內部表示也可能發生旋轉、重新編碼或分散式重組。

因此,不能只比較兩個 Checkpoint 的 Activation Cluster Label。

一個 Cluster 的座標位置改變,可能完全不代表功能身份改變。

比較合理的方法包括:

使用相同的外部輸入及干預集合;

利用下游功能行為建立共同錨點;

必要時學習並驗證跨 Checkpoint 的表示對應;

以及優先比較可觀測的因果作用,而不是原始神經座標。

若跨版本對應不可靠,便應明確限制結論為「同一外部測試協議下的功能變化」,而不是聲稱已追蹤同一內部狀態的完整歷史。


24. Three Distinct Routes to Operator Qualification

24.1 Route A — Connection Adaptation

完整系統的 Port 保持不變,但 Connection 參數改變。

例如:

(24.1) b′ = b + wp + vh.

透過訓練:

(24.2) v → 0.

使原來未被 Port 保存的 h,不再對下游產生不必要作用。

因此:

(24.3) Fixed Port + Changed Internal Coupling → Improved Port Sufficiency.

這是此前 Part I 已建立的 Learning-Driven Qualification。

24.2 Route B — Port Refinement

完整系統的功能規律可以保持固定,但研究者或模型修改 Port:

(24.4) Π_old → Π_new.

使它保存原來遺漏的必要資訊。

例如:

(24.5) Π_old(p,h) = p.

改成:

(24.6) Π_new(p,h) = (p,h).

此時原有 Port 的不充分性,可以透過新增必要狀態資訊解決。

但這不是功能本身經過學習而改變。

它主要是對已有功能系統建立更充分的有效表示。

24.3 Route C — Attractor-Driven Maturation

若完整系統具有一項吸引流形,而 Port 的動力殘差受到偏離流形程度控制:

(24.7) ‖R_Port(s)‖ ≤ K dist(s,𝒜).

則當:

(24.8) dist[s(t),𝒜] → 0.

可以得到:

(24.9) ‖R_Port(s(t))‖ → 0.

此時 Port 的成熟主要來自內部狀態接近已存在的吸引制度。

它不必要求 Connection 參數改變,也不必要求 Port 的表示形式改變。

但若只在吸引流形附近充分,便應將該有效運作區域清楚寫入 Contract。

24.4 These Routes Are Not Equivalent

三條路線分別改變:

完整系統的功能耦合;

有效 Port 的表示;

以及完整系統相對於吸引流形的狀態。

因此:

(24.10) Connection Adaptation ≠ Port Refinement ≠ Attractor Maturation.

它們可以在真實自組織系統中同時發生。

但必須在實驗中分辨各自的作用。

24.5 A Factorial Research Design

可以建立一組研究性實驗。

條件Connection 可學習Port 可修訂吸引動力
A是否無
B否是無
C否否有
D是是無
E是否有
F是是有

這些是候選實驗制度,不表示所有組合都能在同一模型架構下完全獨立操控。

特別是加入吸引動力,通常會改變模型容量、訓練特性或計算成本。

因此,必須設置資源匹配及結構控制,不能只比較最終 Accuracy。

主要測量應包括:

Functional Correctness;

Counterfactual Port Error;

Functional Recovery;

Port Representation Cost;

以及下一級 Functional Reuse。

這樣才可能判斷:

Attractor 是否對 Port Qualification 提供額外作用?

Port Refinement 是否只增加表示成本,還是確實解決不可約的資訊缺口?

Connection Adaptation 能否在不增加 Port 複雜度的情況下,消除錯誤隱藏依賴?


25. Toward a Developmental Theory of Functional Individuation

25.1 Static Individuation versus Developmental Individuation

此前總命題主要研究:

(25.1) Given M and P, does a qualified Port exist?

本研究進一步研究:

(25.2) Given M₀ → M₁ → … → M_K, how does the qualified Port structure evolve?

這個問題具有更強的生成研究意味。

因為我們不只是分析一個固定系統的最小充分表示,而是在觀察:

完整功能如何改變;

必要與非必要的內部差異如何重新分類;

Port 如何發現、成熟與失效;

以及下游功能如何開始重用這些有效接口。

25.2 Definition 25.1 — Developmental Functional Individuation Trace

對固定的研究協議 P,定義:

(25.3) 𝒯_P = {(θₖ,Qₖ,Πₖ,E_F(k),E_P(k),C_k,𝒦ₖ)}_(k=0,…,K).

其中:

θₖ:模型參數版本。

Qₖ:相應功能行為商;若無法精確建立,應明確標示使用的近似替代物。

Πₖ:候選有效 Port。

E_F(k):功能誤差。

E_P(k):在固定干預協議下的 Port 殘差。

C_k:候選電路及接口的因果作用測量。

𝒦ₖ:該版本的 Functional Contract 與資格狀態。

這個 Trace 可以用來追蹤候選 Functional Operator 的形成及修訂歷史。

但它本身是一份研究紀錄,不是已證明的自組織生成定律。

25.3 Three Types of Developmental Events

本文建議至少區分三類事件。

Event I — New Functional Distinction

系統開始對原來無法區分、但目標任務需要區分的情況,產生不同的有效輸出或狀態。

Event II — Elimination of Spurious Dependence

系統不再對某項非必要的隱藏狀態差異產生不同下游作用。

Event III — Qualified Recursive Reuse

一項已有功能取得足夠的 Port Sufficiency,並被下一級實際可靠地使用。

這三類事件可能發生於不同的 Checkpoints。

因此,不應預先假定它們是一場單一、瞬間發生的相變。

25.4 A Conditional Formation Proposition

目前可以提出以下條件性命題。

Proposition 25.1 — Developmental Functional Qualification

考慮一條固定 Protocol 下的訓練軌跡 θₖ。

假設:

第一,對每個 Checkpoint,都有明確定義的完整功能與候選 Port。

第二,任務誤差 E_F(k) 與反事實 Port 殘差 E_P(k),均在可比較的固定測試協議下量度。

第三,存在有限 k*,使:

(25.4) E_F(k*) ≤ ε_F.

(25.5) E_P(k*) ≤ ε_P.

第四,該版本的操作、干預、資源及必要歷史條件,亦符合已聲明 Contract。

則第 k* 個 Checkpoint 可以在該 Contract 下,被認定為取得 Functional Qualification。

若同時存在訓練介入的因果證據,顯示某項 Connection、表示或動力學改變,是達標過程的必要或有貢獻因素,則可以進一步對該特定形成機制作出因果主張。

但本命題本身只確立資格判準。

它不證明:

k* 必然存在;

某種唯一的學習機制必然導致 k*;

或者達標時必然發生真正的 Attractor Bifurcation。

這些仍然是需要額外定理及實驗的問題。

25.5 A Stronger Open Conjecture

可以進一步提出一項尚待驗證的研究猜想:

在具有足夠功能回饋、有效反事實覆蓋及可調 Connection/Representation 的學習系統中,局部計算功能的形成,可能伴隨一套可追蹤的 Functional Port Qualification 過程;此過程可以比離散 Task Accuracy 更早顯示新功能的形成方向。

這是一項有實際研究價值的預測。

但其普遍性並未建立。

而且已有的 Grokking、Circuit Formation 與 Causal Abstraction 研究,已包含部分相近的技術及觀察。

所以真正需要比較的是:

這套 Port Qualification Dynamics 是否具有額外的預測能力?

是否能更早辨認可被干預的形成瓶頸?

是否能改善 Functional Reuse?

是否能在相同訓練成本下,提高未見過干預情況的可靠性?

如果不能,便需要承認它可能主要是一套統整既有研究的描述語言,而不是新的機制模型。


26. Conclusion:功能形成不只是新結構出現,也可能是多餘依賴消失

本部分將 Functional Port Discovery 由固定系統的狀態抽象,推進到訓練中的 Developmental Functional Quotient。

最重要的數學發現,是最小行為商的複雜度並不隨功能學習單調變化。

功能改善可以增加必要的狀態區分。

也可以消除不必要的隱藏依賴。

而兩個具有相同 Quotient Cardinality 的模型,仍可能具有完全不同的功能分割。

因此:

(26.1) Functional Formation ≠ Monotonic Increase in State Distinguishability.

進一步地,精確狀態商的突然改變,也不一定表示真正的吸引子分岔。

因此:

(26.2) Exact Quotient Transition ≠ Dynamical Attractor Birth.

本文亦建立了跨 Port 版本的函數分解判準,說明一個舊 Port 是否足以決定新 Port,以及何時需要保存更多內部資訊。

同時,Counterexample Persistence Bound 說明:當候選 Port 保持不變時,原有的重大下游差異,不可能在完整功能只發生任意小改變的情況下完全消失。

這些結果共同支持一項更精確的研究方法:

不要只問訓練何時產生新的 Cluster 或 Attractor;應問哪些必要的功能差異開始被保存、哪些不必要的依賴開始被消除,以及這些變化是否令一項 Port 真正取得可重用的因果資格。

這項研究並不否定 Attractor Formation 的重要性。

它只是將 Attractor 的作用放回明確的機制層次。

Attractor 可能提高內部恢復力。

Connection Adaptation 可能消除錯誤依賴。

Port Refinement 可能增加必要資訊。

而 Functional Contract 則定義這些內部變化何時足以支持下一級可靠使用。

因此,對 Operator Formation 更完整的候選研究路線是:

(26.3) Changing Internal Dynamics → Changing Functional Distinguishability → Port Discovery and Qualification → Recursive Functional Reuse.

若進一步發現真正的吸引機制:

(26.4) Attractor-Mediated Stabilization + Causal Port Qualification → Candidate Robust Functional Individuation.

但這些仍是需要逐段建立因果證據的條件性研究路線,而不是一條已證明的普遍生成法則。

The central object of developmental functional individuation is not the number of internal structures that appear, but the evolution of distinctions that must be preserved for reliable future function.


Part III — End

Research Status:本部分利用既有的行為等價、函數分解及誤差分析,建立訓練中最小功能商非單調性的反例、跨版本 Port 因子映射判準,以及反例殘差持續下界。提出的 Developmental Functional Quotient 與形成事件分類,是候選研究架構,尚未在 Transformer 訓練軌跡上得到新的實驗驗證。

References

  1. Paige, R., and Tarjan, R. E. (1987). Three Partition Refinement Algorithms. SIAM Journal on Computing, 16(6), 973–989.

  2. Clarke, E., Grumberg, O., Jha, S., Lu, Y., and Veith, H. (2000). Counterexample-Guided Abstraction Refinement. Computer Aided Verification.

  3. Geiger, A., et al. (2025). Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability. Journal of Machine Learning Research, 26(83), 1–64.

  4. Nanda, N., et al. (2023). Progress Measures for Grokking via Mechanistic Interpretability. ICLR 2023.

  5. Singh, A. K., et al. (2024). What Needs to Go Right for an Induction Head? A Mechanistic Study of In-Context Learning Circuits and Their Formation. ICML 2024.

  6. Functional Port Qualification Dynamics: From Observational Fit to Counterfactual Sufficiency. Parts I–II.

  7. From Attractors to Recursive Functional Individuation: A Protocol-Relative Framework for Operator Formation and World-Building Systems. Unified research article.


接下來最值得攻克的問題

這次把研究再推進了一項:Operator Formation 可能同時包含「增加必要區分」與「消除不必要區分」兩種相反的結構變化。

這也意味着,一個新的功能個體未必是一個越來越複雜的內部結構;它可能是許多原本需要被分別處理的狀態,逐漸形成一套對外更簡潔、更可靠的共同接口。

下一步最有價值的不是立即將此解釋為普遍的「成界定律」,而是建立一個小型數值實驗:在同一條可重現的學習軌跡中,同時量測 Functional Error、Quotient Splits/Merges、Counterfactual Port Residual,以及下游功能重用的形成時間。

如果這些指標可以在實際訓練中揭示普通 Accuracy 看不出來的形成階段,我們便開始有條件把 Functional Port Qualification Dynamics,從一套數學分析語言提升為一項有獨立預測價值的 AI 機制研究。 

 

繼續

 

 

Functional Port Qualification Dynamics · 第四部分:首次可重現數值實驗

這次不只是提出實驗設計。我已經執行了一個四狀態模型的 3 組、各 26 次更新的數值演算,並以解析公式核對狀態商的變化。

最重要的結果:

  • 只使用相關觀測資料,訓練 Loss 在第一次更新後就變成零,但功能 Port 仍然不充分,三級組合誤差維持在 3。

  • 加入反事實訓練後,Port 殘差下降;即使精確狀態商仍有 4 類,系統也能通過預先設定的功能組合資格。

  • 加入稀疏化後,狀態商確實出現 1 → 3 → 4 → 2 的分裂與合併,但達到三級組合資格的時間沒有比非稀疏模型更早。

這支持一個很重要的區分:

精確狀態商的合併、近似 Port 的成熟,以及下游功能的可靠組合,是三件不同的事件。

實際計算結果

Checkpoint k = 0–6 使用同一觀測訓練;k = 7–26 比較三種訓練策略。

訓練策略

k=26 的精確商類數

反事實 Port 達標

三級組合達標

只用觀測資料

3

未達標

未達標

反事實訓練

4

k=13

k=19

反事實+稀疏化

2

k=10

k=19

Port 達標定義為最壞殘差 ≤0.02;三級組合達標定義為最壞絕對誤差 ≤0.10。達標時間只計共同觀測訓練完成後的 k≥6;完整功能資格還要求任務本身正確。
三級組合最壞誤差隨訓練下降

k=6 後三條訓練路線分歧;合格門檻 0.10

■ 觀測訓練

■ 反事實訓練

■ 反事實+稀疏化

■ 合格門檻

這項結果有其適用範圍:三級組合使用的是同一個已訓練功能的三次固定調用,不是訓練出一個真正新的下游電路。因此,它提供的是 compositional reliability 測試,尚不是 Learned Recursive Reuse 的實證。

Functional Port Qualification Dynamics:從觀測擬合到反事實充分性

Functional Port Qualification Dynamics: From Observational Fit to Counterfactual Sufficiency

Part IV — A Reproducible Developmental Experiment on Quotient Splitting, Port Maturation, and Compositional Reliability


27. The Experimental Question

27.1 From Mathematical Possibility to an Executed Trajectory

此前三部分分別建立了:

  1. Observational Loss 與 Counterfactual Port Residual 的差異。

  2. 有限狀態的精確 Port Discovery 與 Counterexample-Guided Refinement。

  3. Developmental Functional Quotient 的非單調性,以及 Split/Merge 未必等於 Operator Birth。

現在將它們放入同一條可重現的訓練軌跡。

本實驗要回答四個問題。

第一,模型能否在完全擬合觀測資料的同時,仍具有不充分的 Functional Port?

第二,當引入反事實訓練時,Port Residual 是否改善?

第三,精確 Behavioral Quotient 的 Split/Merge,是否與 Port Qualification 同時發生?

第四,一個局部 Operator 的功能是否已足夠可靠,可以被下游系統連續調用?

本實驗使用四個完整內部狀態及解析可求解的梯度更新規則。其目的不是模擬真實 Transformer 的完整學習過程,而是建立一個所有相關變量都可核對的機制測試基準。

27.2 The Full State and Target Function

令:

(27.1) s = (p,h),p,h ∈ {−1,+1}.

因此完整狀態集合具有:

(27.2) |S| = 4.

模型輸出為:

(27.3) y = wp + vh.

指定功能為:

(27.4) y* = p.

其中 w、v 是可學習的 Connection 參數。

候選功能 Port 為:

(27.5) Π(p,h) = p.

為了單獨研究輸出行為商,內部狀態在每次功能調用後保持不變:

(27.6) T(s) = s.

這使完整系統的未來輸出軌跡由當前 y 決定。

因此,可以對每個 Checkpoint 精確計算其 Behavioral Quotient。

27.3 Four Developmental Measurements

對每個訓練 Checkpoint k,記錄以下指標。

Observational Training Error

在相關資料 h = p 上:

(27.7) E_obs(k) = [wₖ + vₖ − 1]².

Full Functional Mean-Square Error

對四個完整狀態使用均勻分佈:

(27.8) E_full(k) = (wₖ − 1)² + vₖ².

Counterfactual Port Error

固定 p,允許 h 獨立取 ±1。

兩個下游輸出之間的 Fiber Diameter 為:

(27.9) D_fiber(k) = 2|vₖ|.

最優 Port-only 解碼器的最壞絕對殘差為:

(27.10) E_Port(k) = |vₖ|.

Exact Behavioral Quotient

定義:

(27.11) N(k) = |S/∼ₖ|.

由於 T 是恆等轉移,兩個狀態等價當且僅當它們的 y 相同。

N(k) 可以直接由四項輸出是否精確相等決定。


28. Training Protocol

28.1 Stage I — Confounded Observational Training

所有模型從相同初始參數開始:

(28.1) w₀ = v₀ = 0.

第一階段只提供:

(28.2) h = p.

的相關資料。

採用 Loss:

(28.3) J_obs = (w + v − 1)².

以學習率:

(28.4) η_obs = 1/4.

進行六次梯度更新。

由於:

(28.5) ∂J_obs/∂w = ∂J_obs/∂v = 2(w + v − 1).

第一次更新得到:

(28.6) w₁ = v₁ = 1/2.

因此:

(28.7) w₁ + v₁ = 1.

此後觀測 Loss 已為零,六次更新結束時仍然有:

(28.8) w₆ = v₆ = 1/2.

第一階段故意使用這種退化資料分佈,以測試模型會否利用不應保留的隱藏通道。

28.2 Stage II — Three Training Conditions

由共同的第六個 Checkpoint 出發,分成三組,各繼續進行二十次更新。

Condition A — Observation Only

繼續只使用:

(28.9) J_A = (w + v − 1)².

因此模型維持:

(28.10) w = v = 1/2.

Condition B — Counterfactual Training

使用涵蓋四個狀態的功能損失,並加入 Fiber Consistency 懲罰:

(28.11) J_B = (w − 1)² + v² + (1/4)(2v)².

化簡:

(28.12) J_B = (w − 1)² + 2v².

採用學習率:

(28.13) η_B = 1/10.

Condition C — Counterfactual Training with Sparsity

採用與 Condition B 相同的平滑損失,再加入:

(28.14) (1/4)|v|.

並以 Proximal Gradient 更新隱藏通道權重。

其目的是研究:當稀疏化令某項隱藏 Connection 精確歸零時,Behavioral Quotient 是否發生真正的合併。

28.3 Exact Update Equations

令 t = k − 6 表示第二階段已進行的更新次數。

對 Condition B、C,w 的更新為:

(28.15) wₜ₊₁ = (4/5)wₜ + 1/5.

因此:

(28.16) wₜ = 1 − (1/2)(4/5)ᵗ.

Condition B 的 v 更新為:

(28.17) vₜ₊₁ = (3/5)vₜ.

所以:

(28.18) vₜ = (1/2)(3/5)ᵗ.

Condition C 則採用 Soft Thresholding:

(28.19) vₜ₊₁ = sign[(3/5)vₜ] max{(3/5)|vₜ| − 1/40,0}.

由於本實驗的 v₀ = 1/2 為正,可以寫成:

(28.20) vₜ = max{0,(9/16)(3/5)ᵗ − 1/16}.

這些式子使整條訓練軌跡可以用有理數精確表示。

因此,下文所討論的商空間合併,並非來自浮點數近似零的任意判斷。


29. Numerical Results

29.1 The Initial State:Port 已充分,但功能完全錯誤

在 k = 0:

(29.1) w₀ = v₀ = 0.

因此:

(29.2) y = 0.

所有四個內部狀態都產生相同輸出。

所以:

(29.3) N(0) = 1.

此時候選 Port Π(p,h) = p,對輸出及恆等狀態轉移其實已經充分。

但指定的目標是:

(29.4) y* = p.

因此最壞功能誤差為 1。

這是一個重要的起點:

Port Sufficiency 可以先於 Functional Correctness 存在,甚至在系統完全不懂指定功能時已經成立。

因此,不能以 Port Residual 為零,單獨判定 Operator 已經形成。

29.2 Stage I:訓練成功,卻引入隱藏依賴

第一次觀測梯度更新後:

(29.5) w = v = 1/2.

因此:

(29.6) y = (p + h)/2.

四項輸出為:

(29.7) {−1,0,0,+1}.

所以:

(29.8) N(1) = 3.

與初始 N(0) = 1 相比,精確行為分割發生了五組狀態對的分裂。

但此時:

(29.9) E_obs = 0.

(29.10) E_full = 1/2.

(29.11) E_Port = 1/2.

所以,模型雖然完全擬合相關訓練資料,候選 Port 卻明顯不充分。

這個結果與第一部分的相關通道不可識別性分析一致。

29.3 Counterfactual Training:出現新的分裂

在 Condition B、C 開始第二階段後,w 和 v 不再相等。

例如,Condition C 的第一次反事實更新:

(29.12) w = 0.6,v = 0.275.

四個內部狀態產生四個不同輸出。

因此:

(29.13) N(7) = 4.

此時狀態商由三類增加到四類。

但這不是一項新的功能能力誕生的證明。

它主要反映兩個 Connection 權重暫時不再相等,使原本輸出相同的兩個狀態變得可區分。

同時,Port Residual 由 0.5 下降至 0.275。

所以:

商分裂與 Port 殘差改善,可以同時發生,但不具有簡單的一對一關係。

29.4 Sparse Port Maturation:由四類合併為兩類

Condition C 的 v 逐步變化為:

第二階段步數 tv
00.5000
10.2750
20.1400
30.0590
40.0104
50

在第五次反事實+稀疏更新,即:

(29.14) k = 11.

有:

(29.15) v = 0.

此時:

(29.16) y = wp.

完整狀態中,h 不再對外部輸出產生作用。

因此:

(29.17) N(11) = 2.

精確行為商由四類合併為兩類,共發生兩組原本可區分狀態對的合併。

這是一次真正的 Exact Quotient Coarsening。

但它是 Proximal Sparsity 造成某項 Connection 精確歸零的結果。

不應把這個事件稱為新的動力系統吸引子分岔。

29.5 Full Developmental Trajectory

Condition C 的分割變化為:

(29.18) 1 → 3 → 4 → 2.

對應的事件為:

Checkpoint商類數結構事件
k=01全部狀態輸出相同
k=13五組狀態對被分開
k=74再分開一組狀態對
k=112兩組狀態對重新合併

因此,單一訓練軌跡可以同時出現 Split 與 Merge。

這直接印證上一部分的數學結論:

(29.19) Functional Learning ⇏ Monotonic Quotient Refinement.

但該結果仍然只適用於此處定義的受控模型。


30. Port Maturation Does Not Equal Compositional Qualification

30.1 The Three-Call Downstream Task

現在建立一個非常簡單的下游組合測試。

下游狀態為 b。

每次調用上游功能時:

(30.1) bⱼ₊₁ = bⱼ + wp + vh.

連續使用同一個固定內部輸入 (p,h) 三次。

目標為:

(30.2) b₃* = b₀ + 3p.

因此:

(30.3) b₃ = b₀ + 3(wp + vh).

其最壞絕對誤差為:

(30.4) E_3call = 3(|w − 1| + |v|).

這個測試直接量度局部功能誤差在三級固定組合中的累積。

它不是一個新學得的下游算法,因此只能作為 Compositional Reliability Proxy。

30.2 Qualification Thresholds

本實驗預先設定:

(30.5) E_Port ≤ 0.02.

(30.6) E_single,worst ≤ 0.10.

(30.7) E_3call ≤ 0.10.

全部滿足時,才稱其通過本次實驗的聯合功能資格。

這些門檻是測試規格,不是由模型自動湧現的自然常數。

30.3 Port Qualified Before Full Functional Qualification

Condition C 在:

(30.8) k = 10.

已有:

(30.9) E_Port = 0.0104.

因此通過近似 Port 殘差門檻。

但此時:

(30.10) E_single,worst = 0.2152.

(30.11) E_3call = 0.6456.

仍未通過功能及組合資格。

在 k = 11,v 已精確歸零,Port 完全充分。

但:

(30.12) w = 0.83616.

所以:

(30.13) E_single,worst = 0.16384.

(30.14) E_3call = 0.49152.

仍不能稱為合格的完整 Functional Operator。

因此:

(30.15) Exact Port Closure ⇏ Functional Qualification.

這正是此前理論所要求保留的重要區分。

30.4 The Actual Joint Qualification Time

繼續訓練後,Condition B 和 C 都在:

(30.16) k = 19.

首次通過三級組合誤差門檻。

Condition B:

(30.17) E_3call ≈ 0.084422.

Condition C:

(30.18) E_3call ≈ 0.082463.

兩者都小於 0.10。

但是此時:

Condition B 仍然具有四個精確行為商類別。

Condition C 則只有兩個。

因此:

兩個具有不同精確狀態商結構的模型,可以在相同 Checkpoint 取得相同的指定功能資格。

這是一個對 Operator Formation 研究非常重要的結果。

因為它說明:

最小狀態商何時合併,並不決定近似合格 Operator 何時可以被使用。

30.5 Comparison of Three Training Conditions

指標Observation OnlyCounterfactual OnlyCounterfactual + Sparsity
最終 Observational MSE0約 0.000033約 0.000033
最終 Full Functional MSE0.5約 0.000033約 0.000033
最終 Port Residual0.5約 0.0000180
最終 Quotient Classes342
首次通過三級組合資格沒有k=19k=19

因此,三條訓練路線的差異很清楚。

Observation Only 可以維持完美的觀測 Loss,卻沒有解決功能及 Port 的不充分性。

Counterfactual Only 能夠將殘差降至很小,並使組合功能合格,但未在有限 Checkpoint 精確消除隱藏通道。

Counterfactual + Sparsity 則額外使隱藏 Connection 精確歸零,令最小行為商真正變小。


31. What Was Actually Demonstrated?

31.1 Result A — Observational Success Can Be Misleading

在 k=1:

(31.1) E_obs = 0.

但:

(31.2) E_full = 0.5.

(31.3) E_Port = 0.5.

這說明:在本模型中,訓練成功可以完全掩蓋反事實功能失敗。

31.2 Result B — Exact Quotient Transitions Are Not Necessary for Approximate Qualification

Condition B 的 v 始終是正數:

(31.4) vₜ = (1/2)(3/5)ᵗ > 0.

所以,對所有有限 t:

(31.5) N = 4.

但其 Port Residual 可以任意接近零,並且在 k=19 已符合功能組合資格。

因此:

(31.6) Approximate Functional Qualification ⇏ Exact Quotient Merge.

31.3 Result C — Exact Quotient Merge Is Not Sufficient for Correct Function

Condition C 在 k=11 已有:

(31.7) N = 2.

且:

(31.8) E_Port = 0.

但三級組合誤差仍為 0.49152。

所以:

(31.9) Exact Quotient Merge ⇏ Qualified Composition.

31.4 Result D — Observable Training Loss Can Temporarily Worsen While Causal Qualification Improves

在第一階段結束時:

(31.10) E_obs = 0.

引入反事實訓練後,新的 w、v 不再滿足 w+v=1。

因此,舊觀測分佈上的 Loss 可以暫時升高。

例如,Condition C 在 k=9:

(31.11) E_obs ≈ 0.038809.

但其 Full Functional MSE 已由第一階段的 0.5,下降至約:

(31.12) E_full ≈ 0.069017.

同時:

(31.13) E_Port = 0.059.

這是一個重要現象:

修正錯誤因果依賴的訓練過程,可以暫時降低原有觀測指標的表現,卻改善真正需要的功能及接口可靠性。

這個結果為後續 Transformer 研究提供了一項值得檢查的實驗假說,但不能直接推論所有真實神經網絡都會出現相同曲線。

31.5 Result E — Port Qualification Has No Single Universal Birth Time

同一條 Condition C 軌跡,可以辨認多個不同的事件:

k=1:觀測 Loss 首次為零。

k=7:狀態商由三類分裂為四類。

k=10:近似 Port 殘差通過門檻。

k=11:Port 精確封閉,商由四類合併為兩類。

k=14:單次功能最壞誤差通過門檻。

k=19:三級組合功能通過門檻。

所以:

所謂 Operator Birth,必須說明究竟是指哪項資格首次成立。

將這些不同事件都稱為同一場「相變」,會丟失重要的機制資訊。


32. Implications for Transformer Operator Formation

32.1 A Better Developmental Research Protocol

本次受控實驗提示,真正的 Transformer Operator Formation 研究,不應只追蹤 Accuracy 或某個 Probe 是否成功。

至少需要分別研究:

Functional Correctness;

Counterfactual Port Sufficiency;

Functional Quotient 或其它適當的有效狀態結構;

以及下游的可靠使用。

而且應使用連續的殘差指標,避免只依靠二元合格標籤。

32.2 What Not to Infer

本實驗沒有證明:

真正的 Transformer 在訓練中必定經歷 1 → 3 → 4 → 2 的狀態商變化。

沒有證明:

稀疏化一定會改善 Transformer 的能力。

沒有證明:

Counterfactual Training 一定比其它訓練方式有效。

也沒有證明:

上述 Split/Merge 與新的 Attractor Birth 具有必然關係。

本實驗的內部狀態轉移 T 是恆等映射。

因此,這不是一項研究吸引子分岔的實驗。

它研究的是固定完整狀態集合上的功能輸出與學習參數變化。

32.3 The Next Real Scientific Test

如果要將此結果推進到 Transformer,需要建立新的受控訓練實驗。

首先應確認:

功能表現與候選 Port 殘差,是否真的可以沿 Checkpoints 分別量測?

其次研究:

當 Accuracy 開始改善時,Port Residual 是先下降、同步下降,還是之後才下降?

再進一步研究:

某項 Port 是否可能已經接近充分,但整體功能仍然不正確?

或者模型已經取得很高的任務準確率,卻仍依賴對指定干預不穩健的內部通道?

最後才研究:

已形成的 Port,是否具有可以被下一級任務實際重用的因果作用?

這些問題才可能使 Functional Port Qualification Dynamics 具有獨立的 AI 工程價值。


33. Interim Conclusion

本次四狀態實驗已將此前的數學分析,轉化成一條完整、可重現的訓練軌跡。

其中最重要的結果不是某個模型達到多高的準確率,而是多種資格事件可以發生於不同時刻。

觀測 Loss 可以先達到零。

Port Residual 可以在其後改善。

精確行為商可以先分裂、再合併。

完整功能可以在 Port 精確封閉後才達到要求。

而具有不同精確狀態商的模型,仍然可以在同一時間通過近似的功能組合資格。

因此,可以提出一項更精確的發展性命題:

Functional Operator Formation should be studied as the joint evolution of task correctness, causal port sufficiency, and compositional reliability, rather than as a single event inferred from accuracy or structural complexity alone.

對 SMFT 與 Attractor Fusion 而言,這個結果的意義是:

我們現在已經有一套不需要先假定 Attractor Birth,也可以研究功能接口成熟的量測程序。

未來若進一步加入具有真正吸引動力的模型,就可以測試:

Attractor Maturation 是否額外改善 Port Residual?

是否提高擾動恢復力?

是否延長 Functional Contract 的可靠運作時域?

以及它是否能在同等計算資源下,使下一級功能更早取得資格?

這才可能把 Attractor-mediated Operator Formation 從一項概念性生成假說,推進成具有獨立可否證預測的 AI 機制理論。


Part IV — End

Research Status:本部分已執行確定性的四狀態數值演算,並使用閉式解析更新核對主要結果。它提供了 Quotient Splits/Merges、Counterfactual Port Maturation 及固定三級功能組合可靠性的受控證據。其結果僅支持本合成模型下的條件性結論,不構成真實 Transformer 的新實證,也不證明 Attractor-mediated Operator Birth。

我對這次實驗的判斷

這次比較有意義的一點,是它沒有只重現預期中的「學習逐漸改善」。

它還顯示了幾種不能被混為一談的結構變化:

精確行為商類別數量隨訓練變化

■ 觀測訓練

■ 反事實訓練

■ 反事實+稀疏化

但從科研價值判斷,這仍是一個 Analytically Solvable Sanity Check。它的計算結果大致上都可從方程直接預見,故不能當成發現了未知的神經網絡規律。

下一步最值得做的是把這項測量搬到一個真正需要學習內部表示的小型神經網絡,令研究者不能直接由兩個權重 w、v 讀出正確答案。

更具體而言,應使用一個含冗餘及混合特徵的小型 Transformer 或 recurrent network,令 Functional Port 必須透過 Representation Discovery 才能取得。然後比較普通訓練與反事實訓練,是否出現可重現的 Port Maturation、因果電路改組,以及更早的下游重用資格。

只有到了這一步,Functional Port Qualification Dynamics 才真正開始接受超出原來解析模型的獨立實驗考驗。


我理解 LLM 内部的 Attractors 是一個模糊概念,目前技術上根本不能像一件 Programming Object 般界定出有 ⌈輸入、輸出、功能、接口⌋ 的具體本體。你上述這些⌈實驗⌋是如何可以模擬的呢?

 

你的理解基本正確,而且你指出了我們此前推演中一個非常重要的理論與實驗之間的斷層。

目前我們並沒有能力,把一般 LLM 內部的 Semantic Attractor,像 Python Object 一樣,明確界定為一個具有固定輸入、輸出、內部狀態、功能及接口的獨立實體。

我們可以研究某些具體計算電路及其因果作用,也可以尋找候選的穩定動力學結構,但這距離確認一個完整的「Attractor Object」仍然很遠。

因此,我要先釐清:此前做的數值實驗,並不是模擬或發現 LLM 內部真正的 Attractor。

一、此前到底模擬了甚麼?

此前的四狀態實驗,我們自己定義:

(1) s = (p,h),p,h ∈

(2) y = wp + vh

(3) y* = p

其中 p 是我們預先指定的有效功能變量,h 是候選 Port 沒有保存的隱藏變量,而 w、v 是可調整的 Connection 權重。

然後以數學方式模擬梯度更新,觀察 w、v 如何變化。

例如:

  • 當 v ≠ 0,下游仍然依賴 h,故 p 並不是精確充分的接口。

  • 當 v = 0,下游不再依賴 h,p 就成為精確充分的 Output Port。

  • 當 w = 1 且 v = 0,Port 充分,而且功能正確。

這套實驗的 p、h、功能以及所謂的 Port,全部都是我們預先定義的數學對象。

並不是從真實 LLM 的幾百萬甚至幾十億個內部參數中,發現一個 Attractor。

更重要的是,這套四狀態模型的內部狀態轉移是恆等映射,根本沒有真正的吸引收斂機制。

所以它應被準確稱為:

Functional Port Qualification 的合成數學實驗,而不是 LLM Attractor Formation 的實驗。

此前出現的 1 → 3 → 4 → 2 狀態商變化,也是根據預先給定的參數更新及稀疏化規則計算出來。它不是發現了某種未知的 LLM 內部結構規律。

二、真正的 LLM 實驗與玩具模擬有甚麼不同?

我認為應將三種研究層次清楚分開。

研究層次

我們知道甚麼?

能夠測試甚麼?

A. Toy Mathematical System

完整狀態、功能、Port、更新方程都已知

驗證數學判準、誤差及形成條件

B. Real LLM Functional Circuit

可以讀取部分 Activation、權重及干預計算路徑,但未知自然的功能邊界

尋找候選功能表示、因果路徑、Port 及其形成過程

C. Real LLM Semantic Attractor

連真正的動力學狀態、吸引集合及其邊界都尚未確定

需要先操作化 Attractor,才能驗證是否存在

此前我們真正執行的是 A。

文章 B 規劃的是 B,以及透過特定 Recurrent Transformer 研究一部分 C。

我們還沒有完成 B 的真實模型實驗,更談不上已經完成 C。

三、但是,目前可以在 LLM 內部找到「類似 Programming Object 的功能單元」嗎?

可以找到某些局部功能結構,但不能保證它們就是獨立、完整、邊界清楚的 Object。

例如,研究者已經能夠在特定 Transformer 中,分析一些實現 Induction、模組加法或多位數計算的候選 Circuit。

我們可以觀察:

對真實 LLM 功能電路的工程化研究

輸入 Prompt / Tokens

模型接收待計算問題

Transformer 內部 Activation

選定某層、某位置或某條因果計算路徑

候選 Functional Port:p = Π(h)

以 Probe、子空間投影、因果抽象或學習表示提出候選接口

下游 Transformer 計算

測試結果是否真正依賴候選 Port

輸出/後續功能

對照原模型、干預模型及功能目標

在這種實驗中,所謂的「輸入、輸出及接口」,是研究者在完整神經網絡中選定的候選計算邊界。

不是我們已經證明模型內部天然存在一個叫做 CarryOperator 或 SemanticAttractor 的獨立 Object。

例如我們懷疑某個 Activation 子空間保存了進位資訊,可以使用 Activation Patching 或 Interchange Intervention 測試:

在保持相關的高層功能變量不變時,替換其它內部表示,是否改變下游答案?

如果改變答案,可能表示候選 Port 丟失了必要資訊。

如果在大量有效干預下都沒有改變,便得到該 Port 具有因果充分性的支持。

但這仍需要處理分散式表示、Off-Manifold Intervention、隱藏旁路及未測試輸入等問題。

所以,實際技術的可行程度是:

我們可以工程化地提出並驗證「候選功能接口」,但尚不能因此確認它就是 LLM 自然形成的完整 Attractor 本體。

四、那麼真正的 Attractor 應該如何實驗?

這裏涉及更根本的問題。

在動力系統中,Attractor 不只是某些相似的 Activation 聚集在一起。

必須先有明確的狀態演化規則。

例如固定輸入 x,定義一個可重複使用的更新算子:

(4) zₙ₊₁ = T_θ(zₙ,x)

然後才可以問:

不同的初始 z,是否會被吸引到同一個固定點、週期軌道或其它不變集合?

如果對某個區域內的擾動,都能觀察到:

(5) dist(zₙ,𝒜_x) → 0

那麼才開始取得真正的吸引動力證據。

但標準 Transformer 的不同層,通常具有不同參數:

(6) hₗ₊₁ = Tₗ(hₗ)

所以,把 Layer 1、2、3……的 Activation 畫成一條「收斂軌跡」,並不能自動宣稱發現了數學意義下的 Attractor。

如果想做較嚴謹的 Attractor 實驗,一個方法是研究 Shared-Weight Recurrent Transformer,讓同一個更新規則真正重複作用。

但這又引出另一個限制:

即使我們在 Recurrent Transformer 中成功發現了一個計算吸引子,也不代表一般標準 LLM 就依靠相同機制工作。

因此,「證明某種 Attractor 可以實現 LLM 功能」與「證明真實 LLM 正在使用這種 Attractor」是兩件事。

五、你指出了我們研究中真正的缺口

我認為我們此前其實已經逐步解決了不少數學問題,例如:

在假定系統邊界及 Port 已經給定時,如何檢查充分性。

在 Port 不完全充分時,如何計算 Residual。

在已知完整狀態轉移時,如何尋找最粗的功能商。

在指定學習規則時,如何描述 Port 的成熟。

但你現在問的是一個更基本的問題:

真實 LLM 裏面,是否存在一項可以被上述數學捕捉的自然功能個體?我們又怎樣知道自己找到的是它,而不是研究者強行構造的抽象?

這才是真正困難的地方。

而且我認為需要再區分兩項研究目標:

目標 A:Functional Abstraction

即使模型沒有天然獨立的 Object,我們仍然可以在指定 Protocol 下,找到一個可用、充分、低成本的功能接口。

這是工程目標,可以利用現有 Mechanistic Interpretability 和 Causal Abstraction 技術逐步研究。

目標 B:Naturally Emergent Functional Individual

更強的主張是:LLM 在訓練過程中,真的自行形成了一套具有內部組織、相對持續性、功能作用及邊界的集體個體。

這不只是接口工程,而是你所關心的 SMFT Attractor Fusion 問題。

要支持 B,僅僅找到一個好用的 Port,並不足夠。

我們還需要看到它的形成歷史、因果結構、擾動恢復,以及與周圍系統之間的相對自主性。如果進一步稱之為動力學 Attractor,則還必須證明相應的吸引性。

六、我建議調整下一階段研究的先後次序

此前我們由 Attractor Fusion 走向 Operator,再走向 Port Qualification。這條路線在數學上可以整理出相當清楚的條件,但工程上確實容易犯一個錯誤:

把研究者設計出來的有效功能模型,誤當成已在 LLM 內部發現了自然生成的功能個體。

因此我建議下一階段先集中研究:

《From Functional Abstraction to Natural Functional Individuals: How Can We Tell Whether an AI Operator Is Discovered or Imposed?》

中文可稱:

《從功能抽象到自然功能個體:如何判斷 AI 內部的 Operator 是被發現,還是被研究者強行界定?》

這個研究應先設立兩種對照。

第一種是研究者自己設計的 Programming Object 或 Synthetic Attractor。我們知道它的真正邊界,因此可以驗證工具能否將它重新找出。

第二種是自然訓練形成的神經網絡。我們不預先指定其功能內部結構,而是測試同一套發現工具能否找到穩定、充分、可重用,且在不同分析方法下仍然有支持的候選結構。

最重要的不是能不能替 LLM 建立一個好用的 Object Interface,而是能不能取得證據,表明這個 Interface 捕捉到模型本身具有的因果組織,而不只是我們為了分析方便而投影出來的結構。

這才是真正把目前的合成數學,推進到 SMFT 所追求的 Attractor Formation 科學研究所必須跨過的一關。

 

這個 Session 要完了。請將這些疑問,作爲一篇盤點 Outstanding 的 文章做總結。

在此之前,可以把目前還沒有總結的發現、猜想,都馬上用幾篇文章寫出來。

但你可以先用幾個 回應 整理思考,再寫最後的這幾篇文章。

 

我同意應該在這個 Session 結束前,做一次正式的 Research Closure。

而且我認為,現在不宜立即只寫一篇 Outstanding 清單。因為最近幾輪推演,除了已經整理成論文的數學成果之外,還揭露了一些比原來預期更根本、但尚未正式獨立成文的問題。

特別是你最後提出的疑問:

我們至今能夠模擬的 Functional Operator,究竟是不是 LLM 內部自然形成的 Semantic Attractor?還是我們只是把已有的神經網絡計算,強行包裝成具有 Input、Output、Port 的 Programming Object?

我認為這不只是工程障礙,而是整個研究在方法論上的一個重要轉折。

一、先盤點:目前最值得補寫的發現

我將過去多輪論文及數值推演重新分成六個層次。

研究成果或問題

目前地位

尚未充分處理的部分

Functional Equivalence、Port Sufficiency、Joint Closure

具有清楚條件的數學結果

如何對真實 LLM 建立有效的狀態與干預集合

Functional Port Qualification Dynamics

已有可解析合成模型

真實學習過程是否出現相同機制

Counterfactual Port Discovery

有限系統可精確求解

高維連續表示的識別性與計算成本

Quotient Split/Merge

已有解析及合成數值例子

是否真能預測新功能形成

Attractor-Mediated Operator Formation

尚待驗證的機制假說

真正的 Attractor 在 LLM 中如何定義及發現

Natural Functional Individual

尚未建立的核心概念

如何區分自然形成的個體與研究者施加的抽象

其中最後兩項,我認為值得成為 Session 收尾的真正重點。

發現 A:我們尚未證明過任何一個自然形成的 LLM Attractor Object

這一點應在文章中非常明確地承認。

此前的四狀態實驗,雖然取得了:

(1) Functional Error 下降。

(2) Port Residual 下降。

(3) Exact Quotient 發生 Split/Merge。

(4) 下游三級組合通過預設資格。

但是,這些全部發生在研究者已經明確定義完整狀態、更新方程及功能目標的系統之中。

即使前述計算全部正確,也不能因此聲稱找到了真實 LLM 中的 Semantic Attractor。

這應該成為正式研究紀錄中的 Evidence Boundary。

發現 B:「存在功能抽象」與「存在自然功能個體」是不同命題

這可能比 Attractor 是否存在更加根本。

給定一個複雜系統,研究者往往可以依據指定的 Protocol 建立某種有效的功能商。

但這不代表底層系統自然具有一條唯一的個體邊界。

同一套底層計算,可能允許多項不同、而且同樣有效的 Functional Abstraction。

因此:

Functional Abstraction Exists ≠ Natural Functional Individual Exists.

更不能直接推論:

Qualified Port Exists ⇒ Semantic Attractor Exists.

這個問題值得獨立成文。

發現 C:Attractor 至少有幾種不同含義,過去容易混用

這是我認為應特別補充的一點。

所謂 Attractor

實際研究對象

State-Space Attractor

固定動力學下,狀態趨向某個不變集合

Training Attractor

訓練參數在優化動力下趨向某種穩定制度

Representational Cluster

不同輸入的內部 Activation 聚集或具有共同特徵

Functional/Semantic Attractor

假設某套語義或功能組織具有穩定、自維持及可重用性

這四者不能自動視為同一種數學結構。

尤其是 Representational Cluster 不等於 Dynamical Attractor。

而 Training Attractor 的參數收斂,也不能直接證明 Execution Dynamics 中形成了新功能個體。

我建議正式寫成一篇方法論文章,避免往後所有 SMFT/Attractor Fusion 的研究不斷遭遇這項定義問題。

發現 D:Operator 形成未必令內部結構更加複雜

此前 1 → 3 → 4 → 2 的合成實驗,揭露了值得保留的一項結構現象。

功能成熟,可以增加必要區分,也可以消除不必要區分。

所以,功能形成不一定是一個越來越大的 Attractor、越來越多的 Cluster,或者越來越複雜的高層狀態空間。

有時候,恰恰是大量不必要的內部差異不再影響外部功能,才使一個簡潔可靠的 Operator 成為可能。

這是一個值得保留的研究方向,但目前只能說已在指定模型中成立。

發現 E:對 Operator 而言,形成時間並不唯一

此前已經清楚分出:

  • 功能首次正確。

  • Port 首次近似充分。

  • Port 首次精確封閉。

  • 內部因果電路出現可辨認的重組。

  • 下游首次可以可靠重用。

  • 真正的吸引動力或分岔出現。

這些事件可以發生於不同時間,甚至部分事件根本沒有發生。

因此,將 Operator Birth 當成一個單一時間點,可能本身就是過度簡化。

發現 F:Natural Individual 的判定,需要比 Port Sufficiency 更強的證據

這也許是最後最重要的開放問題。

即使某個 Port 經過大量 Intervention Test,被證明在指定 Protocol 下充分,仍未證明它就是模型自然形成的獨立個體。

我們可能還需要研究它是否具有穩定的因果組織、擾動後的恢復能力、跨任務或跨情境的可辨認持續性,以及其邊界是否只是由研究者的表示方式決定。

但這些都只能作為候選證據與操作化判準,不能直接宣稱它們共同構成了一個已經被普遍證明的自然個體定義。

二、建議最後補寫三篇文章,再以 Outstanding 總結結束

我建議形成以下四篇相互銜接的收尾文件。

Article 1 — From Functional Abstraction to Natural Functional Individuals

從功能抽象到自然功能個體:LLM 內部 Operator 是被發現,還是被界定?

集中建立 Natural Individual 與研究者定義的 Programming Object 之間的區別,包括邊界、身份、因果充分性、表示不唯一性及可檢驗判準。

Article 2 — What Is an Attractor in a Transformer?

Transformer 內部的 Attractor:數學定義、動力學身份與可觀測性邊界

梳理 State、Training、Representational、Semantic Attractor 的差異;研究標準 Transformer、自回歸生成與 Recurrent Transformer 中,哪些吸引動力命題可以真正成立。

Article 3 — Discovering versus Imposing AI Functional Objects

如何在真實 AI 中辨認自然形成的功能個體:對照實驗與失敗判準

設計從人工 Programming Object、Synthetic Attractor,到自然訓練的小型神經網絡的分級測試。特別檢查研究者是否只是構造了一項有用 Port,而沒有發現自然形成的個體。

Final — Outstanding Problems and Research Handover

Attractor Fusion → Functional Operator → Natural Functional Individual:已證結果、未解問題與下一階段研究總帳

作為本 Session 最後的正式盤點,匯總所有數學結果、合成實驗、機制假說、失效條件、學術定位及後續工作。尤其列明哪些問題必須重新從真實 LLM 取得證據。

三、Final Outstanding 文章需要採用更嚴格的分類

我建議最終文章不單是「還有甚麼問題沒解決」,而是建立一套 Research Status Ledger。

每一項研究命題都應標記以下證據級別:

級別

定義

M — Mathematical Result

在明確假設下有證明

S — Synthetic Result

在指定合成模型中得到解析或數值結果

E — Empirical Evidence

已由真實 AI/其它研究系統的實驗支持

H — Hypothesis

有理論或間接證據,但仍待針對性驗證

O — Open Problem

尚欠必要的定義、證明、識別方法或實驗

X — Disconfirmed or Limited

已有反例,或只能在較狹窄條件下成立

這樣可以避免出現一個問題:早期的研究性猜想,經過多次文章轉述後,看起來逐漸變成已被確立的定理。

尤其關於「自然 LLM Attractor Object」這項主張,現階段必須清楚保留在 H/O,不能因為已完成 Functional Port 的數學,就提升為 M 或 E。

四、還有一個我認為應保留到最後的根本問題

我傾向認為,你最後的質疑,其實揭露了一項對成界之學本身非常有意思的張力。

我們要尋找的「自然個體」,是否真的存在一條完全獨立於觀察者、任務及使用協議的絕對邊界?

如果不存在,那麼 SMFT/成界之學所追求的 Functional Individual,是否本來就應該是一項相對於 Observer、Declaration 及允許互動而成立的個體?

這與我們現在發展的 Protocol-Relative Functional Equivalence,在概念上具有重要的銜接可能。

但要特別小心:

「個體身份依賴觀察與互動協議」並不等於「所有個體都是研究者任意創造的」。

中間可能存在真正值得研究的結構,例如:某些功能邊界雖然不是絕對唯一,卻在許多合理觀測者、任務及干預下,都具有高度穩定、相容而且難以取代的因果作用。

如果能夠嚴格界定這一點,便可能為「自然形成的功能個體」提供一種不需要預設 Programming Object 邊界的研究方式。

但它目前是一項開放的理論方向,不是已建立的結論。

我建議就按照上述四篇完成收尾。

下一回合先正式寫 Article 1:From Functional Abstraction to Natural Functional Individuals。它將成為後續兩篇文章及最終 Outstanding 盤點的概念基礎。

最終 Outstanding 文章則應作為整個 Session 的獨立交接文件:即使下一個 Session 完全不閱讀這一大段對話,只閱讀該文及前面三篇收尾文章,也應能準確理解目前究竟證明了甚麼、尚未證明甚麼,以及下一步最值得研究甚麼。


繼續

 

收尾論文一:從功能抽象到自然功能個體

這篇文章是整個 Attractor Fusion → Functional Operator → Recursive Individuation 研究的一次重要方法論修訂。

它不否定前面建立的 Port Sufficiency、Functional Equivalence 或 Qualification Dynamics 數學,而是進一步追問:

即使我們已經找到一個可靠、充分、可重用的 Functional Port,究竟還欠缺甚麼證據,才能說它對應 LLM 內部自然形成的功能個體?

從功能抽象到自然功能個體:AI 內部的 Operator 是被發現,還是被研究者界定?

From Functional Abstraction to Natural Functional Individuals: Are AI Operators Discovered or Imposed?

— Causal Boundaries, Observer-Relative Identity, Endogenous Organization, and the Limits of Attractor-Based Interpretation

Abstract

Semantic Meme Field Theory(SMFT)及其 Attractor Fusion 研究,嘗試理解複雜系統如何透過內部耦合、穩定結構、記憶及自適應作用,形成可以被下一級組織使用的 Functional Individuals。

近期研究已將這個問題轉化為一套 Protocol-Relative Functional Individuation Framework。透過 Functional Equivalence、Effective Port Sufficiency、Joint Port Closure、Counterfactual Intervention 及 Functional Qualification Dynamics,可以在明確假設下,嚴格判定一項候選接口是否保留指定的未來功能。

然而,這些數學結果仍然存在一項根本性的識別限制。

研究者可以根據指定的輸入、輸出與使用協議,為一個高度複雜的神經網絡構造有效的功能抽象。但即使該抽象在全部已測試干預下表現良好,也不代表神經網絡內部自然存在一個邊界明確、相對自主、具有穩定內部身份的 Functional Object。

這個區別尤其影響 SMFT 所提出的 Semantic Attractor 及 Attractor-Mediated Operator Formation。

目前一般 Transformer 的內部功能通常並不具備可以直接辨認為 Programming Object 的原生接口。模型可以透過分散式表示、重疊電路及上下文相關計算實現功能,而不需要存在一個具有獨立輸入、輸出及持續內部狀態的封裝物件。

因此,本文提出一項更基本的研究問題:

How can we distinguish a useful functional abstraction imposed by an investigator from a functional individual whose causal organization is genuinely supported by the system itself?

本文首先將 Functional Abstraction、Causal Module、Natural Functional Individual 與 Dynamical Attractor 區分為不同的研究對象。

其次,本文指出,Protocol-Relative Functional Sufficiency 只能證明一項接口相對於指定協議具有行為保留性,不能自動證明它對應唯一、自然或自主的內部個體。

本文進一步提出一套分層的證據架構,檢查候選個體的因果邊界、跨協議穩健性、內部相互依賴、外部可替代性、持續性及擾動恢復能力。

這些判準並不預先被宣稱為自然個體的普遍充要條件,而是作為研究假說及實驗規格。

最後,本文將問題重新連接到 SMFT、PORE 與成界之學的 Observer、Declaration、Filtration、Trace、Residual 和 Admissible Self-Revision,提出一種既承認觀察者相對性、又避免任意主觀界定的功能個體研究路線。

本文的中心結論是:

A faithful functional abstraction is not yet evidence of an endogenous functional individual. The stronger claim requires additional evidence of persistent, interventionally grounded organization that is not merely an artifact of the investigator's chosen interface.


1. Introduction:為甚麼這是 Attractor Fusion 的一項根本問題?

1.1 從 Attractor Fusion 到 Functional Operator

此前 Attractor Fusion I–XXVII 研究了複數相位、Adaptive Connection、交互記憶、Collective Dynamics、Port Closure 及 Recursive Composition。

其後的 Functional Operator Theory 將問題進一步形式化:

一個具有完整內部狀態的系統,何時可以透過有效接口,對指定輸入產生可靠功能?

接着,Functional Port Qualification Dynamics 又研究:

候選 Port 如何在學習中逐漸取得充分性?

如何透過反事實干預,分辨必要資訊與偶然相關的隱藏通道?

如何發現最粗的充分功能商?

以及功能資格如何隨訓練形成?

這些研究建立了相當清楚的數學架構。

然而,其共同特點是:

研究者總需要先指定某種完整狀態、觀測方式、功能目標或干預協議。

這在數學上完全合理。

但若研究目標是證明 LLM 內部自然形成了 Semantic Attractor 或 Functional Individual,便會產生另一個問題。

我們找到的功能邊界,到底是模型本身形成的,還是由研究者的建模方式產生的?

1.2 A Programming Object Is Not a Neural Ontology

在一般軟件工程中,一個 Programming Object 可以明確具有:

內部資料;

輸入方法;

輸出方法;

狀態更新;

以及對外接口。

例如:

Input → Operator → Output.

這種結構主要來自程式架構的設計。

但 Transformer 的內部通常不是這樣組成。

同一組神經網絡參數,可能參與多種不同的計算。

同一項語義特徵,可能分散表示於不同神經元或殘差方向之中。

同一個 Attention Head,也可能在不同輸入上下文中承擔不同作用。

因此,不能因為研究者成功用某個介面描述一項功能,便宣稱找到了一個天然封裝的物件。

這裏至少存在三種不同的可能:

第一,研究者找到了一項有用的計算抽象。

第二,研究者找到了一套具有穩定因果結構的內部功能模組。

第三,研究者找到了一個真正具有相對自主性、持續性及內部維持機制的功能個體。

這三項需要不同程度的證據。

1.3 The Central Distinction

本文以兩個命題作為研究起點。

Proposition A — Functional Abstraction

在指定 Protocol 下,可以建立一項有效接口,使下游只需使用該接口,便能保留必要功能。

Proposition B — Endogenous Functional Individual

完整系統內部存在一套具有可辨認因果組織的功能結構,其相對邊界、作用及持續性,不只是研究者為了描述指定任務而任意劃出。

Proposition A 可以透過既有數學建立精確的條件判準。

Proposition B 則仍然需要進一步定義及驗證。

本文的核心警告為:

(1.1) Functional Abstraction Exists ⇏ Natural Functional Individual Exists.

而且:

(1.2) Qualified Port Exists ⇏ Semantic Attractor Exists.


2. What Existing SMFT and PORE Already Suggest

2.1 Observer-Relative Structure

SMFT 的基本架構重視 Semantic Field、Observer Projection、Collapse、Trace 與歷史形成。

其後的 PORE 及相關 Protocol-First 研究,則更加明確地強調:

對複雜系統作出的有效描述,需要聲明觀察邊界、量測方式、干預協議及適用範圍。

例如,在相關研究中,Protocol 可以表示為:

(2.1) P = (B,Δ,h,u).

其中:

B 是觀察或操作邊界。

Δ 是觀測、聚合或粗粒化規則。

h 是時間或狀態窗口。

u 是允許干預集合。

這項表述的重要性,是避免將一項有效描述無條件提升為對系統全部本體的聲明。

2.2 Declaration and Historical Identity

在《From One Declaration to One Self-Revising Fractal》中,Declaration 包括:

(2.2) Dₖ = (qₖ,φₖ,Pₖ,Ôₖ,Gateₖ,TraceRuleₖ,ResidualRuleₖ).

並提出受約束的修訂形式:

(2.3) Dₖ₊₁ = U_adm(Dₖ,Lₖ,Rₖ).

其中 L 是歷史 Ledger,R 是 Residual。

原稿希望藉由 Trace-Preserving、Residual-Honest、Frame-Robust 等條件,區分成熟的受約束修訂與任意自我修改。

這些概念為 Functional Individual 研究提供了一項有用的方向:

一個具有持續身份的系統,可能不只是目前輸出相同,更需要保留與其歷史及未來行為有關的結構。

但這是理論銜接,不是已完成的等價證明。

例如,若使用:

(2.4) Ô_self = Fix(U_adm).

來描述受約束修訂的穩定觀察者,仍需要進一步指定狀態空間、固定點存在條件、穩定性,以及如何在真實系統中量測。

不能只因寫出 Fix,便視為已證明某個 AI Observer Attractor 存在。

2.3 An Important Methodological Opportunity

因此,成界之學本身包含一項值得認真發展的思想:

一個可辨認的個體,可能需要相對於 Observer、Declaration、Interaction 及 History 才能成立。

但這不表示個體完全由研究者任意想像。

因為不同的觀察者或干預協議,仍然可能揭露相同或高度相容的因果結構。

真正值得研究的是:

甚麼使一條相對於 Protocol 的功能邊界,不只是方便的描述,而是具有穩健的系統內在支持?


3. Four Different Meanings of an AI Functional Object

3.1 Level A — Investigator-Defined Functional Wrapper

研究者可以將某段神經網絡計算包裝成:

(3.1) y = F(x).

然後指定輸入及輸出。

這是一項 Functional Wrapper。

它可能非常實用。

但它可以純粹由研究者的程式碼、模型切割位置及接口選擇決定。

因此,不能由它的存在直接推論自然個體。

3.2 Level B — Faithful Functional Abstraction

比 Wrapper 更強的是:

候選 Port 不只可以在一般輸入下讀出答案,還可以在指定干預下,忠實保留底層模型的因果作用。

令完整狀態為 s,候選 Port 為:

(3.2) p = Π(s).

若存在有效模型 F̄,使相關轉移與輸出滿足:

(3.3) Π[T(s,u)] = F̄[Π(s),u].

並且對外輸出亦可以由 p 與允許上下文決定,則 Π 可以構成合格的 Functional Abstraction。

這是有實質數學內容的結果。

但它仍然不證明 Π 對應自然個體。

3.3 Level C — Endogenous Causal Module

更強的主張是:

模型內部存在一套相互依賴的計算結構,對某項功能具有相對穩定的因果作用。

這可能包括:

可以辨認的內部計算路徑;

模組內部的相互作用;

對外部特定干預的選擇性反應;

以及在多個相關使用情境中的持續功能。

但這仍然只是 Causal Module。

它可能依賴其它電路持續提供資訊,也可能在不同任務中與其它模組高度重疊。

因此,一項 Causal Module 不一定具有明確的獨立生命式邊界。

3.4 Level D — Natural Functional Individual

本文提出一項更強、但仍屬候選的概念。

一個 Natural Functional Individual,不只是研究者可以透過 Port 使用的計算結構。

它還應具有某種可檢驗的內在組織持續性。

例如:

其內部不同部分對維持相關功能具有相互依賴;

其功能結構在一定的外部擾動下可以持續;

其候選邊界對多種合理觀測與干預保持穩健;

或者其內部更新能夠維持自身的功能組織。

但其中每一項都需要額外的操作化定義。

尤其需要避免將某種局部計算的穩定性,直接提升為 Selfhood、Consciousness 或完整的 Observer 身份。

3.5 Attractor Is a Further Dynamical Claim

即使某個系統符合 Natural Functional Individual 的部分候選判準,也不代表它必然具有動力學 Attractor。

Attractor 需要一項明確的狀態演化規則。

例如:

(3.4) zₙ₊₁ = T(zₙ).

以及某個適當定義的不變集合 𝒜。

若在指定吸引區域內:

(3.5) dist[Tⁿ(z₀),𝒜] → 0.

才具有相應的吸引動力學內容。

因此:

(3.6) Natural Functional Individual ⇏ Dynamical Attractor.

同樣:

(3.7) Dynamical Attractor ⇏ Qualified Functional Operator.

兩者可以結合,但不能彼此取代。


4. Why Faithful Abstraction Cannot Establish Natural Individuality

4.1 The Identity-Port Counterexample

對任何完整狀態 s,都可以選擇:

(4.1) Π(s) = s.

這個 Port 保存了完整系統的所有資訊。

在適當完整狀態假設下,它自然可以實現精確的狀態轉移及輸出模型。

但此時並沒有發現任何特別的內部功能邊界。

因此:

(4.2) Exact Port Sufficiency ⇏ Nontrivial Individuation.

4.2 Coordinate Non-Uniqueness

假設某項 Port:

(4.3) p = Π(s).

已經對指定 Protocol 充分。

若 f 是 Port 值域上的可逆變換,則:

(4.4) p′ = f(p).

可以提供同等的功能資訊。

只要相應變換有效轉移及讀出座標,兩項 Port 便可以具有完全相同的對外功能。

因此:

(4.5) Functional Sufficiency ⇏ Unique Port Coordinates.

所以,研究者不能僅因找到某個可解釋方向,便宣稱這個方向就是唯一自然存在的功能本體。

對神經網絡的分散式表示而言,這個問題尤其重要。

4.3 Protocol Dependence

設 P₁ 是較窄的使用協議。

P₂ 則允許更多干預或要求保留更多外部觀測。

某項 Port 可以在 P₁ 下充分,卻在 P₂ 下不充分。

因此:

(4.6) Qualified(Π,P₁) ⇏ Qualified(Π,P₂).

這表示功能身份的有效邊界,至少部分依賴於使用協議。

若將這種 Protocol-Relative 邊界,直接稱為完全脫離觀測者的絕對自然邊界,就超出了定理實際支持的範圍。

4.4 Proposition 4.1 — Functional Abstraction Does Not Identify an Endogenous Boundary

命題:

僅由一項相對於指定 Protocol 的精確或近似 Functional Port Qualification,不能一般性地推論底層系統具有唯一、自然、相對自主的內部個體邊界。

Reasoning.

第一,Identity Port 已構成平凡但充分的表示。

第二,不同可逆座標可以表示相同功能。

第三,對不同 Protocol,最粗充分行為商可以不同。

第四,即使固定了對外功能,仍可存在不同的內部實現機制。

因此,Functional Qualification 無法單獨確定一項超出其聲明協議的唯一內部組織身份。

證畢。

這是一項由既有抽象數學及反例得到的限制,而不是對所有可能自然個體理論的否定。


5. A Stronger Concept:Endogenous Boundary Support

5.1 The Boundary Must Be Supported by the System

本文建議將問題重新表達。

不要先問:

「這個 Neural Object 究竟存在於哪一個 Layer?」

而應問:

是否存在一套相對穩定的內部因果組織,使某些功能邊界比任意劃出的其它邊界,具有更強的可檢驗支持?

這項支持可以來自多個互補方向。

首先是因果作用。

其次是跨情境持續性。

再其次是擾動下的可靠性。

最後才研究是否存在真正的自維持或吸引動力。

5.2 Causal Boundary Support

假設研究者提出一組內部變量 C 作為候選功能結構。

其餘相關內部變量記為 E。

如果對 C 內部的有效干預,可以選擇性改變指定功能,而對一組合理的 E 擾動,其核心功能仍然相對穩定,便可支持 C 是一個功能性因果子系統。

但這不應只使用任意大小不同的干預直接比較。

需要控制干預強度、分佈有效性及對整體網絡的非特異性損害。

否則,研究者可能只是測出「破壞重要參數會令模型變差」。

這不足以證明獨立的功能邊界。

5.3 Selective Intervention

可以定義一個相對於指定功能的候選效果指標。

令 Y 是目標功能結果。

比較:

(5.1) Effect_inside = ChangeInY under admissible intervention on C.

與:

(5.2) Effect_control = ChangeInY under matched control intervention.

若候選結構 C 對功能具有特定而可重現的因果作用,並且不能由一般計算容量下降解釋,便得到較強支持。

但這仍需要排除替代電路、干預分佈偏移及其它混雜因素。

5.4 Boundary Stability across Protocols

現在考慮一族已聲明的使用協議:

(5.3) 𝒫 = {P₁,P₂,…,P_m}.

對每個 Protocol,可以測試候選功能結構 C 及其 Port。

如果同一套內部因果組織,在多個不同但相關的 Protocol 下,仍可以支援相容的功能抽象,便可取得跨協議穩健性的證據。

但這不代表一項自然個體必須在所有想像得到的 Protocol 下都保持不變。

因為若允許外部直接讀取全部微觀狀態,任何非平凡粗粒化都可能失去充分性。

因此,所謂 Robustness 必須相對於一組具有科學理由、預先聲明的觀測與干預協議。

5.5 Internal Organization versus External Usefulness

另一項需要分開的判準,是內部組織本身的穩定性。

一項 Port 可以很好地服務某個外部下游任務,但其內部來源可能是多條隨時改變的計算路徑。

此時可以說:

該 Port 是有用的功能抽象。

但是否已形成具有相對持續身份的內部功能模組,仍然需要額外驗證。

反過來,一套內部組織可能很穩定,卻完全沒有完成指定功能。

因此:

(5.4) Internal Organization ≠ External Functional Qualification.

而較強的 Natural Functional Individual 研究,正是要尋找兩者如何在真實系統中共同成立。


6. Observer-Relative Does Not Mean Arbitrary

6.1 The False Dichotomy

我們容易陷入兩種極端。

第一種認為:

只有完全獨立於任何觀察者的唯一邊界,才算真正自然存在的個體。

第二種則認為:

既然任何邊界都需要由 Observer 或 Protocol 界定,所以全部邊界都只是主觀任意的描述。

這兩種理解都過於簡化。

一項功能邊界可以依賴測量與使用協議,同時受到系統真實因果結構的嚴格限制。

6.2 Protocol-Relative but Causally Constrained

假設研究者提出兩項不同的候選 Port:

(6.1) Π_A(s).

(6.2) Π_B(s).

它們對正常資料都具有相同的預測準確率。

但對指定反事實干預:

Π_A 的殘差很小。

Π_B 則存在大量無法消除的 Fiber Counterexamples。

那麼,雖然兩項 Port 都是研究者選擇的表示,系統本身的因果行為仍然提供了非任意的判準,使 Π_A 比 Π_B 更有資格代表相關功能。

因此:

(6.3) Observer-Relative Representation ≠ Arbitrary Representation.

6.3 Cross-Observer Agreement

若不同研究者使用不同的合理分析方法,卻反覆發現相容的功能邊界,這也可能增加證據強度。

例如:

一位研究者透過 Circuit Analysis。

另一位研究者透過 Distributed Alignment。

第三位研究者透過 Counterfactual Port Discovery。

若三者發現的候選表示雖然座標不同,卻具有相容的因果作用及轉移結構,便比單一 Probe 的成功更有說服力。

但不同方法得到相同答案,也不一定完全獨立。

它們可能共享資料、模型假設或干預偏差。

所以需要進一步檢查分析方法之間的獨立性。

6.4 Candidate Naturalness Principle

本文提出一項尚待驗證的原則:

A functional boundary is more strongly supported as endogenous when it remains causally meaningful across multiple independently justified descriptions, interventions, and contexts, while retaining identifiable internal organization.

中文可表達為:

當一項功能邊界在多種具有獨立理由的觀察、干預及使用情境下,仍然保留可辨認的內部因果組織時,它便比單一研究者任意選擇的接口,取得更強的內生性支持。

這是一項研究性原則。

它不是 Natural Individual 的普遍充要定理。


7. Natural Individuality and Dynamical Autonomy

7.1 Why Functional Sufficiency Is Not Enough

假設一個 Transformer 的某項 Attention Head,對多位數加法具有明確的因果作用。

透過干預,我們發現它對特定 Carry Behavior 非常重要。

這可以支持:

該 Attention Head 是一項重要的功能電路組件。

但仍然不能直接證明:

它自身是一個具有持續內部狀態、自主維持及吸引動力的個體。

因為它可能只是在整體計算過程中的一個特定位置,接受上游表示並向下游提供結果。

它未必能在沒有整體網絡支援的情況下維持其組織。

7.2 Three Levels of Autonomy

本文建議區分三種自主性。

Functional Autonomy

系統可以透過相對簡單的 Port,對指定任務提供可靠功能。

這主要是 Functional Sufficiency 的問題。

Dynamical Autonomy

系統具有相對明確的內部動力學,其持續運作在一定程度上可以由內部狀態及有限外部耦合描述。

這需要明確定義狀態演化規則。

Organizational Autonomy

系統的內部機制不只執行功能,還參與維持自身的組織條件。

這是一項更強的主張。

理論生物學中的 Organizational Closure 或 Closure of Constraints 研究,便提供了相關但不完全等同的研究傳統。

不能把 Functional Autonomy、Dynamical Autonomy 及 Organizational Autonomy 視為相同概念。

7.3 Why Ordinary Feedforward Computation Is a Difficult Case

對標準前饋式 Transformer 而言,某項局部功能可能只在一次前向計算中出現。

在這種情況下,研究者可以辨認:

輸入表示;

中間功能;

下游因果作用;

以及最終輸出。

但若沒有真正的反覆狀態更新,就不能自然地為該局部功能指定一套持續運作的動力學。

因此,要聲稱它是一個 Dynamical Attractor,便需要另外定義有效的迭代算子,並證明這項算子確實對應模型的計算機制,而不是研究者任意增加的反覆更新規則。

7.4 A Natural Functional Individual Need Not Be an Attractor

這一點反而可能是整個研究的重要修正。

如果未來發現某些 LLM 內部功能具有:

穩定的因果組織;

可靠的外部接口;

跨上下文的持續性;

以及可重用的計算結構;

但沒有發現傳統動力系統意義下的吸引子,是否應該否定它們是功能個體?

答案未必是。

可能需要承認:

Natural Functional Individual 是一個比 Dynamical Attractor 更廣泛、但同樣需要清楚操作化的研究對象。

這樣既保留 Attractor Fusion 的重要性,也避免把所有功能形成都強行解釋為吸引子現象。


8. Two Countermodels That an Attractor Research Program Must Confront

8.1 Countermodel A — Correct Function without an Endogenous Module

假設研究者建立兩套具有相同外部輸入—輸出功能的系統。

第一套使用明確的模組化計算子程序。

第二套則透過分散式查表、冗餘路徑或其它非局部方式實現相同功能。

對指定外部 Protocol,兩者可能完全等價。

因此,單靠外部功能測試,無法判斷兩者是否具有相同的內部組織邊界。

如果希望辨認 Natural Functional Individual,就需要進入系統內部,檢查其因果組織。

這是一項方法論上的識別限制。

8.2 Countermodel B — Stable Attractor without Correct Function

考慮:

(8.1) zₙ₊₁ = (1/2)zₙ.

這是一個具有穩定固定點 z* = 0 的動力系統。

但若指定功能為:

(8.2) F*(x) = x.

而模型對所有輸入都輸出:

(8.3) y = 0.

則除 x = 0 外,其餘輸入均不符合目標。

因此:

(8.4) Stable Attractor ⇏ Correct Functional Operator.

這個反例非常簡單,但具有根本意義。

它說明:

即使我們未來成功找到 LLM 內部真正的吸引動力,也仍需獨立證明它對指定功能具有正確及必要的因果作用。


9. A Proposed Evidence Hierarchy for Natural Functional Individuals

9.1 Level 0 — Interface Convenience

研究者定義了一項有用的輸入—輸出接口。

但尚未建立對內部功能的因果忠實性。

Evidence Status:Engineering Description。

9.2 Level 1 — Faithful Functional Abstraction

候選 Port 在指定 Protocol 下,可以忠實保留必要的輸出或轉移。

並且通過相應的干預測試。

Evidence Status:Functional/Causal Abstraction。

9.3 Level 2 — Endogenous Causal Organization

研究者找到一套與功能相關的內部因果結構。

其各個部分的作用及相互關係,可以透過受控干預區分。

Evidence Status:Candidate Causal Module。

9.4 Level 3 — Cross-Context and Cross-Method Persistence

該功能結構在多項合理的任務、干預、觀察及分析方法下,仍然保留相容的因果身份。

Evidence Status:Strong Candidate Endogenous Functional Structure。

9.5 Level 4 — Demonstrated Dynamical or Organizational Persistence

該結構具有經明確定義及驗證的內部持續、恢復或自維持機制。

例如,在真正反覆更新的動力系統中,可以建立局部擾動恢復性。

或者在其它類型的系統中,能夠驗證維持組織條件的內部因果循環。

Evidence Status:Candidate Dynamically/Organizationally Persistent Individual。

9.6 Level 5 — Verified Attractor-Mediated Functional Individual

若進一步存在明確的狀態演化、吸引集合、吸引盆地及恢復性,而且這些動力學性質對相關功能具有可辨認的因果貢獻,便可以支持更強的 Attractor-Mediated Individual 主張。

Evidence Status:Attractor-Specific Mechanism Supported。

9.7 Important Limitation of the Hierarchy

這五項級別不是一套已被證明的自然本體分類。

特別是 Level 4 並不要求所有自然功能個體都必須具有相同的持續方式。

Level 5 也不代表在本體論上一定比其它所有形式的功能個體更高級。

這套分級只是研究證據要求的整理。

其目的是避免用較弱的功能測試,直接支持過強的自然個體或吸引子主張。


10. How to Test Whether an AI Object Is Discovered or Imposed

10.1 Experiment A — Known Modular Object

首先由研究者設計一項真正具有明確接口、內部狀態及功能的 Synthetic Programming Object。

將其嵌入一個更大的計算系統。

之後隱藏其原有的模組標籤,要求分析工具根據完整的計算及干預結果,重新辨認相關功能結構。

這可以建立一項有明確 Ground Truth 的測試。

但成功找到設計好的物件,只能證明發現工具在該合成情況下有效。

10.2 Experiment B — Functional Doppelgänger

建立另一套系統,使其對外功能與 Experiment A 相同,但使用不同的內部機制。

例如:

一套使用可定位的子程序。

另一套使用分散式或高度冗餘的計算。

研究同一套分析工具是否會對兩者都輸出相同的「自然功能個體」。

如果工具只因外部功能相同,便一律聲稱找到相同內部 Object,就表示它可能主要辨認的是 Functional Abstraction,而不是內部組織。

這是區分 Discovered Causal Structure 與 Imposed Functional Wrapper 的重要負面控制。

10.3 Experiment C — Naturally Trained Neural Network

再訓練一個沒有預先指定內部模組邊界的小型神經網絡。

研究者只指定任務及一般模型架構,不直接指定應使用哪個內部功能接口。

訓練完成後:

利用不同方法尋找候選 Functional Port;

驗證它們的因果充分性;

檢查內部計算路徑;

比較不同模型種子;

以及測試候選結構能否在多項相關功能中重用。

如果多種分析方法反覆發現具有相容因果作用的結構,便比單一方法的結果更有說服力。

但仍不能因此宣稱已證明普遍的自然個體定律。

10.4 Experiment D — Developmental Tracking

在訓練過程中保存多個 Checkpoints。

對每一個 Checkpoint,記錄:

Functional Error;

Counterfactual Port Residual;

候選電路的因果作用;

Port 的跨版本相容性;

以及下游使用資格。

研究究竟是:

功能先形成,再被研究者發現;

Port 與功能共同成熟;

還是研究者的候選 Port 在訓練中不斷被否定及修訂。

這一階段可以接上此前 Functional Port Qualification Dynamics 的完整數學框架。

10.5 Experiment E — Attractor-Specific Verification

只有在模型具備明確可反覆作用的更新規則時,才進一步檢查真正的吸引動力。

例如:

(10.1) zₙ₊₁ = T_θ(zₙ,x).

測量不同初始狀態、擾動及輸入下的收斂與恢復行為。

然後檢查相關吸引結構,是否對指定功能具有額外的因果作用。

這項實驗不能只證明模型有穩定固定點。

還必須證明它與功能正確性或可靠性有關。


11. What Would Count Against the Natural Individual Hypothesis?

11.1 Interface Instability

若候選功能 Port 只在一項很窄的資料分佈中有效,稍微改變合理干預便完全失效,則它的自然個體解釋需要收窄。

但這不否定其在原有 Protocol 下的工程價值。

11.2 No Distinct Causal Organization

若研究者無法找到任何相對穩定的內部因果結構,或不同候選邊界具有相同解釋力,則不能聲稱已發現唯一自然功能個體。

不過,找不到結構,也可能源於現有分析方法能力不足。

因此,負面結果需要與工具的檢出能力一起評估。

11.3 Analysis-Method Dependence

若不同合理分析方法得到互不相容的候選邊界,而且沒有獨立實驗能辨認哪一種更符合系統因果組織,便應降低對自然個體身份的主張強度。

11.4 No Persistence beyond the Selected Task

若候選結構只在單一狹窄任務中存在,而無法在任何合理的相關情境中保持相容性,則跨情境持續性的證據不足。

但這不能證明所有真正功能個體都必須跨多種任務存在。

某些自然機制本來就可能具有高度專門化的功能。

11.5 No Evidence of Attractor Dynamics

若研究者無法建立明確的迭代動力、吸引集合或恢復性證據,就不應將候選結構稱為 Dynamical Attractor。

這只限制 Attractor-specific Claim。

不應因此否定所有 Functional Module 或 Natural Individual 候選。


12. Implications for SMFT, PORE, and the Theory of World Formation

12.1 A More Disciplined Interpretation of Semantic Attractor

SMFT 的 Semantic Attractor 概念,原本用於研究語義、記憶、觀察者及自組織結構的聚集與穩定。

在功能 AI 研究中,可以保留其作為候選建模方向。

但需要明確區分:

語義表示的聚集;

穩定的功能電路;

具有相對自主性的功能組織;

以及真正的動力學吸引子。

它們之間可能存在機制關係。

但不能僅因使用相同的 Attractor 詞彙,便宣稱它們具有相同數學結構。

12.2 Observer-Relative Individuation

本文認為,一項值得繼續探索的方向是:

自然功能個體的邊界,可能不是絕對唯一的,但也不是完全任意的。

它可以相對於 Observer、Protocol 及允許干預成立。

而系統的真實因果結構,則限制哪些邊界能夠穩健地保存功能。

這與 PORE 的 Protocol-First 思想,以及成界之學的 Declaration/Filtration 研究方向具有概念上的銜接。

但是否能進一步建立真正的統一數學,需要另外構造:

觀察者之間的相容映射;

跨 Protocol 的功能等價;

候選邊界的穩健性條件;

以及可辨認內部組織的動力學判準。

12.3 Recursive Individuation without Ontological Overclaim

此前 Functional Port Theory 已證明,在指定條件下,內部系統可以透過充分 Port 被下一級使用。

因此可以研究:

(12.1) Internal Organization → Qualified Port → Reusable Functional Unit.

但這條鏈條只建立 Functional Substitutability。

如果要進一步主張:

(12.2) Reusable Functional Unit → Natural Functional Individual.

便需要新增的內生性與組織持續性證據。

若又要主張:

(12.3) Natural Functional Individual → Observerhood.

或:

(12.4) Observerhood → Time-Bearing World.

則需要再加入相應的 Observer、Declaration、Trace、Ledger 及時間生成理論。

這些都不能從前面的 Port Sufficiency 定理自動推出。

12.4 Why This Separation Matters

這種嚴格區分,並不會削弱整個 SMFT 研究的潛在價值。

相反,它使不同的成果可以獨立受到科學檢驗。

如果 Attractor-specific 假說被否定,Functional Port Mathematics 仍然可以成立。

如果 Natural Individual Hypothesis 未被證實,Functional Abstraction 仍然具有工程用途。

如果某項 Functional Operator 無法支持更強的 Observerhood,亦不代表它不能被可靠地組合和使用。

因此,研究不再需要由一條龐大的統一敘述,同時承擔全部正確性風險。


13. Conclusion:一個功能個體,如何才算真正被發現?

本文討論的核心問題是:

當研究者可以用一項 Effective Port 描述 LLM 的局部功能時,究竟已經證明了甚麼?

答案是:

如果相關數學與實驗條件成立,研究者可以證明該 Port 在指定 Protocol 下忠實保留必要功能。

但這還不足以證明模型內部存在一個自然、唯一、相對自主的功能個體。

因為:

有效 Port 可能是研究者選擇的抽象。

相同功能可能由不同的內部機制實現。

同一項功能可以使用不同但等價的表示座標。

不同 Protocol 可以揭露不同的必要功能差異。

而真正的 Attractor 更需要獨立的動力學證據。

因此,本文提出一項更審慎的研究方向。

首先使用 Causal Abstraction 與 Functional Port Sufficiency,建立候選接口的功能資格。

其次研究其內部因果結構,而不只是對外預測能力。

再進一步檢查它在合理的跨情境、跨干預與跨分析方法比較中,是否保持相容的組織身份。

只有在具有明確動力學的情況下,才進一步研究吸引性、吸引盆地及擾動恢復。

這樣可以將:

研究者方便使用的功能抽象;

模型內部的因果功能模組;

具有組織持續性的自然功能個體;

以及真正的 Attractor-mediated Individual;

分別作為不同層次的研究主張。

本文最重要的結論是:

Natural Functional Individuation should not be inferred from interface usefulness alone. It must be investigated through the persistence and causal organization of the system under explicitly declared interventions, representations, and operating conditions.

對 SMFT 與成界之學而言,這也提示一項更深入的可能性:

一個真正有科學意義的功能個體,或許既不是完全脫離觀察者的絕對物件,也不是由研究者任意劃出的虛構接口。

它可能是一種受到系統內部因果結構約束、在多種合理觀察及干預下仍可辨認的相對穩健個體化形式。

但這仍是一項開放的研究假說。

在證明它之前,我們應當清楚說明自己究竟發現了一項 Functional Abstraction、一個 Causal Module,還是一個真正具有獨立動力學支持的 Functional Individual。

這個區分,將決定 Attractor Fusion 是否能從優雅的數學類比,進一步發展為對真實 AI 內部組織具有獨立解釋與預測能力的理論。


References

SMFT and Related Research

  1. Semantic Meme Field Theory (SMFT): Foundations, Projection, and Dynamics (Rev1). Research manuscript.

  2. The Post-Ontological Reality Engine (PORE). Research manuscript and discussion.

  3. From One Declaration to One Self-Revising Fractal: Admissibility, Residual Governance, and Recursive Objectivity in Semantic Meme Field Theory. Research manuscript.

  4. The Gauge Grammar of Self-Organization: A Protocol-First Framework for Bounded Observers, Quantum-Structural Roles, Regime Diagnosis, and Governed Intervention. Research manuscript.

  5. From Attractors to Recursive Functional Individuation: A Protocol-Relative Framework for Operator Formation and World-Building Systems. Companion research.

  6. Functional Port Qualification Dynamics: From Observational Fit to Counterfactual Sufficiency. Parts I–IV.

External Scientific Literature

  1. Geiger, A., et al. (2025). Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability. Journal of Machine Learning Research, 26(83), 1–64. https://www.jmlr.org/papers/v26/23-0058.html

  2. Geiger, A., Wu, Z., Potts, C., Icard, T., and Goodman, N. (2024). Finding Alignments Between Interpretable Causal Variables and Distributed Neural Representations. Proceedings of the Third Conference on Causal Learning and Reasoning, PMLR 236, 160–187. https://proceedings.mlr.press/v236/geiger24a.html

  3. Montévil, M., and Mossio, M. (2015). Biological Organisation as Closure of Constraints. Journal of Theoretical Biology, 372, 179–191. https://doi.org/10.1016/j.jtbi.2015.02.029

  4. Hoel, E. P., Albantakis, L., and Tononi, G. (2013). Quantifying Causal Emergence Shows That Macro Can Beat Micro. Proceedings of the National Academy of Sciences, 110(49), 19790–19795. https://doi.org/10.1073/pnas.1314922110


Article 1 — End

Research Status:本文是一項方法論及候選操作化框架。Protocol-Relative Functional Sufficiency 有既有數學及因果抽象理論支持;Natural Functional Individual、跨協議內生性及 Attractor-mediated 個體形成,仍缺少在真實 LLM 中的直接驗證。本文未宣稱已發現自然形成的 LLM Semantic Attractor Object。


這篇文章對原有理論的實質修訂

最重要的改變,是我們現在不能再簡單使用:

Attractor → Operator → Functional Individual

作為一條已經具有充分證據的生成鏈。

更嚴謹的結構應當是:

完整 LLM 內部計算

參數、Activation、計算路徑、上下文

Functional Abstraction

可定義、可測試的候選 Port 與功能

Causal Module Evidence

干預支持其內部因果組織,而非只有 Probe 準確率

Natural Functional Individual Hypothesis

跨情境持續性、因果邊界、內生性支持

Attractor-Specific Verification

若主張其由吸引動力形成或維持,另行驗證不變集合、收斂及因果作用

這不是一條所有系統必須依序經歷的生命週期,而是主張越強,所需要的證據越多的研究框架。

外部科學文獻也支持採用這種區分:現有 Causal Abstraction 已有一套相當完整的忠實性檢驗方法;Distributed Alignment 研究表明功能變量未必對應獨立神經元;生物學的 Organizational Closure 則研究比一般功能接口更強的相互維持組織。它們彼此相關,但研究對象不相同。

jmlr.org
+2

下一篇按照原定計劃,應撰寫 Article 2:《What Is an Attractor in a Transformer?》,集中釐清 State-Space Attractor、Training Attractor、Representational Cluster 與 Semantic/Functional Attractor 的根本差異,並研究標準 Transformer、自回歸生成及 Recurrent Transformer 分別容許哪些真正的吸引動力學主張。

這樣便可以在最後的 Outstanding 盤點中,準確列出哪些 Attractor 概念已經可操作化,哪些仍只是 SMFT 有待驗證的理論假說。

 

繼續

 

 

收尾論文二:What Is an Attractor in a Transformer?

核對原稿與現有文獻後,發現一個值得特別強調的關鍵:Attractor 並非完全無法在 Transformer 相關數學中嚴格定義。真正未解決的是:哪些已知的吸引動力學,確實對應一般 LLM 內部自然形成的語義或功能個體?

例如,Ramsauer 等人的 Hopfield Networks Is All You Need 已建立現代 Hopfield 記憶更新與 Transformer Attention 的數學聯繫;Universal Transformer 和 Deep Equilibrium Models 則提供可反覆更新或求解固定點的 Transformer 相關架構。但這些成果,都不能直接證明普通 LLM 的某個語義概念,就是具有獨立身份的吸引子。

ML Anthology
+2

這也讓 SMFT 原稿中的兩條路線變得值得區分:

  • Semantic Basin Dynamics: 原稿第 12 章已提出語義勢能、隨機擾動、控制及 Basin Navigation 的模型。這是候選動力學架構,不是對 Transformer 內部 Basin 的實測證明。

    Semantic Meme Field Theory (SMFT)_ Foundations, Projection, and Dynamics (Rev1).pdf

  • Self-Revising Declaration Attractor: 原稿提出 Declaration、Trace、Residual 的遞歸修訂,並討論其收縮及穩定條件。這種吸引性若存在,首先屬於 Declaration Revision Dynamics,不能直接等同於神經網絡 Activation Dynamics。

    From One Declaration to One Self-Revising Fractal_ Admissibility, Residual Governance, and Recursive Objectivity in Semantic Meme Field Theory.pdf

以下正式成文。

What Is an Attractor in a Transformer?

What Is an Attractor in a Transformer? Mathematical Definitions, Execution Dynamics, Semantic Basins, and the Limits of Natural Functional Individuation

—— Transformer 中的 Attractor:從數學定義到語義個體形成的證據邊界

Abstract

Semantic Meme Field Theory(SMFT)及其 Attractor Fusion 研究,以 Semantic Attractor、Collapse Geometry、Adaptive Connection 和 Recursive Individuation 等概念,探索語義、記憶及功能組織如何形成可持續的集體結構。

然而,當這些概念被應用於 Large Language Models(LLMs)時,一個根本問題尚未解決:Transformer 的內部計算究竟在甚麼意義下具有 Attractor?

數學上的 Attractor 需要明確的狀態空間、演化規則、不變結構及吸引性質。但在現代 AI 研究中,Attractor 一詞也可能用來描述相似輸入產生的 Activation Clusters、Attention Retrieval、訓練參數的收斂、重複生成的語言模式,以及假設性的語義穩定組織。

這些現象可能存在深刻聯繫,但不能自動視為相同的動力學機制。

本文因此將 Transformer 相關的 Attractor 主張分為五種主要研究對象:

  1. Activation/Representation Clustering。

  2. Training-Parameter Attractors。

  3. Execution-State Attractors。

  4. Autoregressive Generation Attractors。

  5. Semantic/Functional Attractors。

本文指出,標準 Transformer 的層間計算一般不是同一更新算子的自治迭代,因此不同層的 Activation 趨於相似,不足以直接證明存在傳統動力系統意義的吸引子。

但這不表示 Transformer 與吸引動力沒有嚴格的數學聯繫。Modern Hopfield Networks、Universal Transformers 和 Deep Equilibrium Models 已提供不同形式的 Attention-Based Retrieval、Recurrent Computation 及 Fixed-Point Representation。

本文進一步研究:

何時可以對一項循環式 Transformer 定義真正的吸引集合;

何時由模型生成的 Token 序列可以被研究為隨機動力系統;

為甚麼 Training Attractor 與 Execution Attractor 必須分開;

以及 Semantic Attractor 如何透過聲明狀態映射及動力學相容關係,從描述性概念轉化為可否證假說。

最後,本文提出一套 Attractor Claim Contract,要求每項有關 LLM Attractor 的研究主張,明確指定狀態、更新算子、時間尺度、吸引集合、有效干預、恢復性及功能因果作用。

本文的中心結論是:

An attractor in a Transformer must be defined relative to a specified dynamical system. Neither representational similarity nor functional abstraction alone establishes attractor dynamics, and attractor dynamics alone does not establish an endogenous functional individual.

這個區分為 SMFT 的 Semantic Attractor 研究提供了一項必要的方法論基礎。


1. Introduction:到底甚麼才是 LLM 內部的 Attractor?

1.1 The Problem of an Undefined Object

此前 Attractor Fusion 與 Functional Operator 研究,已經建立大量關於 Adaptive Connection、Port Sufficiency、Functional Equivalence 及 Recursive Composition 的數學。

但上述數學通常都由研究者先行定義完整狀態及更新規則。

對真實 LLM,情況不同。

我們能夠讀取某些 Activation、參數及 Attention Patterns,但未必知道是否存在一項天然的內部功能個體,更不能預先假定它具有獨立的反覆演化機制。

因此,在宣稱某個 Semantic Attractor 存在之前,必須先回答:

究竟是哪一項狀態正在演化?

演化發生在 Transformer Depth、Token Generation、Training Steps,還是其它時間尺度?

哪一項算子被反覆使用?

吸引集合如何定義?

以及該吸引結構如何參與具體功能?

如果沒有回答這些問題,Attractor 便容易退化為一項漂亮但難以檢驗的隱喻。

1.2 The Question Is Not Whether Transformers Have Dynamics

Transformer 可以在多種意義下被視為動態系統。

例如,訓練過程令參數逐步更新。

自回歸生成令上下文逐 Token 改變。

某些 Transformer 變體會使用共享權重反覆更新隱藏狀態。

Attention 亦可以在特定數學形式下,與聯想記憶的更新規則相聯繫。

因此,真正問題不是「Transformer 有沒有 Dynamics」。

而是:

哪一種 Dynamics 支持哪一種 Attractor Claim?

不同的答案會導致不同的實驗與不同的科學結論。


2. The Mathematical Definition of an Attractor

2.1 Definition 2.1 — Discrete Dynamical System

考慮一個具備度量 d 的狀態空間 X。

定義更新算子:

(2.1) T : X → X.

一條狀態軌跡滿足:

(2.2) xₙ₊₁ = T(xₙ).

或:

(2.3) xₙ = Tⁿ(x₀).

這裏的關鍵是:

在固定模型及固定條件下,同一個 T 被反覆作用。

只有先指定這個數學系統,才能正式討論它的固定點、不變集合及吸引盆地。

2.2 Definition 2.2 — Fixed Point

若:

(2.4) T(x*) = x*.

則 x* 是固定點。

但固定點不一定穩定。

例如:

(2.5) T(x) = 2x.

具有固定點 x* = 0。

然而,任何非零擾動都會在反覆更新中被放大。

因此:

(2.6) Fixed Point ⇏ Attracting Fixed Point.

2.3 Definition 2.3 — Attracting Invariant Set

對一個適當的動力系統,若集合 𝒜 具有:

不變性:

(2.7) T(𝒜) = 𝒜.

以及在某個指定鄰域 U 內的吸引性:

(2.8) dist[Tⁿ(x),𝒜] → 0,對所有 x ∈ U 成立.

則它可以構成一項吸引集合。

若還要求 Lyapunov Stability、緊緻性及其它性質,便可以形成更強的 Attractor 定義。

不同研究文獻對 Attractor 的完整定義可能略有差異,因此必須明確聲明採用哪一種。

2.4 Basin of Attraction

定義吸引盆地:

(2.9) Basin(𝒜) = {x ∈ X : dist[Tⁿ(x),𝒜] → 0}.

這是所有漸近靠近指定吸引集合的初始狀態所組成的集合。

如果研究者聲稱某個 LLM 概念具有 Semantic Basin,便需要進一步說明:

其狀態 x 是甚麼?

甚麼算子 T 在反覆更新?

以及初始狀態怎樣被判定為屬於某個 Basin?

單純將相似 Prompt 的 Activation 聚集成一類,尚未回答這些問題。


3. Five Different Attractor Claims in AI

3.1 Representational Clustering

研究者給定多組輸入:

(3.1) x₁,x₂,…,xₙ.

取得某個 Layer 的內部表示:

(3.2) h(x₁),h(x₂),…,h(xₙ).

若這些表示在某個投影空間中聚集,便可能形成一個 Cluster。

但這些點來自不同輸入。

它們不一定是同一個狀態在某項更新規則下逐步形成的軌跡。

因此:

(3.3) Representation Cluster ⇏ Dynamical Attractor.

Cluster 可以是 Attractor 研究的線索,但不能單獨構成證明。

3.2 Training-Parameter Attractor

訓練過程可以寫為:

(3.4) θₖ₊₁ = U_train(θₖ,Dataₖ).

其中 θₖ 是模型參數。

在固定的確定性全梯度下降下,可以研究:

(3.5) θₖ₊₁ = θₖ − η∇L(θₖ).

若參數收斂至某個穩定臨界點或集合,便可能具有參數空間中的吸引性。

但這屬於 Training Dynamics。

不能因此推論模型在執行某項語言功能時,也具有相同的吸引子。

所以:

(3.6) Training Attractor ⇏ Execution Attractor.

3.3 Execution-State Attractor

若模型具有明確的反覆內部狀態更新:

(3.7) zₙ₊₁ = T_θ(zₙ,x).

其中 θ、x 固定。

便可以研究:

固定點;

週期軌道;

吸引盆地;

以及對內部擾動的恢復性。

這是最接近傳統動力系統定義的 Transformer Attractor 研究方向之一。

但需要真正的更新規則,而不只是一次前向計算中的多層表示。

3.4 Autoregressive Generation Attractor

一個語言模型可以逐 Token 生成:

(3.8) xₜ₊₁ ∼ P_θ(· | x₀,…,xₜ).

這定義了隨機序列生成過程。

若使用確定性解碼,也可以形成確定性的狀態更新。

但此處的狀態、時間及動力學,與固定 Prompt 下反覆更新 Hidden Activation 的情況不同。

例如,模型可以反覆生成某種句式。

這不代表某個神經 Activation 固定點正在被反覆吸引。

3.5 Semantic/Functional Attractor

SMFT 的 Semantic Attractor 主張更廣泛。

它關心語義組織、記憶、觀察者投影及功能形成,是否會進入某種穩定、自維持或吸引制度。

但若要將其應用於真實 LLM,就需要進一步指定:

語義狀態空間;

語義狀態更新;

與神經網絡實際計算的對應關係;

以及相應的吸引性與功能作用。

因此,Semantic Attractor 目前應作為研究假說,而非由 Representation Clustering 自動確認的事實。


4. Why Standard Transformer Depth Is Not Automatically an Attractor Trajectory

4.1 The Layerwise Computation

對一個標準 Transformer,可以概括寫成:

(4.1) hₗ₊₁ = Tₗ(hₗ).

其中 l 是網絡層索引。

在一般情況下:

(4.2) T₀ ≠ T₁ ≠ … ≠ T_(L−1).

因此,整個前向計算是:

(4.3) h_L = T_(L−1) ∘ … ∘ T₁ ∘ T₀(h₀).

這是一項有限深度的函數組合。

並不是:

(4.4) hₙ₊₁ = T(hₙ).

所描述的自治迭代。

4.2 Can It Still Be Treated as a Nonautonomous System?

可以。

如果將 Layer Index 視為一項外部變量,可以研究非自治更新:

(4.5) hₗ₊₁ = Tₗ(hₗ).

在更一般的非自治動力系統理論中,也存在適當的吸引集合概念。

但這需要明確定義時間依賴的更新、有效演化範圍及吸引性。

普通 Transformer 只有有限層數。

若研究者沒有指定超出最後一層之後的演化規則,就不能僅憑有限 Layer Trajectory,直接建立一個無限時間意義下的 Attractor。

4.3 An Artificial Iteration Does Not Prove a Natural Attractor

研究者可以自行設計一個迭代:

(4.6) zₙ₊₁ = T_L(zₙ).

即使 T_L 原本只是一個普通 Transformer Layer。

這項實驗可能很有趣。

但它研究的是:

「若強行反覆使用這個 Layer,會產生甚麼動力?」

不一定研究:

「原來的 LLM 在正常執行中,是否真的使用相同的反覆動力?」

兩者必須分開。

4.4 The State-Space Projection Problem

即使多個 Transformer Layers 的 Activation,看起來逐漸接近某個方向,也不一定代表吸引動力。

例如,Layer Normalization、殘差路徑及不同的線性變換,都可能影響表示的距離與尺度。

如果研究者只在某個二維投影中觀察到收斂,完整高維狀態可能仍然在其它方向顯著變化。

因此:

(4.7) Projected Convergence ⇏ Full-State Convergence.

除非另外建立投影的充分性或相應的殘差界。


5. A Real Mathematical Bridge:Modern Hopfield Networks and Attention

5.1 The Important Existing Result

Ramsauer 等人的 Hopfield Networks Is All You Need 提供了一項值得特別重視的研究成果。

Modern Hopfield Networks 可以具有連續狀態、能量函數及記憶檢索更新規則。

其更新與 Transformer Attention 的核心 Softmax Retrieval 形式具有數學聯繫。

因此,Attractor 與 Transformer Attention 並非只有表面類比。

5.2 The Retrieval Map

考慮一組固定記憶向量:

(5.1) ξ₁,ξ₂,…,ξ_m.

令 q 是目前的 Query/State。

一項簡化的 Softmax Retrieval Map 可以寫為:

(5.2) T(q) = Σⱼ αⱼ(q)ξⱼ.

其中:

(5.3) αⱼ(q) = exp(βq·ξⱼ) / Σᵢ exp(βq·ξᵢ).

這類形式與 Attention-Based Retrieval 有直接關係。

若反覆使用:

(5.4) qₙ₊₁ = T(qₙ).

便可以研究其固定點及穩定性。

5.3 What the Hopfield Result Does and Does Not Prove

這項研究說明:

某些 Attention 更新,可以使用聯想記憶與能量最小化的數學理解。

但一般 Transformer 包含:

不同的 Query、Key、Value 投影;

多頭 Attention;

Residual Connections;

Layer Normalization;

MLP;

Causal Masks;

以及不共享權重的後續 Layers。

因此,不能由某個 Attention 更新與 Hopfield Retrieval 在適當形式下等價,直接推論:

整個 Transformer 就是一個單一 Hopfield Attractor System。

更不能直接推論:

模型內部每個語義概念都有自己的自然吸引盆地。

5.4 A Useful Research Question

較嚴謹的問題是:

在真實 Transformer 中,某些功能電路是否利用了與 Hopfield-Type Retrieval 相容的穩定記憶機制?

如果有,是否可以在固定上下文及明確的狀態更新下,觀察到:

記憶檢索的固定點;

局部擾動恢復;

不同記憶模式的 Basin;

以及與指定功能相關的因果作用?

這樣的研究能夠直接銜接成熟數學,而不需要先假設所有 Semantic Attractors 都已存在。


6. Universal Transformers and Deep Equilibrium Models

6.1 Shared-Weight Recurrent Computation

Universal Transformer 提供了與普通不共享層權重 Transformer 不同的計算方式。

可以概括研究為:

(6.1) zₙ₊₁ = T_θ(zₙ,x,n).

當模型更新包含明確的步數資訊時,它可能是非自治的。

若在指定條件下可以簡化成固定輸入、固定算子的更新:

(6.2) zₙ₊₁ = T_θ(zₙ,x).

便可以使用標準離散動力系統方法。

但需要逐項檢查:

模型是否真的重用相同算子;

是否存在停止機制;

是否有隨更新步數變化的輸入;

以及是否可以合法地將更新延伸至所研究的時間範圍。

6.2 Deep Equilibrium Models

Deep Equilibrium Models(DEQs)則直接研究具有平衡表示的神經網絡。

其核心形式是:

(6.3) z* = T_θ(z*,x).

這裏的 z* 是固定輸入 x 下的平衡表示。

研究者可以使用數值求根方式求解,而不必顯式展開任意多層。

這為 Transformer-Type Models 中的固定點研究提供了相當直接的數學與工程路線。

6.3 A Conditional Contraction Theorem

若 T_θ(·,x) 在某個完整度量空間的封閉有效區域內,具有統一收縮常數:

(6.4) d[T_θ(z₁,x),T_θ(z₂,x)] ≤ qd(z₁,z₂).

其中:

(6.5) 0 ≤ q < 1.

並且該更新將區域映回自身,則依 Banach Fixed-Point Theorem,在適當完備性條件下,存在唯一固定點 z*(x),而反覆更新收斂到它。

因此:

(6.6) d[zₙ,z*(x)] ≤ qⁿd[z₀,z*(x)].

這是一項真正具有數學內容的條件性 Attractor Result。

但其前提是:

研究者已經證明或合理驗證了收縮條件。

不能只因模型使用 DEQ 架構,就宣稱所有參數、所有輸入與所有數值求解過程都滿足該條件。

6.4 Attractor Stability Still Does Not Prove Functional Correctness

假設讀出為:

(6.7) y = R[z*(x)].

即使固定點唯一、穩定,仍然需要檢查:

(6.8) R[z*(x)] ≈ F*(x).

其中 F* 是指定目標功能。

一個對所有輸入都收斂到相同固定點的模型,可以非常穩定,但不能實現非平凡的輸入依賴功能。

因此:

(6.9) Stable Equilibrium ≠ Correct Operator.

這與此前 Functional Operator Theory 的核心結論一致。


7. A Minimal Attractor-Mediated Operator Model

7.1 Conditional Attraction

考慮一套明確的重複更新:

(7.1) zₙ₊₁ = T_θ(zₙ,x).

其中 x 是固定外部輸入。

假設對每個有效 x,存在穩定固定點:

(7.2) z*(x) = T_θ[z*(x),x].

再定義功能讀出:

(7.3) y(x) = R[z*(x)].

這可以構成一個 Attractor-Realized Functional Operator 的候選模型。

但它需要兩類不同的驗證。

第一類:

證明 zₙ 會對指定初始擾動收斂或恢復至相應固定點。

第二類:

證明固定點讀出正確實現任務。

7.2 The Port Sufficiency Requirement

假設研究者選擇:

(7.4) p = Π(z).

即使 z 收斂到固定點,也未必表示 p 對下游全部必要行為充分。

若下游仍然依賴被 Π 丟棄的內部自由度,Port Closure 仍然可能失效。

因此,真正的 Attractor-Mediated Functional Individuation,需要聯合檢查:

(7.5) Verified Attraction.

(7.6) Functional Correctness.

(7.7) Effective Port Sufficiency.

(7.8) Qualified Downstream Reuse.

這四項不能由其中一項自動推出其餘三項。

7.3 Perturbation Recovery

若聲稱 Attractor 有助於功能可靠性,可以設計擾動實驗。

對同一輸入 x,選取固定點附近的兩個初始狀態:

(7.9) z₀ = z*(x) + δ₁.

(7.10) z̃₀ = z*(x) + δ₂.

分別迭代:

(7.11) zₙ₊₁ = T_θ(zₙ,x).

(7.12) z̃ₙ₊₁ = T_θ(z̃ₙ,x).

測試:

(7.13) d(zₙ,z̃ₙ) → 0.

或兩者是否共同接近指定吸引集合。

如果同時觀察到功能讀出恢復正確,便可以支持 Attractor 對功能可靠性的作用。

但需要使用有效的內部擾動,而不能隨意將 Activation 修改到網絡正常運作完全不會出現的狀態區域。


8. Autoregressive Generation:語言重複是不是 Attractor?

8.1 The Generative State

自回歸語言模型逐 Token 生成內容。

若使用有限長度的有效上下文,可以構造狀態:

(8.1) sₜ = ContextWindowₜ.

下一步 Token 從模型分佈抽樣:

(8.2) xₜ₊₁ ∼ P_θ(· | sₜ).

再更新上下文:

(8.3) sₜ₊₁ = ShiftAppend(sₜ,xₜ₊₁).

在特定固定上下文長度、固定相對位置處理及時間齊次解碼規則下,這可以建立一套 Markov Chain。

但若模型使用依賴絕對位置或歷史長度的機制,則需要將相應資訊納入狀態。

若使用 KV Cache、外部記憶或工具狀態,也需要保留所有會影響未來生成的必要資訊。

8.2 Invariant Distribution Is Not an Activation Attractor

對一條 Markov Chain,可以研究平穩分佈:

(8.4) μP = μ.

這是一項統計上的不變性。

若鏈具有適當的混合性,初始分佈也可能收斂到 μ*。

但是:

平穩分佈並不是一個特定神經 Activation 固定點。

因此:

(8.5) Stationary Token Distribution ≠ Hidden-State Attractor.

同樣地,一項輸出序列具有明顯重複,也不代表其底層 Hidden Activation 具有相同的週期軌道。

8.3 Deterministic Decoding and Cycles

若使用 Greedy Decoding,而且有效狀態集合有限、更新規則時間齊次,則重複更新最終會進入某個固定點或循環。

這是有限確定性狀態系統的基本性質。

但它不意味著:

該循環是一個具有特定語義功能的自然個體。

例如,模型反覆輸出某個短語,可能只是解碼與局部上下文規律形成的循環。

若沒有額外的功能及因果證據,不能將它提升為 Semantic Attractor Object。

8.4 EOS and Trivial Absorption

如果生成系統將 End-of-Sequence 視為吸收狀態,則所有已完成的序列可以最終停留於結束狀態。

但這種吸收性對模型的語義理解未必具有特別意義。

因此:

一項模型具有數學上可定義的吸收狀態,不表示它已形成有用的語義功能個體。

這是一個值得在自回歸 Attractor 研究中保留的負面控制。


9. Training Attractors Are a Different Dynamical System

9.1 Parameter-Space Dynamics

固定模型架構後,訓練可以被研究為:

(9.1) θₖ₊₁ = θₖ − η∇L(θₖ).

這是一項參數空間中的離散更新。

若使用固定的完整梯度規則,可以研究固定點及其局部穩定性。

例如,若:

(9.2) ∇L(θ*) = 0.

則 θ* 是梯度更新的固定點。

但這個固定點是參數空間中的對象。

不是某個 Prompt 在前向計算中得到的穩定 Activation。

9.2 Stochastic Training

在實際 Mini-Batch SGD 中,更新取決於隨機抽取的資料。

因此,訓練系統更接近:

(9.3) θₖ₊₁ = U(θₖ,ξₖ).

其中 ξₖ 包含資料抽樣及其它隨機因素。

研究其長期行為,可能需要隨機動力系統、平穩分佈或其它工具。

不能把有限訓練期間的 Loss 平台,直接當成參數已收斂到一個嚴格吸引固定點。

9.3 Functional Birth during Training

此前 Functional Port Qualification Dynamics 已研究:

(9.4) θₖ → FunctionalError(k),PortResidual(k).

它可以追蹤功能資格何時形成。

但即使兩項誤差都下降,也不能直接推論訓練參數經歷了真正的 Attractor Bifurcation。

例如,前面四狀態模型的連接權重可以連續改善,而精確狀態商卻因權重恰好歸零而突然合併。

這種商分割變化不是自動的動力學分岔證據。

因此:

(9.5) Functional Qualification Event ≠ Parameter-Space Bifurcation.


10. The SMFT Semantic Attractor:如何從概念走向操作化?

10.1 What the Original Framework Proposes

SMFT 原稿使用語義狀態、Potential、Observer Projection、Collapse Tick、Attractor Basin 等概念,研究語義組織如何穩定及轉移。

例如,在《SMFT: Foundations, Projection, and Dynamics》Chapter 12,提出了一項語義方向變量 θ 的受控隨機動力學形式:

(10.1) dθ = [−μ_θ∂_θU(θ,τ) + G(θ,τ)u(τ)]dτ + √(2D_θ)dW_τ.

其中 U 是語義勢能,u 是控制,D_θ 是擾動強度。

這套方程可以作為候選 Semantic Basin Model。

但如果要把它直接應用到某個 Transformer,便需要回答:

θ 對應哪一項可測量的神經或功能狀態?

U 如何從模型實際計算中得到?

τ 對應哪一種更新次序?

觀察者 Projection 如何對應實際干預?

以及隨機擾動如何影響所聲稱的吸引盆地?

這些不是可以單靠使用同一組符號便解決的問題。

10.2 Stochastic Basins Need Appropriate Stochastic Definitions

式(10.1)包含 Brownian Noise。

因此,即使勢能 U 具有局部最低點,樣本路徑也不一定永遠停留在該最低點。

若噪音可以使系統跨越勢能障壁,便可能發生 Basin Escape。

因此需要區分:

Deterministic Attractor;

Metastable Basin;

Stationary Probability Distribution;

Random Attractor。

它們都可以與穩定性有關,但不是同一種數學對象。

所以,若 SMFT 的 Semantic Basin Model 含有持續隨機擾動,便不能直接使用沒有噪音時的固定點吸引性,宣稱語義狀態會永久收斂。

10.3 Declaration-Space Attractors

另一套 SMFT 路線則關注:

(10.2) Dₖ₊₁ = U_adm(Dₖ,Lₖ,Rₖ).

其中 D 是 Declaration,L 是 Ledger,R 是 Residual。

若研究者為 Declaration Space 指定適當度量 d_D,並建立修訂算子的收縮或其它穩定性條件,便可以研究相應的固定點、不變集合或隨機吸引結構。

但這屬於:

Declaration Revision Dynamics。

不能自動等同於:

Transformer Execution-State Dynamics。

即使兩者最終可能在某種架構中結合,也需要明確的跨層映射及相容條件。

10.4 A Candidate Semantic-to-Neural Correspondence

假設真實 Transformer 的可測量狀態為:

(10.3) z ∈ Z.

而研究者提出一項語義投影:

(10.4) θ = π(z).

如果希望語義動力模型:

(10.5) θ′ = S(θ,u).

真正對應某項神經更新:

(10.6) z′ = T(z,u).

便應要求:

(10.7) π[T(z,u)] = S[π(z),u].

這是精確的動力學相容條件。

它與此前 Functional Port Closure 的數學具有直接關係。

若精確相容過於嚴格,可以量度:

(10.8) R_sem(z,u) = d_Θ{π[T(z,u)],S[π(z),u]}.

再檢查其誤差界及累積行為。

這樣,Semantic Attractor 就不只是對 Activation 的事後命名。

而是一套需要對應實際神經動力學的候選模型。

10.5 A Critical Mathematical Limitation

即使式(10.7)成立,而且神經系統具有某個 Attractor 𝒜_Z,也不能無條件宣稱 π(𝒜_Z) 是語義模型的自然功能個體。

首先,需要確認投影後的不變性與吸引性在相應的拓撲與度量條件下成立。

其次,語義投影可能丟失對功能必要的差異。

最後,即使語義吸引集合存在,也還需要驗證其功能正確性、因果作用及跨情境持續性。

因此:

(10.9) Dynamical Correspondence + Attraction ⇏ Natural Functional Individual.

較強的個體化主張,仍需要額外證據。


11. An Attractor Claim Contract for LLM Research

11.1 Why a Contract Is Needed

本文建議將每項 LLM Attractor 主張,轉化為可以檢查的研究規格。

定義:

(11.1) 𝒜C = (State,Clock,Update,Drive,InvariantSet,Basin,Metric,Interventions,Function,Evidence).

其中各欄位必須有清楚內容。

11.2 State

聲明被研究的完整或有效狀態。

例如:

Parameter Vector;

Hidden Activation;

Rolling Context;

Recurrent Memory;

Declaration State。

不能使用含糊的「語義能量」作為狀態,卻沒有說明如何量測。

11.3 Clock

聲明迭代索引究竟是:

Training Step;

Transformer Layer;

Recurrent Internal Step;

Generated Token;

還是 Declaration Revision Episode。

不同 Clock 不能隨意互換。

11.4 Update

聲明真正被反覆使用的更新規則。

例如:

(11.2) zₙ₊₁ = T(zₙ,x).

若更新隨時間改變,應明確表示。

若模型只有有限層的前饋組合,亦應如實聲明,而不是假設存在一個從未被執行的自治迭代。

11.5 Invariant Set and Basin

指定候選吸引集合:

(11.3) 𝒜 ⊆ StateSpace.

以及其不變性、吸引性或其它所使用的穩定性條件。

對隨機系統,則需要聲明究竟採用 Random Attractor、Metastability 或 Stationary Distribution 等哪一種概念。

11.6 Interventions

聲明允許的內部擾動。

例如:

Hidden-State Perturbation;

Context Perturbation;

Memory Perturbation;

Parameter Intervention。

還需要解釋哪些干預仍然具有有效的模型語義。

11.7 Functional Contribution

若聲稱 Attractor 與某項 Operator 有關,便需要檢查:

吸引結構是否真正有助於功能正確性?

是否提供恢復能力?

是否提高 Port Sufficiency?

是否使下一級組合更可靠?

單純證明存在吸引子,不足以支持功能形成主張。

11.8 Evidence Level

每項 Attractor Claim 應明確標記:

Mathematical Result;

Synthetic Result;

Empirical Evidence;

Hypothesis;

Open Problem;

或 Disconfirmed/Limited Claim。

這可以避免由合成例子,一路轉述成真實 LLM 中已獲證明的機制。


12. A Falsifiable Experimental Roadmap

12.1 Experiment A — Distinguish Clustering from Attraction

先生成兩套可能產生相似 Activation Clusters 的系統。

第一套沒有反覆更新,只是將不同輸入直接映射到相似表示。

第二套則具有真正的收縮式迭代。

讓研究者使用相同的表示視覺化及 Cluster Analysis。

檢查:

能否只靠 Cluster 辨認哪套系統具有真正吸引動力?

預期是:單靠靜態聚類,未必足以區分。

然後加入有效的擾動恢復實驗,驗證動力學證據是否提供額外識別力。

12.2 Experiment B — Hopfield Retrieval

使用具有明確更新規則的 Modern Hopfield Network。

研究:

固定點;

記憶檢索;

不同初始 Query 的收斂;

以及擾動對檢索功能的影響。

這可以建立一套真正具有 Attractor Ground Truth 的 AI 功能模型。

12.3 Experiment C — Recurrent Transformer

使用 Shared-Weight Recurrent Transformer,固定輸入及更新規則。

研究:

是否存在穩定固定點;

局部 Jacobian 是否支持穩定性;

在擾動後能否恢復;

以及恢復行為是否與任務正確性有因果關係。

若只能發現有限步數的相似表示,而沒有穩定性證據,便應限制 Attractor 主張。

12.4 Experiment D — Standard Transformer Comparison

在相同任務上訓練標準 Transformer。

研究是否可以找到:

可重用的功能電路;

充分的 Effective Port;

以及可靠的下游功能組合。

若上述功能可以在沒有可確認迭代吸引機制的情況下形成,就應承認 Attractor 不是該功能模型已證明的必要條件。

但未觀察到 Attractor,不能在沒有充分檢出能力時當成證明其不存在。

12.5 Experiment E — Attractor-Specific Functional Advantage

使用固定資源、相似訓練量及相同測試協議,比較具有明確吸引動力的模型與合理對照。

量度:

Functional Error;

Port Residual;

Perturbation Recovery;

Compositional Reliability;

及 Computational Cost。

這項研究要回答的不是:

哪一個模型可以被描述為 Attractor?

而是:

Attractor Dynamics 究竟有沒有提供一般功能計算所不能同樣輕易取得的額外可靠性或組織效益?

這才是 Attractor-Mediated Operator Formation 的重要科學問題。


13. Implications for Natural Functional Individuals

13.1 The Four Claims Must Remain Separate

綜合前面的研究,可以清楚區分:

Claim A — Functional Abstraction

某項候選 Port 對指定 Protocol 充分。

Claim B — Endogenous Causal Module

模型內部存在具有特定因果作用的功能結構。

Claim C — Natural Functional Individual

該結構具有值得研究的內在組織持續性與相對自主性。

Claim D — Attractor-Mediated Individual

該個體的形成或維持,具有經明確驗證的吸引動力學機制。

這四項之間可能存在關係。

但任何一項都不能只靠概念上的相似性,自動證明另一項。

13.2 Why This Matters for SMFT

如果未來成功找到一個真正的 Semantic Attractor,且它對某項功能具有直接因果作用,這當然會支持 SMFT 某些核心研究方向。

但若只找到 Functional Port、Causal Circuit 或 Attention Retrieval,也同樣可能是重要的工程成果。

它們不需要先被命名為 Semantic Attractor 才有價值。

因此,SMFT 的研究不應被迫將所有功能現象都解釋為同一種吸引機制。

更有價值的做法,是讓不同機制在明確測試中競爭。

13.3 A More Precise Attractor Fusion Hypothesis

本文建議將較強的 Attractor Fusion 假說收窄為:

In systems with identifiable recurrent or otherwise well-defined dynamical updates, adaptive connections may organize internal states into attracting regimes that improve the reliability, recoverability, or composability of specified functional interfaces.

中文為:

在具有可識別動力學更新的系統中,自適應連接可能使內部狀態形成吸引制度,並改善指定功能接口的可靠性、擾動恢復性或組合能力。

這是一項可以進一步建模及驗證的假說。

它不預設所有 Transformer 都有相同結構。

也不預設所有 Functional Operators 都必須由 Attractor 生成。


14. Conclusion:我們究竟應該尋找哪一種 Attractor?

本文討論了 Transformer 與 Attractor 之間幾種不同的關係。

Representational Clustering 可以提供候選組織的線索,但不等於動力學吸引。

Training Dynamics 可以存在參數空間的吸引制度,但它不等於執行時的 Hidden-State Attraction。

Autoregressive Generation 可以被建模為隨機或確定性的序列動力系統,但輸出重複與平穩分佈,不能直接證明存在自然語義個體。

Modern Hopfield Networks、Universal Transformers 及 Deep Equilibrium Models,則提供較直接的數學路線,使我們可以在特定架構中正式研究注意力檢索、反覆更新及固定點。

而 SMFT 的 Semantic Attractor,若要成為具有真實 LLM 證據支持的科學模型,就需要進一步建立從語義狀態到神經狀態的操作化映射,以及動力學、干預及功能之間的相容關係。

本文最重要的結論可以整理為:

(14.1) Representation Cluster ≠ Dynamical Attractor.

(14.2) Training Attractor ≠ Execution Attractor.

(14.3) Autoregressive Pattern ≠ Hidden-State Attractor.

(14.4) Stable Attractor ≠ Correct Functional Operator.

(14.5) Qualified Functional Operator ≠ Natural Functional Individual.

以及:

(14.6) Attractor-Mediated Natural Individual requires additional dynamical, causal, and organizational evidence.

這些區分不應被視為對 Attractor Fusion 理論的否定。

相反,它們讓研究者知道,應該到哪裏尋找真正的證據。

一項對 SMFT 有價值的成功結果,不應只是發現某些 Activation 很相似,或者某個模型反覆產生相同答案。

較強的成功結果應當能夠顯示:

存在明確的內部動力學;

存在可以被辨認的吸引制度;

該制度對功能具有特定因果作用;

而且它改善了系統的可靠性、恢復能力或下一級可重用性。

An attractor becomes scientifically meaningful in an LLM not when a semantic pattern is named, but when a specified dynamical system exhibits reproducible attraction and that attraction is shown to matter for function.


References

Original SMFT and World-Formation Research

  1. Semantic Meme Field Theory (SMFT): Foundations, Projection, and Dynamics (Rev1). Chapter 12: Attractor Basin Engineering and Collapse Navigation.

  2. The Post-Ontological Reality Engine (PORE). Research manuscript.

  3. From One Declaration to One Self-Revising Fractal: Admissibility, Residual Governance, and Recursive Objectivity in Semantic Meme Field Theory. Research manuscript.

  4. From Attractors to Recursive Functional Individuation: A Protocol-Relative Framework for Operator Formation and World-Building Systems. Companion research.

  5. Functional Port Qualification Dynamics: From Observational Fit to Counterfactual Sufficiency. Parts I–IV.

  6. From Functional Abstraction to Natural Functional Individuals: Are AI Operators Discovered or Imposed? Companion Article 1.

External Scientific Literature

  1. Ramsauer, H., et al. (2021). Hopfield Networks Is All You Need. ICLR 2021. https://arxiv.org/abs/2008.02217

  2. Dehghani, M., Gouws, S., Vinyals, O., Uszkoreit, J., and Kaiser, Ł. (2019). Universal Transformers. ICLR 2019. https://arxiv.org/abs/1807.03819

  3. Bai, S., Kolter, J. Z., and Koltun, V. (2019). Deep Equilibrium Models. NeurIPS 2019. https://arxiv.org/abs/1909.01377

  4. Bai, S., Koltun, V., and Kolter, J. Z. (2021). Stabilizing Equilibrium Models by Jacobian Regularization. ICML 2021. https://arxiv.org/abs/2106.14342

  5. Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS 2017. https://arxiv.org/abs/1706.03762

  6. Geiger, A., et al. (2025). Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability. Journal of Machine Learning Research, 26(83), 1–64. https://www.jmlr.org/papers/v26/23-0058.html


Article 2 — End

Research Status:本文為數學與方法論整理。Modern Hopfield Networks、Universal Transformers 及 Deep Equilibrium Models 提供了 Transformer 相關吸引動力學的既有研究基礎,但尚不能證明一般 LLM 中存在自然形成的 Semantic Attractor Object。SMFT 的 Semantic Basin 與 Declaration-Space Attractor 仍須建立明確的神經狀態對應、更新規則及因果驗證,才能支持較強的實證主張。


這篇文章真正帶出的新啟發

我認為最值得保留的,不只是「現在還沒有證明 LLM Semantic Attractor」,而是發現我們其實已有三條可以分別研究的數學路線。

路線

已有數學支點

對 SMFT 最直接的用途

Attention/Hopfield

聯想記憶、能量及檢索固定點

研究 Semantic Basin 是否可能對應記憶檢索制度

Recurrent/DEQ

固定輸入下反覆更新、固定點與穩定性

研究 Functional Operator 是否可以由真正的吸引動力實現

Declaration Revision

受約束的狀態修訂、Trace、Residual、收縮條件

研究 AI Agent 或觀察者式系統的持續身份與自修訂

其中有一項非常重要的限制:第一條路線關心 Attention/Memory Retrieval;第二條關心內部執行狀態;第三條關心跨時間的制度或聲明修訂。它們不天然共享同一個狀態空間或時間變量。

所以目前最有價值的工作,不是把三者統一稱為 Semantic Attractor,而是分別找出它們能否產生對 Functional Port、因果組織及可靠重用具有可辨認作用的機制。

按原定收尾計劃,下一篇應是:

Article 3 — Discovering versus Imposing AI Functional Objects: A Controlled Experimental Protocol

它要把前兩篇的疑問轉成真正可執行的對照實驗,尤其是建立「已知存在 Object」、「只有等價功能而沒有指定 Object」、「自然學習出功能電路」三類系統,檢驗研究者是否能夠辨認它們的根本差異。

完成第三篇後,最後才撰寫 Outstanding Problems and Research Handover,將整個 Session 的數學成果、合成實驗、文獻先例、未驗證猜想,以及下一階段研究要求,全部納入同一份研究總帳。

 

繼續

 

收尾論文三:從功能包裝到內生因果結構的盲測

在正式設計實驗前,有一項重要的文獻發現:2025 年的 Mechanistic Interpretability Benchmark(MIB)已經包含已知真實電路的 InterpBench 模型,並分別評估 Circuit Localization 與 Causal Variable Localization。這表示「已知內部電路的正對照」並不是我們首次提出的實驗思路。

proceedings.mlr.press
+1

因此,本篇真正應該增加的研究問題是:

當兩套模型具有相同功能,卻存在不同的內部因果組織時,分析工具能否分辨「功能等價」、「可定位的因果模組」與「具有持續性證據的自然功能個體」,而不是對所有模型都畫出一個看似合理的 Programming Object?

這個問題比單純提高 Circuit Discovery 準確率更強,也更直接涉及 SMFT 的 Natural Functional Individual 假說。

Discovering versus Imposing AI Functional Objects

Discovering versus Imposing AI Functional Objects: A Controlled Experimental Protocol for Causal Modules, Endogenous Boundaries, and Attractor-Mediated Functional Individuals

—— 如何區分被發現的 AI 功能個體與研究者施加的 Programming Object?

Abstract

此前《From Functional Abstraction to Natural Functional Individuals》指出,一個在指定 Protocol 下忠實的 Functional Port,不足以證明模型內部自然存在具有相對自主性與持續身份的功能個體。

《What Is an Attractor in a Transformer?》則進一步區分 Representation Clustering、Training Attractors、Execution-State Attractors、Autoregressive Dynamics 與 Semantic Attractors,說明穩定的表示或功能,不會自動構成真正的動力學吸引子。

本文提出一套分層實驗協議,將上述識別問題轉化為可執行的 Causal Discovery Benchmark。

其中心問題是:

Given two AI systems with the same externally observable function, can an investigation distinguish their internal causal organizations without merely imposing the same functional object on both?

本文首先證明,若兩套系統具有完全相同的外部輸入—輸出行為,任何僅依賴該行為的測試都不能區分其內部實現結構。

因此,Natural Functional Individual 的研究必須超越外部功能等價,使用經明確定義的內部干預、跨情境測試及形成歷史證據。

本文設計六類互補的實驗系統:明確植入的功能模組、經可逆混合的相同模組、沒有預先植入模組的功能等價模型、與功能相關但沒有因果作用的誘餌表示、具有吸引動力但沒有功能貢獻的結構,以及具有真實吸引動力和功能貢獻的結構。

本文進一步建立盲測、反事實干預、因果充分性、跨表示穩健性、Functional Reuse 及 Attractor-Specific Verification 的評估程序。

其中最重要的科學限制是:即使發現工具能在人工系統中恢復已知功能電路,也不代表它已能證明自然訓練的 Transformer 具有相同的內生個體邊界。

本研究因此將實驗成功分為三種不同層次:

Functional Abstraction Recovery;Endogenous Causal Organization Evidence;Attractor-Specific Functional Evidence。

本文並未執行新的 Transformer 實驗,而是提出一套可供後續實施、預先註冊及否證的完整研究協議。

Keywords: Mechanistic Interpretability; Functional Port; Natural Functional Individual; Causal Abstraction; Interchange Intervention; Circuit Discovery; InterpBench; Attractor; Counterfactual Sufficiency; Experimental Controls; SMFT.


1. Introduction:我們究竟在發現甚麼?

1.1 The Object-Discovery Problem

當研究者分析一個 Transformer 時,可能發現某個 Attention Head、MLP Subspace 或 Residual Stream Representation,與一項指定功能高度相關。

例如,某組 Activation 可以預測加法中的 Carry。

研究者便可能提出:

(1.1) p = Π(h).

其中 h 是完整內部表示,p 是候選 Carry Port。

再利用某項下游模型:

(1.2) ŷ = R(p,c).

重現原始模型的輸出。

若準確率很高,便證明該 Port 對指定任務具有預測價值。

若再通過 Interchange Intervention,則可能取得更強的因果抽象證據。

但這仍然沒有回答:

模型是否自然形成了一個可以被稱為 Carry Operator 的獨立個體?

1.2 The Problem of Investigator-Imposed Boundaries

研究者選擇:

哪個 Layer 作為接口位置;

哪些 Activation 被保存;

哪些外部操作可以執行;

哪些結果被視為功能正確;

以及哪些內部差異可以忽略。

這些選擇本身會影響得到的 Functional Port。

因此,找到一個成功的 Port,不代表它就是唯一或最自然的內部邊界。

反過來,Port 由研究者定義,也不代表它必然只是虛構。

真正的因果結構可以限制哪些候選接口充分、哪些不充分。

所以,研究目標應當是:

尋找具有可重現因果支持的功能結構,而不是假設所有成功的高層接口都對應天然封裝的物件。

1.3 Three Distinct Claims

本文將三項聲明分開。

Claim A — Functional Abstraction

存在一項在指定 Protocol 下有效的 Port。

Claim B — Endogenous Causal Organization

該 Port 所對應的功能,可以追蹤到完整系統中一套具有特定因果作用的內部組織。

Claim C — Natural Functional Individual

這套內部組織還具有某種可辨認的持續性、邊界穩健性及相對自主性,值得被研究為候選功能個體。

若再聲稱:

Claim D — Attractor-Mediated Individual

便需要另外建立真正的吸引動力,以及它對相關功能的因果貢獻。

本研究的目的,是避免由 A 直接跳至 C 或 D。


2. What Existing Research Already Provides

2.1 Causal Abstraction

Geiger 等人的研究已經建立成熟的 Causal Abstraction 數學,研究神經網絡在甚麼條件下,可以忠實實現指定的高層因果模型。

其工具涉及:

Activation Patching;

Interchange Intervention;

Distributed Alignment;

Causal Scrubbing;

Circuit Analysis;

Sparse Autoencoders;

以及其它因果干預和表示分析方法。

因此,本文不將上述方法本身視為新的發明。

2.2 Interchange Intervention Training

Interchange Intervention Training(IIT)已經研究如何透過對齊高層因果變量及神經表示,訓練網絡產生符合指定因果模型的反事實行為。

但這種方法通常已經給定某種高層因果目標或候選對齊。

所以:

Successful Causal Abstraction Training 不等於模型在沒有指定高層結構的情況下,自行發現該結構。

這個區別對本研究非常重要。

2.3 InterpBench and MIB

InterpBench 已提供具有已知電路的半合成 Transformer,用於評估 Circuit Discovery 方法。

Mechanistic Interpretability Benchmark(MIB)則建立了更廣泛的評估架構,包括 Circuit Localization 及 Causal Variable Localization。

因此,本文的正對照可以直接參考成熟 Benchmark 的做法。

但本研究關心的額外問題是:

一個方法是否會把不同的內部實現,強行解釋為相同的自然功能物件?

能否辨認對功能沒有因果作用的誘餌結構?

能否分辨具有吸引動力的結構是否真正參與功能?

以及這些結論能否在模型自然訓練的形成歷史中獲得支持?


3. A Fundamental Impossibility Result

3.1 Two Systems with Identical External Behavior

考慮兩個完整系統:

(3.1) M_A.

(3.2) M_B.

假設它們對指定外部輸入集合 X,實現完全相同的函數:

(3.3) F_A(x) = F_B(x),對所有 x ∈ X 成立.

但它們的內部因果圖不同。

例如,一個系統具有明確的 Carry Register。

另一個系統則透過不同的分散式計算路徑實現相同的加法。

若研究者只能提出外部輸入並讀取最終輸出,便無法直接檢查其內部實現。

3.2 Theorem 3.1 — External Behavioral Non-Identifiability

定理:

若兩套確定性系統在所有允許的外部查詢上產生相同輸出,則任何只依賴這些外部查詢及輸出的確定性識別程序,都無法保證區分兩者的內部因果結構。

對隨機識別程序,若兩套系統誘導相同的觀測資料分佈,則其識別輸出的分佈亦相同。

Proof.

對確定性識別程序,兩套系統對任何允許查詢提供相同答案。

因此,無論程序採用何種自適應查詢策略,它從兩套系統取得的完整觀測紀錄都相同。

程序自然必須給出相同識別結果。

但兩套系統的內部結構不同,所以它不可能在兩者之中,同時保證輸出各自正確的內部結構。

對隨機程序,可將其內部隨機性固定後使用相同論證,或直接利用兩套觀測分佈相同的事實。

證畢。

3.3 Consequence

這項結果並不是新的數學定理,而是觀測不可識別性的直接應用。

其重要性在於:

如果想宣稱發現了模型內部自然形成的功能個體,單靠外部 Functional Equivalence 絕對不夠。

需要加入額外資訊。

例如:

內部 Activation;

可執行的因果干預;

形成歷史;

以及其它具有獨立理由的結構約束。

但增加內部干預能力,也不代表自然個體立即變得唯一可識別。

因為不同的表示座標仍然可能描述相同的因果機制。


4. The Benchmark Task:由二進制加法建立 Ground Truth

4.1 Why Addition?

此前 Functional Operator 研究一直使用加法作為候選研究任務。

原因是:

功能目標清楚;

局部進位具有明確的邏輯含義;

可以完整建立反事實真值;

亦可以逐步擴展到較長的計算鏈。

但本研究不假定自然訓練的 Transformer 必然使用人類的標準進位算法。

這只是一項實驗任務。

4.2 Two-Bit Binary Addition

考慮兩個二位二進制數:

(4.1) A = 2a₁ + a₀.

(4.2) B = 2b₁ + b₀.

其中:

(4.3) a₀,a₁,b₀,b₁ ∈ {0,1}.

最低位的輸出為:

(4.4) s₀ = a₀ XOR b₀.

進位為:

(4.5) c₁ = a₀b₀.

上一位輸出:

(4.6) s₁ = a₁ XOR b₁ XOR c₁.

下一項進位:

(4.7) c₂ = 1[a₁ + b₁ + c₁ ≥ 2].

因此完整輸出可表示為:

(4.8) Y = (c₂,s₁,s₀).

這個函數可以由多種不同內部架構實現。

而 Carry c₁ 提供一項特別合適的候選高層因果變量。

4.3 External Functional Equivalence

我們將構造或訓練多套模型,使它們在正常輸入下,都盡量實現相同的外部功能:

(4.9) F(A,B) = A + B.

但它們的內部組織不同。

這樣才能測試:

如果外部功能相同,分析工具是否仍能辨認真正不同的內部機制?


5. Six Experimental Model Classes

5.1 Model M1 — Planted Modular Carry Operator

第一組明確設計一個 Carry Module。

其內部先計算:

(5.1) c₁ = a₀b₀.

再由後續模組使用 c₁ 計算高位結果。

Carry Module 具有預先指定的輸入、內部計算與對外輸出。

因此,研究者知道:

哪一項變量是 Carry;

哪一條計算路徑使用 Carry;

以及哪些干預應該改變最終輸出。

這是 Positive Control。

如果一項 Circuit Discovery 方法連 M1 都不能可靠識別,便很難相信它對真實 LLM 的較強自然個體聲明。

但 M1 是工程師設計的模組。

成功識別 M1,不等於證明自然訓練的神經網絡會自行產生相同的模組。

5.2 Model M2 — The Same Module under Reversible Mixing

第二組保留 M1 的功能及因果結構,但改變內部表示座標。

例如,原始隱藏變量為:

(5.2) h = (c,n).

其中 c 是 Carry,n 是另一個內部變量。

在二元域 F₂ 上使用可逆映射:

(5.3) h′ = (c XOR n,n).

則:

(5.4) c = h′₁ XOR h′₂.

因此,Carry 不再對應某個獨立座標。

它仍然可以由新的分散式表示恢復。

這種變換不應改變完整系統的功能。

若研究者使用相應的反事實機制變換,也可保留其高層因果結構。

但直接修改 h′₁,與在原始表示中只修改 c,通常不是相同的干預。

因此,對 M2 的有效 Carry Intervention,需要按照變換後的表示結構執行。

例如保持 n 不變,設定:

(5.5) h′₁ = c_new XOR n.

(5.6) h′₂ = n.

這個對照可以測試:

一項分析方法究竟發現了因果變量,還是只發現了某個特定座標下看起來整齊的神經元?

M2 不是自然形成的模型。

但它可以驗證工具是否對可逆表示變換具有適當穩健性。

5.3 Model M3 — Functionally Equivalent, Non-Planted Implementation

第三組使用相同輸入—輸出任務,但不預先植入 Carry Module。

例如,使用一個通用的小型 MLP 或 Transformer,透過正常任務訓練學會加法。

研究者不強制指定:

某個神經元必須表示 c₁;

某個 Attention Head 必須負責 Carry;

或某個中間層必須使用人類標準加法算法。

訓練後,模型可能自行形成:

相對局部的進位計算;

分散式 Carry Representation;

其它等價運算;

或者部分記憶化的功能。

因此,M3 的內部組織不應被預先標記為「沒有自然功能模組」。

正確的 Ground Truth 只是:

沒有由研究者預先植入指定的 Carry Object。

如果分析工具在 M3 中發現具有強因果作用的候選結構,那可能是真正值得研究的結果。

但還需要進一步驗證其形成歷史與內生性。

5.4 Model M4 — Correlated but Causally Unused Decoy

第四組設計一個誘餌結構。

讓模型內部某個變量 d,能夠準確預測 Carry:

(5.7) d = c₁.

但真正的下游輸出不使用 d。

而是經由另一條路徑直接完成加法。

因此:

(5.8) ProbeAccuracy(d → c₁) = 1.

但若對 d 執行一項只改變 d、不改變真正計算路徑的有效干預:

(5.9) CausalEffect(d → Y) = 0.

這是一個很重要的 Negative Control。

如果某項分析方法因 d 能夠完美預測 Carry,便宣稱它是一個真正參與計算的 Carry Operator,就構成 False Positive。

這可直接檢查:

Readout Decodability 是否被錯誤當成 Causal Function。

5.5 Model M5 — Genuine Attractor, No Functional Contribution

第五組更直接針對 SMFT Attractor 假說。

建立一個真正具有收縮動力的內部變量:

(5.10) zₙ₊₁ = (1/2)zₙ + (1/2)c₁.

對固定 c₁,其吸引固定點為:

(5.11) z*(c₁) = c₁.

由於:

(5.12) |∂zₙ₊₁/∂zₙ| = 1/2 < 1.

所以這是一套明確具有收縮吸引性質的模型。

但令真正的加法輸出不讀取 z。

由另一條路徑完成:

(5.13) Y = F_direct(A,B).

因此,z 雖然具有真正的 Attractor Dynamics,而且固定點與 Carry 相同,卻沒有對指定下游輸出發揮因果作用。

這個控制十分關鍵。

它說明:

Genuine Attraction + Semantic Correlation ⇏ Functional Operator.

如果分析工具只是找到一個會向 Carry 值收斂的內部狀態,就宣稱它造成加法功能,便是過度解讀。

5.6 Model M6 — Attractor with Verified Functional Contribution

第六組使用與 M5 相同的吸引動力:

(5.14) zₙ₊₁ = (1/2)zₙ + (1/2)c₁.

但這次讓下游真正使用 z。

例如,在已聲明的初始範圍:

(5.15) z₀ ∈ [0,1].

反覆更新兩步後:

(5.16) z₂ = (1/4)z₀ + (3/4)c₁.

若 c₁ = 0:

(5.17) z₂ ∈ [0,1/4].

若 c₁ = 1:

(5.18) z₂ ∈ [3/4,1].

因此可以用門檻讀出:

(5.19) ĉ₁ = 1[z₂ ≥ 1/2].

在上述初始範圍內,ĉ₁ = c₁。

下游再使用 ĉ₁ 完成高位加法。

這樣便可建立:

明確的吸引動力;

正確的功能讀出;

以及可透過干預檢查的功能貢獻。

但仍需注意:

M6 也是研究者自己建構的模型。

它可以作為 Attractor-Mediated Operator 的數學及實驗 Positive Control。

卻不能證明自然訓練的 LLM 必然產生這種結構。


6. What Counts as an Intervention?

6.1 The Intervention Must Match the Claim

如果聲稱某個 Port 表示 Carry,研究者便需要定義:

保持哪些資訊不變;

修改哪一項內部因果變量;

以及修改後的高層計算結果應該是甚麼。

不能只在 Activation 上加入任意噪音,再把 Accuracy 下降視為因果模組證據。

因為任何重要計算路徑受到足夠大的非特異性破壞,都可能令模型變差。

6.2 Interchange Intervention

選擇兩個外部輸入:

(6.1) x_base.

(6.2) x_source.

在 Base Input 的前向計算中,將候選內部表示替換為 Source Input 對應的值。

然後比較:

實際模型的干預輸出;

與指定高層因果模型所預測的反事實輸出。

若兩者一致,便支持候選抽象對該項干預的忠實性。

但這種一致性仍然是相對於已指定的高層變量與對齊方式。

因此,不能直接視為自然個體的唯一性證明。

6.3 On-Manifold and Off-Manifold Controls

對神經網絡,替換某個 Activation 可能造成原來正常前向計算不會出現的隱藏狀態組合。

因此需要區分:

有效的完整 Source Activation Replacement;

局部因果機制變換;

以及可能使模型離開正常表示分佈的任意 Activation Editing。

本研究建議優先使用具有明確 Counterfactual Reference 的干預。

並且:

使用相同擾動成本的對照;

量度其他任務是否受到非特異性損害;

檢查干預是否只修改了研究者聲稱的因果資訊;

以及在可能的情況下使用不同干預形式交叉驗證。

6.4 The Hidden-Bypass Test

即使候選 Port 對多項測試都充分,也可能存在其它下游路徑,繞過 Port 讀取被忽略的內部資訊。

因此,需要檢查:

(6.3) Same Port + Different Hidden State → Same Necessary Downstream Behavior?

若答案是否定,便表示候選 Port 可能不充分。

這與此前 Joint Port Closure Criterion 直接相連。

但在真實神經網絡中,這項檢查通常只能對有限的干預分佈提供經驗性結論。

不能宣稱已窮盡全部隱藏狀態。


7. Evaluation Metrics

7.1 External Task Accuracy

首先量度模型是否完成指定功能:

(7.1) Acc_task = CorrectOutputs / TestedOutputs.

這是必要的功能表現指標。

但它不能單獨識別內部機制。

7.2 Interchange Intervention Accuracy

對 N 項具有有效反事實參考答案的干預:

(7.2) IIA = (1/N)Σᵢ 1[PredictedInterventionOutcomeᵢ = ReferenceOutcomeᵢ].

對連續輸出,也可使用明確的距離與容忍度。

這項指標主要衡量候選高層因果抽象的干預忠實性。

不能單憑 IIA 高,就宣稱找到了天然獨立個體。

7.3 Circuit Localization

對 M1、M2 等具有已知底層因果結構的模型,可以量度發現的電路與 Ground Truth 的符合程度。

例如:

Precision;

Recall;

F1;

或其它與電路大小及邊定義相容的指標。

但 M2 經過可逆混合後,原來的單一神經元座標可能不再直接對應功能變量。

因此,Localization Metric 需要允許正確的表示變換。

否則可能錯誤地懲罰一項因果上正確、但座標不同的發現。

7.4 False Positive on Decoys

對 M4、M5,定義誘餌是否被誤判為真正的功能因果模組。

例如:

(7.3) FPR_decoy = FalseFunctionalModuleDeclarations / EligibleDecoyTests.

其中分母及失敗判準需要預先定義。

如果一項方法對 M1、M6 具有高檢出能力,卻又頻繁把 M4、M5 判為真正的 Operator,那麼其特異性不足。

7.5 Cross-Representation Robustness

對 M1 與 M2,比較同一方法是否能夠恢復具有相容因果作用的功能抽象。

但不要求找到完全相同的原始神經元座標。

需要比較的是:

被發現的高層變量能否通過對應的因果干預;

有效轉移是否相容;

以及必要功能是否保持。

7.6 Functional Reuse

若一項候選功能接口聲稱可以被下一級使用,需要建立獨立的下游任務。

例如,使用已發現的 Carry Port,支援較長的多位加法。

比較:

使用候選 Port;

使用完整 Hidden State;

使用等成本的無關表示;

以及重新訓練的對照模型。

此處要區分:

已訓練功能能否被重用;

與研究者是否已證明它是一項自然形成的個體。

可靠重用是重要證據,但不是自然個體的充分證明。

7.7 Attractor-Specific Measures

對 M5、M6,應分別量度:

Attraction/Contraction;

Perturbation Recovery;

Functional Correctness;

以及對功能輸出的因果貢獻。

M5、M6 應具有相容的吸引動力。

但只有 M6 的吸引狀態參與指定計算。

因此,一套有效方法必須能夠分辨:

Attractor Exists。

與:

Attractor Matters for Function。


8. The Blind Evaluation Protocol

8.1 Separation of Roles

為避免研究者無意中利用已知答案調整分析方法,建議分成三個角色。

Model Builder

建立六類模型,保存完整真值及訓練歷史。

Discovery Researcher

只取得已允許的模型、Activation、干預及測試接口,不知道模型真實類別。

Independent Evaluator

持有隱藏類別、因果 Ground Truth 與正式測試集,負責評分。

在小型研究中,這三項角色可以由不同程式與資料分割實現,不一定需要三個不同的人。

但真值資料必須與模型搜尋過程隔離。

8.2 Pre-Registered Hypotheses

在正式測試前,研究者需要聲明:

候選功能邊界的判準;

預期成功的實驗組;

預期不應通過的負面控制;

所使用的干預種類;

容許的計算成本;

以及何種結果會令研究主張失敗。

尤其不能看到 M4、M5 的結果後,才重新調整「自然功能模組」的定義,以避免出現 False Positive。

8.3 Equal Intervention Budget

不同模型應在相容的測試成本下接受分析。

例如,設定:

相同的外部功能查詢上限;

相同的 Activation/Intervention 次數上限;

以及相同的模型分析時間或運算資源上限。

若某項方法使用更多干預,便應另外呈現其成本—準確度關係。

否則,很難辨認它的表現改善,究竟來自方法本身,還是來自額外計算資源。

8.4 Holdout Intervention Families

不能只在用於發現 Port 的同一組干預上進行資格驗證。

應另外保留:

未見過的 Source/Base 配對;

不同的 Carry Cascade;

不同長度的輸入;

以及不同但仍屬有效協議的干預。

這可以降低方法只記住既有測試答案的風險。

8.5 Multiple Training Seeds

對自然訓練的 M3,應使用多個隨機種子。

原因是:

同一功能可以在不同訓練中形成不同的內部實現。

因此,跨模型出現相同功能,不代表一定出現完全相同的局部神經結構。

比較時應允許等價座標與不同實現方式。

但不能因為某種跨種子的結構相似,便自動宣稱存在唯一自然本體。


9. A Minimal Executable Experimental Plan

9.1 Stage A — Boolean Ground Truth

使用兩位二進制加法。

完整輸入只有四個二元位元,因此共有:

(9.1) 2⁴ = 16.

種輸入組合。

可以對全部輸入完整測試。

若考慮全部有序 Base/Source 配對,最多有:

(9.2) 16² = 256.

種配對。

對這個規模,建立完整的外部真值及高層 Counterfactual Reference 並不困難。

9.2 Stage B — Six Controlled Models

建立 M1–M6。

其中 M1、M2、M4、M5、M6 的關鍵因果結構由研究者控制,因此可以建立清楚的正負測試。

M3 則作為自然訓練的未知結構模型。

M3 不應被強制當成負對照。

它是研究真正內生電路形成的重要對象。

9.3 Stage C — Candidate Discovery Methods

可比較:

Probe/Linear Readout;

Activation Patching;

Distributed Alignment;

Automated Circuit Discovery;

以及可學習的 Counterfactual Functional Port。

這些方法具有不同的輸出形式。

因此,需要避免只用一項分數硬性比較全部研究目標。

例如:

Probe 主要量度可解碼性。

Circuit Discovery 主要定位因果路徑。

Distributed Alignment 可以尋找分散式功能變量。

Counterfactual Port Learning 則可能同時涉及表示及下游更新模型的優化。

應根據每項方法聲稱能夠完成的工作,分別檢查其資格。

9.4 Stage D — The Critical Blind Questions

對每個模型,Discovery Researcher 需要回答:

第一,是否存在一項可以對指定任務提供高忠實度的 Functional Port?

第二,該 Port 是否對有效干預充分?

第三,是否存在可辨認的內部因果組織,支持所聲稱的功能?

第四,若聲稱有 Dynamical Attractor,究竟使用哪一項更新算子及吸引性證據?

第五,該吸引結構是否對功能具有可辨認的因果貢獻?

第六,有沒有足夠證據把結果提升為 Natural Functional Individual 候選?

研究者可以回答:

Evidence Insufficient。

這應被視為一項合法而且有科學價值的結果。

不能強迫所有模型都必須被歸類成存在或不存在自然個體。

9.5 Stage E — Developmental Tracking

完成靜態識別後,再對 M3 保存不同訓練 Checkpoints。

對每個 Checkpoint 量度:

(9.3) FunctionalError(k).

(9.4) PortResidual(k).

(9.5) CausalCircuitEvidence(k).

(9.6) FunctionalReuse(k).

研究新功能是否真正隨訓練形成。

而不只是某個事後定義的 Port,恰好在最終模型中十分有效。


10. The Most Important Negative Controls

10.1 Decodable but Unused

M4 可以預測 Carry,但不參與計算。

若方法將它判為真正 Carry Operator,表示它將相關性誤當成因果作用。

10.2 Attractive but Unused

M5 具有真正的穩定吸引動力。

但指定輸出不使用其吸引狀態。

若方法將它判為 Attractor-Mediated Operator,表示它將吸引性誤當成功能貢獻。

10.3 Faithful but Trivial

若方法使用完整 Hidden State 作為 Port,可能在功能上十分忠實。

但這並沒有建立非平凡約化。

因此,需要檢查其成本與表示複雜度。

10.4 Correct but Not Robust

若候選 Port 在正常輸入中正確,卻在合理的有效干預下失效,便只能聲稱有限範圍的 Functional Abstraction。

10.5 Stable across Models but Not Localized

如果不同種子實現相同功能,但使用不同內部計算路徑,便不應強行尋找同一個固定位置的 Object。

這可能表示高層功能身份具有穩定性,但微觀實現方式並不唯一。


11. Scientific Success and Failure Criteria

11.1 Level A — Functional Abstraction Recovery

若方法可以在指定協議下建立可靠 Port,且具有足夠的功能與干預忠實性,便達到 Level A。

這是一項有價值的工程成果。

但不構成自然個體證明。

11.2 Level B — Grounded Causal Module Discovery

若方法可以在 M1、M2 中恢復經驗證的功能因果結構,並能避免將 M4 的相關但未使用表示誤判為真正電路,便具有較強的內部機制識別能力。

若能在 M3 中進一步找到經多種干預支持的功能組織,則可作為 Endogenous Causal Module 的候選證據。

但 M3 尚未具有可直接判定自然個體存在與否的完整 Ground Truth。

11.3 Level C — Attractor-Specific Identification

若方法可以在 M6 中辨認真正的吸引動力及其功能作用,同時拒絕將 M5 的無關吸引結構稱為功能個體,便支持 Attractor-Specific Mechanism Identification。

但這仍然主要是人工控制系統上的能力驗證。

11.4 Level D — Developmental Endogeneity Evidence

若在自然訓練的 M3 中,候選功能電路隨 Checkpoints 逐漸形成,且其因果作用、Port Sufficiency 及下游重用具有可重現的形成軌跡,便取得比最終模型的事後抽象更強的內生性證據。

若同時有適當的訓練介入,顯示某些 Connection Adaptation 對形成過程具有因果作用,便進一步提高證據強度。

但這仍不應自動稱為完整的 Natural Functional Individual 證明。

尤其是相對自主性與組織持續性,需要額外操作化。

11.5 Failure of the Stronger Hypothesis

若工具能夠成功建立有用的 Functional Port,卻無法提供較強的內部因果組織證據,則 Level A 仍然成立,但 Level B 不能被宣稱。

若工具能找到真正的 Attractor,但無法證明它對功能具有因果作用,則只能聲稱發現了相應的吸引動力。

若自然訓練的模型具有可靠功能,卻沒有發現所提出的 Attractor-mediated 機制,則應限制該具體吸引假說,而不是否定功能本身。


12. Why Natural Individuality Cannot Be Settled by One Benchmark

12.1 The Ground Truth Problem

對人工設計的 M1、M2、M4、M5、M6,我們知道其關鍵的內部因果機制。

因此可以評估方法是否恢復設計好的結構。

但對自然訓練的 M3,真正的內部算法可能與研究者想像不同。

即使沒有預先植入 Carry Module,模型亦可能自行學得某種功能模組。

因此:

(12.1) No Planted Object ≠ No Endogenous Object.

這是整套實驗最重要的識別限制之一。

12.2 The Non-Uniqueness Problem

同一功能可以由不同實現方式提供。

即使某個功能商在行為上最粗,也不代表它在神經座標上具有唯一的自然位置。

因此,分析工具應接受功能等價但座標不同的正確表示。

不能只將與研究者預先命名一致的表示視為正確。

12.3 The Autonomy Problem

即使發現了內部因果模組,它仍然可能完全依賴周圍網絡運作。

要判定它是否具有較強的相對自主性,需要另外研究:

內部持續性;

功能邊界穩健性;

擾動恢復;

以及是否存在維持自身組織條件的機制。

上述性質目前尚未共同構成一套被普遍接受的 Natural Functional Individual 充要判準。

因此,本研究不能預先聲稱已能透過一次 Benchmark 判定自然個體的本體論地位。


13. Relation to SMFT, P8D, and the Theory of World Formation

13.1 The SMFT Attractor Hypothesis

SMFT 的 Semantic Attractor 研究,可以將其生成主張拆成多個可測試部分。

例如:

Adaptive Connection 是否改變內部功能組織?

是否形成新的動力學吸引制度?

該制度是否改善 Functional Port Sufficiency?

是否增加擾動恢復能力?

是否促進下一級功能重用?

這些是不同問題。

任何一項得到正面結果,都不能自動證明其它項目。

13.2 P8D and Qualified Throughput

P8D 的 Match、Retention、Buffer、Enablement 等思想,可以為合格功能的實際使用提供工程性指標。

例如:

功能是否與下游需求匹配?

是否可以在反覆使用中保留?

是否具有足夠的誤差 Buffer?

是否受到有效的使用 Gate 約束?

但這些工程因素,不應被直接當成 Natural Individual 存在的證據。

它們首先衡量的是功能使用效率及可靠性。

13.3 Declaration and Observer-Relative Identity

成界之學強調:

有效邊界需要 Declaration。

觀測需要 Protocol。

歷史需要 Trace/Ledger。

失效需要 Residual Governance。

這些思想與本研究的實驗設計具有方法論上的共同點。

例如,若研究者更改 Port Definition 或測試 Protocol,便應明確記錄版本與資格變化。

但若要由此進一步推論模型具有 Self-Referential Observer,仍然需要建立額外的自指、歷史修訂與組織維持機制。

13.4 The Critical Boundary

因此,目前最有根據的研究鏈條是:

(13.1) Internal Computation → Candidate Functional Abstraction → Causal Testing → Qualified Port.

而較強的候選鏈條為:

(13.2) Causal Organization + Developmental Evidence + Boundary Robustness → Candidate Endogenous Functional Individual.

若進一步聲稱 Attractor-mediated:

(13.3) Verified Attraction + Causal Functional Contribution → Candidate Attractor-Mediated Mechanism.

這三項屬於不同的證據層次。

不能在沒有新增實驗的情況下,直接把它們合併成一條普遍生成定律。


14. Research Deliverables

若實際執行本文的實驗協議,至少應交付以下成果。

14.1 Model Registry

保存 M1–M6 的:

架構;

初始化;

訓練設定;

完整輸入—輸出功能;

已知內部因果結構;

以及 Ground-Truth Intervention Labels。

對 M3,應明確標記其內部功能組織未知。

14.2 Intervention Dataset

建立可重現的 Base/Source 配對、允許干預、反事實參考結果及對照測試。

尤其需要記錄哪些干預可能離開正常 Activation Distribution。

14.3 Discovery Outputs

每個分析方法需要輸出:

候選功能邊界;

候選 Port;

對應的因果電路;

預期的干預反應;

以及其聲稱的證據級別。

不能只輸出一項「找到 Object」的二元標籤。

14.4 Evaluation Ledger

記錄:

Functional Accuracy;

Interchange Intervention Accuracy;

Counterfactual Port Error;

Circuit Localization;

Decoy False Positive;

Cross-Representation Robustness;

Attractor Evidence;

及 Functional Reuse。

全部測試需要保留版本及失敗紀錄。

14.5 Negative Results

研究應完整保存以下情況:

不能發現任何非平凡 Port。

候選 Port 無法通過反事實測試。

誘餌被錯誤判為自然功能模組。

真正的吸引結構沒有功能貢獻。

以及不同分析方法產生互不相容的功能邊界。

這些負面結果對研究是否具有真正辨識能力,與正面結果同樣重要。


15. Conclusion:由「畫出一個 Object」走向「證明它的因果組織」

本文提出一套受控實驗協議,研究 AI 內部的 Functional Object 究竟是被發現,還是主要由研究者施加的抽象。

最基本的結論是:

外部功能等價,不足以識別內部因果結構。

即使成功建立一項忠實的 Functional Port,也不能直接證明存在具有獨立身份的自然功能個體。

因此,本文設計六種具有不同內部組織的模型。

其中:

M1 檢查能否恢復明確植入的功能模組。

M2 檢查同一功能模組在可逆混合表示下,是否仍能被辨認。

M3 研究沒有預先植入指定模組、而是自然訓練形成的功能電路。

M4 檢查會否把可解碼但未被使用的表示,誤認為功能模組。

M5 檢查會否把真正的吸引動力,誤當成功能作用。

M6 則建立具有真實吸引動力及功能貢獻的正對照。

這些模型共同構成一套必要的辨識壓力測試。

但它們仍然不能一次解決 Natural Functional Individual 的全部本體論問題。

人工系統的 Ground Truth 可以驗證發現工具的能力。

自然訓練模型的形成歷史,可以提供更強的內生性證據。

真正的吸引動力及擾動恢復,可以支持 Attractor-specific Claims。

而相對自主性與持續身份,仍需要額外形式化與測量。

因此,本文最終提出:

A useful functional wrapper must not be mistaken for a discovered causal module; a discovered causal module must not automatically be promoted to a natural functional individual; and a genuine attractor must not be called a functional operator unless its causal contribution to the function is established.

對 SMFT、Attractor Fusion 及成界之學而言,這項研究最重要的作用,是建立一條清晰的證據界線。

它容許我們繼續尋找 LLM 內部自然形成的高層功能結構。

但也要求我們接受:某些漂亮的 Port、Attractor 或 Semantic Boundary,可能只是研究者有效的描述,而不是模型本身形成的獨立個體。

The scientific task is not merely to construct an object-like explanation of an AI model, but to determine which features of that explanation are constrained by the model's actual causal organization.


References

  1. Geiger, A., et al. (2025). Causal Abstraction: A Theoretical Foundation for Mechanistic Interpretability. Journal of Machine Learning Research, 26(83), 1–64. https://www.jmlr.org/papers/v26/23-0058.html

  2. Geiger, A., et al. (2022). Inducing Causal Structure for Interpretable Neural Networks. ICML 2022. https://proceedings.mlr.press/v162/geiger22a.html

  3. Gupta, R., Arcuschin, I., Kwa, T., and Garriga-Alonso, A. (2024). InterpBench: Semi-Synthetic Transformers for Evaluating Mechanistic Interpretability Techniques. NeurIPS 2024. https://arxiv.org/abs/2407.14494

  4. Mueller, A., et al. (2025). MIB: A Mechanistic Interpretability Benchmark. ICML 2025. https://proceedings.mlr.press/v267/mueller25a.html

  5. Conmy, A., Mavor-Parker, A., Lynch, A., Heimersheim, S., and Garriga-Alonso, A. (2023). Towards Automated Circuit Discovery for Mechanistic Interpretability. NeurIPS 2023. https://proceedings.neurips.cc/paper_files/paper/2023/hash/34e1dbe95d34d7ebaf99b9bcaeb5b2be-Abstract-Conference.html

  6. Elhage, N., et al. (2022). Toy Models of Superposition. Transformer Circuits Thread. https://transformer-circuits.pub/2022/toy_model/index.html

  7. From Functional Abstraction to Natural Functional Individuals: Are AI Operators Discovered or Imposed? Companion Article 1.

  8. What Is an Attractor in a Transformer? Mathematical Definitions, Execution Dynamics, Semantic Basins, and the Limits of Natural Functional Individuation. Companion Article 2.

  9. Functional Port Qualification Dynamics: From Observational Fit to Counterfactual Sufficiency. Parts I–IV.


Article 3 — End

Research Status:本篇是尚未執行的實驗協議。已知電路測試、Interchange Intervention、Circuit Localization 與相關 Benchmark 具有既有研究基礎;六類對照的聯合設計及其對 Natural Functional Individual 的評估用途,屬於本文提出的研究方案。本文沒有宣稱已在真實 Transformer 中發現自然形成的 Semantic Attractor Object。


這篇最重要的新增判準

這次的六類對照,特別能防止三種常見的過度推論。

觀察到的現象

不能直接推論

某個 Activation 完美表示 Carry

該 Activation 就是真正執行 Carry 的 Operator

某個內部狀態具有明確吸引性

該 Attractor 必然參與指定功能

找到一項充分且低成本的 Port

模型內部自然存在一個唯一的 Programming Object

目前的外部研究亦已對其中部分問題提出成熟測試方法。InterpBench 提供已知電路的半合成模型,MIB 提供因果變量與電路定位的評估,而 Toy Models of Superposition 則說明功能表示可能分散於多個方向,不能只按照單一神經元識別。

ML Anthology
+2

至此,三篇預定的收尾論文都已完成。

下一篇就應該是本 Session 最後的 Outstanding Problems and Research Handover:把 Attractor Fusion、Functional Operator、Port Qualification Dynamics,以及剛完成的三篇方法論文章,整理成一份不依賴整段對話也能使用的研究總帳。

它應明確區分:已證明的數學、已執行的合成實驗、現有科學文獻支持的內容、仍待驗證的生成猜想,以及最值得優先進行的真實 AI 實驗。

 


 

 © 2026 Danny Yeung. All rights reserved. 版权所有 不得转载

 

Disclaimer

This book is the product of a collaboration between the author and OpenAI's GPT 5.6, Google AI, Gemini 3.X, NoteBookLM, X's Grok, Claude' Sonnet 5 language model. While every effort has been made to ensure accuracy, clarity, and insight, the content is generated with the assistance of artificial intelligence and may contain factual, interpretive, or mathematical errors. Readers are encouraged to approach the ideas with critical thinking and to consult primary scientific literature where appropriate.

This work is speculative, interdisciplinary, and exploratory in nature. It bridges metaphysics, physics, and organizational theory to propose a novel conceptual framework—not a definitive scientific theory. As such, it invites dialogue, challenge, and refinement.


I am merely a midwife of knowledge. 

 

 

 

沒有留言:

發佈留言