MIT展示權重空間程式設計，GPT-6 Astra可直接讀寫神經網路權重

麻省理工學院電腦科學暨人工智慧實驗室（MIT CSAIL）研究團隊公布實驗，利用GPT-6 Astra直接修改Qwen3.5-0.8B語言模型的神經網路權重，不需重新訓練，就讓MATH-500數學測試正確率從7.9%提高至48.1%。修改範圍僅占模型約0.016%的權重，主要解決模型推理時反覆產生相同內容、無法完成回答的問題。

神經網路的權重是影響模型如何處理輸入與產生輸出的數值參數，過去若要改變模型行為，通常透過微調或其他最佳化方法更新權重。研究團隊提出的權重空間程式設計（Weight-Space Programming），則是讓通用大型語言模型根據指定目標，分析並直接修改其他模型的權重，不必透過傳統訓練程序更新權重。

在Qwen實驗中，Astra透過Python環境檢查權重，以GSM8K與MATH訓練集中的數學題目進行測試，最多取得50批次推論回饋，但不能執行訓練或取得梯度資訊，正式評測題目也未提供給Astra。Astra將重複推理問題定位在第15與19層的多層感知器（MLP），針對約13萬個權重進行修改，減少模型持續重複推理、直到耗盡輸出長度的情況。

修改後，Qwen在GSM8K數學測試的正確率從13.8%升至67.1%，指令遵循測試IFEval也從21.0%提高至62.3%。在MATH-500中，回答達到32,768個Token上限的比例由93%降至33.1%。測試表現改善主要來自模型能完成原本因重複輸出而無法作答的題目。

團隊也測試Astra讀取與編寫小型神經網路權重的能力。Astra能僅憑權重辨識四個神經網路分別是為哪款遊戲訓練，也能根據遊戲規則和原始碼，為預先提供的模型架構從零編寫權重。由Astra編寫權重的模型在Breakout等三款遊戲中，成績都超過訓練1億步的PPO模型。

不過，面對較少出現重複推理的Gemma 3 270M，Astra未能明顯改善數學測試表現。研究團隊已公開實驗紀錄與修改後的Qwen模型權重，Hugging Face人員據此重建模型，重新執行MATH-500測試，得到51.0%的正確率。