Attention Pollution 理論

LLM の推論能力は、attention の純度に依存します。attention が表層構造へ引き寄せられると、モデルは抽象推論を実行できず、surface-mode 挙動へ逸脱します。

AIKernel のアーキテクチャは、この汚染を OS レベルで防ぐよう設計されています。

1. Attention Pollution とは何か

Attention pollution とは、LLM の注意資源が推論に必要な抽象情報ではなく、表層情報に消費される状態です。

汚染されると:

• 抽象構造に attention が届かない
• purpose が弱まり推論方向を失う
• chain-of-thought が浅くなる
• reasoning depth が消失する

モデルは「thinking」をやめ、「mimicking」を始めます。

2. Attention の「重力」モデル

表層構造（examples、templates、style）は、抽象構造よりtoken 密度が高く attention の「重力」が強い性質を持ちます。

なぜ表層構造は重力が強いのか

• token 密度が高い
• パターンが明確でモデルが掴みやすい
• 形式的特徴が attention に強く作用する

抽象構造の重力が弱い理由

• token 密度が低い
• 抽象概念は attention 競合で不利
• 表層構造に埋もれやすい

結果

モデルは表層構造へ引き寄せられ、抽象推論から脱落します。

AIKernel の目的は、推論を中心に維持するための「脱出速度」を与えることです。

3. Attention SNR（Signal-to-Noise Ratio）

attention 純度を次で定義します:

SNR = Inference Signal / Surface Noise

Signal（Inference）

• purpose
• constraints
• structure
• reasoning patterns

Noise（Surface）

• examples
• stylistic instructions
• RAG fragments
• mixed history
• irrelevant information

SNR が低下すると:

• inference が浅くなる
• surface-mode が発火する
• hallucination が増加する

AIKernel は Signal を強化し、Noise を分離して SNR を最大化します。

4. Pollution 要因

主要な attention polluter:

• examples (samples)
• stylistic mimicry instructions
• RAG fragments
• mixed history
• noisy information

これらは抽象推論情報とは異なる表層構造です。

5. 汚染が引き起こす Failure Modes

Attention pollution は次の failure modes を誘発します。

5.1 Inference halt

• structure に attention が届かない
• purpose の影響が失われる
• chain-of-thought が崩壊する

5.2 Surface-mode

特徴:

• style-only mimicry
• no inference
• no structural understanding
• loss of purpose

5.3 Increased hallucination

• RAG と context の混在が factuality を壊す
• attention が何が事実か判別できない

5.4 Loss of purpose

• purpose が attention に乗らず、モデルが達成目標を理解できない

6. 理論の適用範囲

— 「より賢いモデル」では解決しない

Attention pollution はモデルサイズや知能に依存しない問題です。これは token ベースアーキテクチャに内在する構造問題です。

理由:

• attention は有限資源
• token 密度の高い表層構造は常に強い重力を持つ
• Signal と Noise の競合は大規模化しても消えない

したがって attention pollution は、モデル能力問題ではなく情報構造問題です。

AIKernel はこれを OS レベル構造で解決します。

7. 予防策（AIKernel Architecture）

アップロード済み文書に基づく予防策:

7.1 Category separation

• purpose / constraints / structure / expression / rag_material / history を分離
• 混在を禁止

7.2 examples の隔離（ExpressionContext）

• 推論から examples を除外し、出力整形のみに使用

7.3 RAG の materialization（MaterialContext）

• 生 RAG を推論へ渡さず、先に構造化・抽象化

7.4 inference と expression の分離

• OrchestrationContext（inference）
• ExpressionContext（expression）
• MaterialContext（material）

この 3 分離により attention pollution を構造的に防ぎます。

8. AIKernel における位置づけ

Attention Pollution 理論は、AIKernel の中核原則を支えます:

• category separation
• context isolation
• surface-mode prevention
• preprocessing-first design
• deterministic replay

AIKernel は attention purity を維持するための OS レベル構造です。

9. 関連文書

• Principles of Information Category Separation
• Context Isolation Specification
• Risks of Surface-Mode Failure
• Preprocessing vs Prompting
• AIKernel vs LangChain — Structural Comparison

変更履歴

• v0.0.0 / v0.0.0.0: 初期ドラフト
• v0.0.1 (2026-05-06): ドキュメント規約に基づくバージョン更新