TopoGPT-2: Topological Phase Transitions in Language Modeling

April 27, 2026 · View on GitHub

TopoGPT-2 es un modelo de lenguaje de 25M de parámetros que implementa el marco Grokkit HPU-Core para estudiar la adquisición del lenguaje como un fenómeno de materia condensada. A diferencia de las arquitecturas tradicionales, este modelo está optimizado para alcanzar el estado de Aislante Topológico, donde las invariantes gramaticales y narrativas están protegidas por una brecha espectral (spectral gap).

Core Concept: Grokking as Crystallization

Este proyecto cree en la premisa de que el "grokking" no es un artefacto estadístico, sino una cristalización de operadores. En lugar de memorizar un corpus, TopoGPT-2 mapea las reglas sintácticas del dataset Tiny Stories en un manifold geométrico, permitiendo una coherencia estructural superior con un número mínimo de parámetros.

Key Metrics & Instrumentation

El entrenamiento se monitoriza mediante variables de estado físico:

$\alpha$ (Purity Index): Grado de orden cristalino en los pesos.
$\delta$ (Discretization Margin): Nivel de solidificación de la fase funcional.
$\kappa$ (Gradient Covariance): Medida de la coherencia macroscópica del flujo de gradiente.
$\hbar = 0.012$ : Constante de Incertidumbre del Aprendizaje que define el límite de optimización.

Live Status (Epoch 4 Snapshot)

Metric	Value	Status
Phase State	`[TOPOLOGICAL_INSULATOR]`	Stable
Val Loss	1.6933	Best achieved
Winding Number	138	Strong Convergence
Berry Phase	865.51	High Geometric Curvature
$T_{eff}$	14.6	Cooling in progress

Zero-Shot Structural Transfer

Gracias al Teorema de Invarianza Topológica, este "setup" permite:

Escalamiento Zero-Shot: Expandir el espacio de pesos (ej. de 25M a 250M) sin pérdida de información, preservando el message passing original.
Fusión de Nodos: Superposición de modelos mediante interferencia constructiva de sus Hamiltonianos.
Resistencia al Olvido Catastrófico: Protección de los "chunks" aprendidos mediante el aumento del radio del Toro topológico.

Reproducibility

# Clonar el framework
git clone [https://github.com/grisuno/TopoGPT2.git](https://github.com/grisuno/TopoGPT2.git)

# Ejecutar entrenamiento con monitoreo espectral
python app.py --epochs 10 --prospect --probe-seeds 50

@software{grisun0_grokkit_2026,
  author = {grisun0},
  title = {Grokkit: A Geometric Framework for Zero-Shot Structural Transfer of Spectral Operators},
  year = {2026},
  doi = {10.5281/zenodo.18072859},
  url = {[https://doi.org/10.5281/zenodo.18072859](https://doi.org/10.5281/zenodo.18072859)}
}