On Foundation Models for Dynamical Systems from Purely Synthetic Data
preprint
Un transformador preentrenado con dinámicas sintéticas muestreadas de un RKHS para predicción, generalización y adaptación a nuevos sistemas con pocos datos.
Recursos
Resumen
El artículo estudia si es posible entrenar modelos fundacionales para sistemas dinámicos sin grandes colecciones de trayectorias reales. Un transformador se preentrena con datos sintéticos generados por funciones dinámicas muestreadas de un espacio de Hilbert con núcleo reproductor. La evaluación se centra en la predicción y adaptación a sistemas no vistos, con experimentos de carro-péndulo y péndulo de Furuta en simulación y hardware. El ajuste fino mejora el rendimiento en nuevos sistemas; los resultados analizan generalización, eficiencia de datos y robustez.
Cita
@article{ziegler2024foundation,
author = {Ziegler, Martin and Posada-Moreno, Andres Felipe and Solowjow, Friedrich and Trimpe, Sebastian},
date = {2024-11-30},
eprint = {2412.00395},
eprinttype = {arxiv},
title = {On Foundation Models for Dynamical Systems from Purely Synthetic Data},
url = {https://arxiv.org/abs/2412.00395}
}