creo que el desafío de migrar sería actualizar los registros en la db de las imágenes

Sí, eso es lo que quiero revisar bien. En una de esas si uno cambia a s3 ambos conviven o hay una manera de migrarlo todo bien simple.

No importa que forma sea, pero las imágenes no pueden estar viviendo en la vps por el costo asociado a mediano plazo.