Das ist der gleiche Fall wie bei den von dir angeführten hören und sagen. Die Grundform Schwimmen kann auch als Substantiv aufgefasst werden. Deutlicher ist das, wenn ein Artikel dazu gestellt wird: ich war gestern zum Schwimmen. Das entspricht der Konstruktion 'ich hörte Singen' (mit Artikel 'ich hörte ein/das Singen'. Die (alte) Rechtschreibung erlaubt bei den Fällen ohne Artikel Groß- und Kleinschreibung (und die neue dann wahrscheinlich auch).
