Die Idee wurde in Schweden geboren. Als Carl Diem bei den Olympischen Spielen 1912 in Stockholm miterlebte, dass die Skandinavier bereits seit 1907 ein Abzeichen für vielseitige Leibesübungen verliehen, war der deutsche Chef de Mission Feuer und Flamme. Bereits im November beschloss der Deutsche Reichsausschuss auf sein Betreiben hin die Bedingungen für die Auszeichnung. Am 1. September 1913 wurden die ersten 21 Sportabzeichen verliehen - die Anforderungen sind bis heute im Großen und Ganzen gleich geblieben, weiterhin muss je eine Bedingung aus fünf verschiedenen Gruppen innerhalb eines Kalenderjahres erfüllt werden. Allerdings hatte das Sportabzeichen in seinen Anfängen noch eine etwas andere Funktion als heute: Auf diesem Wege sollten Talente für Olympia 1916 in Berlin entdeckt werden - Carl Diem war Generalsekretär im Organisationskomitee der Spiele, die dann wegen des Krieges ausfielen. Nach dem 1. Weltkrieg wurden auch Turnübungen in das Programm aufgenommen, allerdings konnte etwa das Schwimmen nicht durch Turnen ersetzt werden - mit dem Erfolg, dass viele Menschen schwimmen lernten, um die Auszeichnung zu erhalten. Ab 1921 konnten auch Frauen das Sportabzeichen ablegen, 1925 folgte das Jugend-Abzeichen.

Bis heute wurden über 20 Millionen Plaketten in Gold, Silber und Bronze verliehen. Allein 1996 waren es 761 000 - was einem Anteil von knapp einem Prozent an der Bevölkerung entsprach. Die Zahl der Bewerber liegt bei einer Durchfallquote von rund 30 Prozent sogar noch wesentlich höher. Nur die neuen Bundesländer hinken in der Statistik deutlich hinterher. Auch Politiker haben den Wettbewerb immer wieder genutzt, ihre Sportlichkeit zu demonstrieren. Richard von Weizsäcker nahm während seiner Amtszeit als Bundespräsident am "Olympia des kleinen Mannes", so der Titel einer Werbekampagne, gleich mehrere Male mit Erfolg teil.