Der Rosenturm wurde vermutlich bereits zu Beginn des 13. Jahrhunderts, zusammen mit der Stadtmauer errichtet.
Ursprünglich hieß der Rosenturm "Rossenbrunner Turm", benannt nach der nahe gelegenen Pferdetränke.
Der eher unscheinbare Stumpf des einstigen Rundturms mit ca. 6,6 Metern Durchmesser und 2 Meter dicken Mauern steht an der Nordost-Ecke der Stadtbefestigung. Die Reproduktion einer Skizze der Neckarfront von 1619 zeigt die wahre Gestalt des einst viel höheren Turms mit spitzkegeligem und gaubenverziertem Dach.
In den Türstütz des hochgelegenen Eingangs ist eine liegende Fischgestalt mit menschlichem Antlitz, der Neidkopf eingehauen, der vermutlich der Abwehr böser Geister diente.
Seinem endgültigen Abriss entging der Turm nur, da er als Teil der Stadtbefestigung eine Schutzfunktion gegen Hochwasser und Eisgang zu erfüllen hatte.