Etwas versteckt hinter dem Marktschlösschen befindet sich die Bärgasse, die ihren Namen vom dort gelegenen Gasthof erhielt. Wann er gegründet wurde, kann nicht mehr ermittelt werden, da ein Haus mit diesem Namen als solches zwar bereits im Jahr 1453 am Kornmarkt (dem Nordwestbereich des heutigen Marktplatzes) nachweisbar ist, damals aber noch ein Wohnhaus gewesen zu sein scheint.
Ähnlich wie der nahe Blaue Hirsch wird das Gebäude ein Hauszeichen besessen haben, das dann auch namensgebend für den Gasthof wurde (ähnlich wie beim Schwarzen Bär in Querfurt). Tiernamen waren auch bei den Salzkoten in der Halle (heute Hallmarkt und Umgebung) häufiger anzutreffen, darunter auch Exoten wie Elephant oder Krokodil.
Der schwarze Bär war nicht der einzige Gasthof in der kurzen Sackgasse, denn im rechten Winkel zu ihm befand sich der Gasthof Zum blauen Hecht. Im 18. Jahrhundert gehörten beide - ebenso wie z. B. die Rose oder Drei Könige - unter den zwölf hochrangigeren Gasthöfen der Stadt zu jenen zweiten Ranges.
Im Jahr 1657 brannten beide Gasthöfe ab, so dass ein weitgehender Neubau notwendig wurde. Im Jahr 1679 heiratete hier der Komponist Johann Beer (1655-1700) die Wirtstochter Rosina Elisabeth Brehmer. Im Jahr 2007 wurde das mittlerweile leerstehende und verfallene Gebäude im Ostbereich abgerissen und dann in ähnliche Formen neu erbaut. Das von all diesen Schäden verschonte gotische Portal an der Gassenseite soll aus dem 13. Jahrhundert stammen.