Ursprünglich war es ein einheitliches Gebäude aus der Anfangszeit der Stadt, das an der Westseite des Rathauses als städtisches Lagerhaus errichtet wurde. Auf dessen Grundmauern entstanden noch vor dem 17. Jahrhundert acht aneinandergereihte Häuser. Mitte des 19. Jahrhunderts wurden zwei Häuser zu einem vereinigt, so dass es nun sieben waren. In dieser Zeit dürfte der Volksmund die Bezeichnung der „Sieben Raben“ aufgebracht haben.
In der Mythologie und in der Symbolik hat die Sieben eine besondere Bedeutung, z.B. auch im Märchen „Die sieben Raben“.