Eenmaal het Gravensteen vorm kreeg, begon het te dagen dat het Sint-Veerleplein het uitzicht op de burcht verstoorde. De negentiende eeuw had ook hier haar sporen nagelaten: bij verschillende huizen was de trapgevel vervangen door een lijstgevel zodat eigenaars een extra verdieping konden gebruiken of verhuren. Venster- en deuropeningen waren aangepast naargelang de functie van het pand als herberg of winkel. Geen van de huizen had nog glas-in-lood, enkel nog doorzichtig glas. Naar de mode van de tijd waren de gevels bepleisterd en beschilderd. Toen in 1905 de beslissing viel dat Gent een Expo zou organiseren, zag de Stedelijke Commissie voor Monumentenzorg haar kans om een voorstel tot volledige restauratie van het Sint-Veerleplein te lanceren.