Das Gebäude wurde um 1800 auf den Grundmauern des ehemaligen Wirtschaftsgebäudes des kurfürstlichen Residenzschlosses erbaut.

Von 1817 bis 1855 war es Sitz des königlich- bayerischen Rentamtes.  Danach diente das Haus als Wohngebäude für die Fabrikdirektoren der 1855-1857 erbauten Weberei.

Das Gebäude wurde 1977 von katholischen Kirchengemeinde der Stadt abgekauft, seit 1982 ist hier das Pfarrzentrum Adolph Kolping zuhause.