Na podzim roku 1860 byla slavnostně otevřena tehdy třetí největší budova v Hradci Králové - chlapecký církevní konvikt Borromaeum. Byl vybudován z prostředků a sbírek katolické církve, o což se postaral především sedmnáctý biskup královehradecké diecése Karel Boromejský Hanl, který byl i nejdéle působícím primasem na zdejším biskupském stolci. V té době moderní palác v pozdně klasicistním slohu byl postaven během dvou let známým hradeckým stavitelem Františkem Dobrkovským a to na místě tří vykoupených a zbořených domů ve Špitálské ulici. Dům měl přízemí a dvě patra, bez střešního štítu. Stavba tehdy stála 63.721 zlatých.
Dům sloužil jako kolej pro více než 100 nadaných studentů více jak 40 let a prošlo jí téměř 1300 chlapců, z nichž jedna šestina studovala dále teologii, ostatní filosofii, práva, medicínu.
Na začátku 20. století však již budova a její zázemí přestalo vyhovovat rostoucím požadavkům na kvalitu ubytování studentů a proto byla postavena budova nového Boromea na Orlickém nábřeží.
V dalším období byl dům starého Boromea ve Špitálské ul. od roku 1912 využíván v přízemí poštovním úřadem C.K., nadzemní podlaží sloužila jako kanceláře a vyšší patra pro bytové účely. Mezi roky 1904 až 1912 bylo přistavěno další patro, vybudován střešní štít a došlo k dalším drobným změnám dispozic dveří a oken v přízemí, podřízených činnosti pošty. Nově přistavěné třetí patro zabíral z větší části divadelní sál.  

Další desítky let dům bez řádné údržby přežil jen díky své původní masivní konstrukci. V roce 2004 byl objekt, který byl v majetku města Hradec Králové, zakoupen společností Špitálská. Až tehdy byla v domě zrušena úřadovna Pošty a kancelářské prostory. Během následujících dvou let proběhla rekonstrukce části vnitřních nebytových prostor v přízemí a asi třetiny bytových prostor ve třech podlažích a byl vybudován obytný dům Boromeum Residence, ve kterém je v současnosti pronajímáno 23 bytových apartmánů. Ostatní vnitřní prostory jsou zčásti obydleny dosavadními dlouholetými nájemníky, zčásti je přízemí využíváno jako dvě restaurace, ale stejně jak venkovní omítka  a výzdoba fasády, čekají na další rekonstrukci. Vstupní portál domu je vyzdoben dvěma pískovcovými sloupy, sochami andělů držícími odznaky biskupské hodnosti,  a sochou sv. Karla Boromejského v přibližně životní velikosti. Na čelním štítě nad nejvyšším patrem domu je umístěn erb sv. Karla Boromejského. Celá výzdoba z pískovce je značně poškozena vlivem povětrnostních podmínek a dosavadní opravy mnohdy havarijního stavu byly prováděny velmi nešetrně a neodborně. 
Pro potřeby ubytování studentů církevních škol byl tedy v roce 1902 dostavěný katolický internát, nové Boromeum, dle plánů V. Weinhengsta stavební firmou Nekvasil na nábřeží Orlice a nahradil tak již zmíněné nevyhovující bývalé Borromeum ve Špitálské ulici. V roce 1914 se do části Boromea přestěhovalo gymnázium z bývalých jezuitských kolejí.  Od roku ???? v zestátněné budově Boromea působila státní ?? střední škola. Když po roce 1989 zřídilo biskupství gymnázium, mělo několik první tříd v budově tzv. Orlovny, součásti tehdejšího Domu dětí a mládeže za Žižkovými kasárnami. Po navrácení Boromea církvi pak dostalo biskupské gymnázium zpět svůj původní objekt a současné církevní gymnázium tak navázalo na bývalé gymnázium založené jezuity.