Wcześniej w tym miejscu, między ul. Akademicką i Kolegiacką stała niemałym kosztem wybudowana z końcem 1 poł. XVII w. kamienica Żurkowskiego, kronikarza II ordynata. Z innym jeszcze tam domem spłonęla w wielkim pożarze miasta (1658). Plac po nim w 1734  ordynat ofiarował na budowę dworku zasłużonemu od 20 lat dworzaninowi Żebrowiczowi. Tenże w 1753 plac ofiarował na wystawienie Rezydencji dla Xięży, którzy  później tam zamieszkując mieli mszę za niego co roku odprawiać.
Rozebrano utrzymywany dotąd nieznany, niezbyt okazały dom i pobudowany w 1761 Dom wikariuszy kolegiackich wg proj. Jerzego de Kawe. Piętrowy, pod gontem, liczył 15 izb, z wąskimi sieniami przelotowymi wzdłuż budynku i przyporami w narożach.
W 1808 opisywany z dachówką. W XIX w. mieszkali tu księża (każdy 2 pokoje z kuchnią), oraz organista, 2 zakrystianów, odźwierny, kalikant (od miechów w organach), grabarz, a także były kancelarie - stanu cywilnego i kapituły, przez pewien czas także poczta. Niegdyś w elewacji był  też zegar słoneczny. W 1968 gruntownie remontowana.
Współcześnie na piętrze mieszkali księża, m.in. do 1955 proboszcz ks. Zawisza z matką. Na parterze była kancelaria kolegiacka i archiwum akt metrykalnych, biblioteka parafialna oraz mieszkania organisty i kościelnego. Po wojnie  znajdowała się tam herbaciarnia dla ubogich prowadzona przez siostry Bagińskie, a w l. 80. "głodna kuchnia" ks. Żórawskiego. Dzierżawiony był też na cele świeckie, przed wojną m.in. znany krawiec Romuald Dytry, po wojnie  do 1972  w płd.-wschodnim narożniku sklepik "Veritasu", w czasach późniejszych kancelarie adwokackie.
W 2018-2019 odrestaurowana ze środków unijnych, otrzymała domniemany dach mansardowy (proj. S. Ćwierz). Przeniesiono do niej muzeum sakralne kolegiaty pod nową nazwą Skarbiec Historii, Sztuki i Nauki, poświęcony i otwarty 27 XI 2019.