Wzniesiony został w 1579-87 wg projektu Bernarda Moranda. Początkowo (do 1581) był to zamek (33x19 m) - wieża ze skrzydłem od północy i okrągłą basztą (kaplica JM pod Banią), której relikty znajdują się w fundamentach. Na podkłady pałacza pańskiego wznoszonego z kamienia i cegły, użyto ociosanych w boru 120 drewnianych belek. Powstać miał na domniemanych pozostałościach zameczku na Skokówce, za czym przemawia nieregularny rzut piwnic. Po rozbudowie (przedłużony od strony płd.), stał się pałacem o symetrycznej już bryle, zwanym wielkim lub przednim, osiągając dzisiejszą długość fasady 55,5 m. Otrzymał 4-spadowy dach, na osi z czworoboczną wieżą-belwederem z tarasem widokowym (wł. bello vedere - piękny widok), zwieńczoną wysoką attyką. Z tarasu można było obserwować okolice nawet do 15 km, co miało też ważne znaczenie strategiczne.
Do Sali Hetmańskiej zw. też Wielką (95 m2) na piętrze, z posadzką taflową z z drzewa klepkowego, jak pisał Vanozzi ozdobionej pięknymi obiciami z Flandrii, jedwabiem i złotem tkanymi, prowadziły schody zewnętrzne z dwukondygnacyjną loggią arkadową (później naśladowane m.in. w pałacach w Baranowie, Krasiczynie, Podhorcach). Na piętrze oprócz Sali Wielkiej znajdowało się 8 komnat (wys. 5,1 m), na parterze 12 (4,6 m). Gmach posiadał łącznie 60 okien zdobionych herbem Zamoyskich. Ta unikatowa w architekturze polskiej renesansowo-manierystyczna rezydencja (teatralne, wzdłuż całej elewacji schody miały już nieco barokowy charakter) nawiązywała sylwetą do pałaców rzymskich (A. Klimek dostrzegał reminiscencje z pałacem senatorów na Kapitolu).
W tyle pałacu "wielkiego" wzniesiono równoległe do niego, oddzielone od siebie 7 m parterowe "kamienice", w południowej "pałac jej Mci", w północnej "kuchnia" (pomieszczenia gospodarcze). Rozległy plac pałacowy (116x200 m) otoczony był dekoracyjno-obronnym murem (1,4 m grubości) z bastejami (10 m średnicy) w narożach, od strony miasta z oddaloną zaledwie 50 m od fasady reprezentacyjną bramą z czarnego marmuru (strzegło jej 12 hajduków) i tablicą inskrypcyjną. W pałacu znajdowała się m.in. kaplica, a także "apteka pałacowa".
Nie znanymi, bliżej pracami zaznaczyli się J. Jaroszewicz i J. Wolff (1641-42). W czasie pożaru w 1658 szkody we wnętrzach i wyposażeniu pałacowym miały się zamknąć kwotą 3 mln zł (?), szybko jednak odbudowany. W 1689-90 usunięto attykę z wieży pałacu zastąpiono trójkątnym szczytem wieży pałacu przez J. M. Linka. Wnętrza otrzymały bogate wyposażenie malarsko-rzeźbiarskie. Później dokonywano remontów i niewielkich, bliżej nie znanych przebudów. Po obu stronach znajdował się ogród pałacowy.
Do gruntownej przebudowy doszło w 1747-52 wg proj. Jerzego de Kawe. W miejsce wieży powstała okazała 2-kondygnacyjna facjata (attykę zastąpił tympanon zwieńczony figurą uskrzydlonej Sławy w ruchu), dołem szersza 6-okienna, wyżej ujęta wolutami. Nadal przewyższała znacznie bardzo wysoki, teraz mansardowy dach z owalnymi lukarnami. Opasywała go dodatkowo balustrada. Wnętrza - sień i salę Hetmańską ozdobiły wówczas ścienne malowidła na płótnie i polichromie (mal. Łukasz Smuglewicz, w innych Jan Majer) oraz adamaszkowe obicia, powstały nowe marmurowe kominki.
Z obu stron powstały połączone z pałacem przewiązkami piętrowe pawilony, a do ich naroży dostawiono prostopadłe długie oficyny, które przepołowiono i zakończono niewielkimi, piętrowymi pawilonikami (ostatnie w miejsce d. bastei). Tak pawilony, jak i pawiloniki także otrzymały mansardowe dachy.
Powstały w ten sposób, zamknięty z trzech stron dziedziniec honorowy (cour d'honeur) od strony miasta z ażurowym, żeliwnym parkanem (zdobiony 24 geniuszami) i ozdobna bramą (personifikacje cnót). Zespół pałacowy nosił cechy późnobarokowe i częściowo już rokokowe nawiązując do rezydencji francuskich (np. Nancy) i naśladujących je niektórych pałaców warszawskich.
Powstał też zamknięty czworobocznie dziedziniec tylny: połączono obie "kamienice" w jeden budynek, który następnie połączono arkadowymi galeriami z pałacem. W galeriach, w przewiązkach i w połowie oficyn znalazły się 3 pary symetrycznych arkadowych przejazdów. Te ostatnie prowadziły na dziedzińce gospodarcze po obu stronach. W skład zespołu pałacowego wchodził również arsenał. Od południa zachowała się do dzisiaj wozownia, rajtszula czyli ujeżdżalnia i masztalernia (1770-72). Natomiast stojąca przed arsenałem stajnia (46 boksów, zdobiło ją 5 wieńców laurowych), a od północy stara oficyna i cukiernia (potem laboratorium, czyli wytwórnia amunicji) - nie istnieją. Urządzono też na nowo ogrody.
W 1792-93 rozebrano frontową loggię ze schodami, którą miały zastąpić klasycystyczne kolumny, a jednocześnie pozostałości pierwotnej wieży wchłonęło drugie piętro. Ale przebudowę wg proj. Ferdynanda Merksena przerwano (gruzem utwardzono główną drogę przedmieścia lubelskiego). Obejmując ordynację Stanisław Zamoyski nie widział możliwości by mieszkać w pałacu i ogłosił w 1802 konkurs jego przebudowę  (Turniej klasyków). Przebudowę rozpoczęto, nadawał się do zamieszkania, ale prace budowlane przerwał wybuch wojny w 1809. Główny budynek wyceniono wtedy na 460 tys. zł (porównywalnie ok. 25 mld st.zł w 1997). Ordynat opuścił Zamość. Zamoyscy już nie wrócili do pałacu. 
Pałac Zamoyskich po 1809

 * Z korespondencji Zamoyskiego o  budującym się pałacu - o dachówkę starał się  w Gdańsku, o kamień z Drohowyża, posadzka na piętrze była taflowa, szyby do pałacu były z herbami. Model balustrady do ogrodu z zapokostowanego drewna kazał sobie przesyłać do akceptacji.
 * B. Vanozzi - W sali były piękne obicia z Flandryi tkane złotem i jedwabiem. Pokazał mi kanclerz salę, w której Arcyksięciu Maksymilianowi nie jedną w czasie niewoli dał ucztę, mnie też w tej wysłuchał.
 * Pałac Zamoyskich,obok rezydencji Myszkowskich w Książu Wielkim, jest jednym z pierwszych pałaców o wydłużonym planie pomieszczeń z sienią na osi głównej. Schemat z sienią  i gł. salą po środku, a mniejszych pomieszczeniach po bokach wywodzi się z Włoch z końca XV w., rozpowszechniony dzięki Andrea Palladio. Ten typ reprezentuje jeszcze XVII wieczny pałac Firlejów w Czemiernikach (za I. Winiewicz)
 * W. Tatarkiewicz o przebudowie z poł. XVIII w. - stare mury, stanowiące teraz  środkowy korpus gmach, otrzymły teraz  styl nowej epoki, styl barokowy w jego ostatniej rokokowej postaci i saskiej odmianie.
 * Pałac ordynatów Zamoyskich, w guście saskim, dziś zamieniony na szpital wojskowy, świadczy iż gmach ten niezbyt dawno był wzniesiony. Postawił go niejaki Cotellani, za Tomasza Zamoyskiego, starszego brata Andrzeja ordynata, około 1730. Dawnego zamku, w którym  zamieszkiwał wielki hetman, nie ma już ani śladu. (za "Tygodnikiem Ilustrowanym" z 1878). Jeszcze w 1934 Pieszko w odczycie radiowym głosił - W XVIII w. architekt włoski Catellani przebudował ów zamek na pałac w stylu Ludwika XIV.
 * Jeszcze w 1937 prof. Tatarkiewicz pisał - ani opis ani rycina nie przechowywały jego dokładnego wyglądu. Dzięki odkryciu z 1950 arch. Klimka wiemy - Główny trzon budynku przykryty dachem czterospadowym, część środkowa, podwyższona, zwieńczona attyką. Nad schodami zewnętrznymi, przylegającymi od strony wschodniej budynku, , trójkątna forma tympanonu. Teren pałacu otoczony murem z basztami w narożach, w osi budynku brama wjazdowa.
 * Jako przykład kominka przyściennego Wiktor Zin książce Polski Dom (1979) podawał rekonstrukcję jednego z kominków pałacu hetmana Jana Zamoyskiego w Zamościu. Rekonstrukcja mogła powstać dzięki zachowanym w tynku ściany zarysom kapy i podstawy.