Im Mittelalter bestand dieser Teil aus einer kleinen, mit einer Mauer umschlossenen Festung aus dem 13. Jh. mit Ecktürmen. Einer davon ist wahrscheinlich der noch erhaltene Turm En Cairat, der zu einem früheren Bauwerk zu gehören scheint.
Das bedeutende Bevölkerungswachstum in Xàbia während des 15. Jhs. führte zu einem städtebaulichen Wandel, da die ursprüngliche Festung für diesen Bevölkerungsanstieg nicht mehr ausreichte. So wurde Ende dieses Jahrhunderts oder Anfang des 16. Jhs. der Umfang der Stadtmauer verändert, um neue Wege zu erschließen. Ein neuer Mauerabschnitt mit Zugängen durch die Stadttore Portal de San Vicent oder de la Ferreria, Portal del Clot oder de Sant Jaume und Portal de la Mar wurde entlang dem auch gegenwärtig die Stadt umgebenden Ring gezogen.
Der mittelalterlichen Planung folgend vergrößerte sich die Stadt weiter um die Kirche herum, in deren näherer Umgebung die repräsentativsten Gebäude errichtet wurden. Es existieren beachtliche Beispiele von Gebäuden des Bürgertums der jeweiligen Epochen, das die Umgebung der Kirche für den Bau seiner Häuser gewählt hatte.
Dies ist auch bei mehreren gotischen Häusern aus dem 15.-17. Jh. der Fall, wie beispielsweise in den Straßen Sor Mª Gallart, Pl. de l’Església, Sta. Marta, Sor Catalina Bas, S. Pere Martir, Metge González, Major und Estret. Ein berühmtes Beispiel der bürgerlichen Gotik ist der Palau dels Sapena (15. Jh.) in der Pl. de l’Església mit einer Galerie mit Korbbögen, Doppel- und Kleeblattfenstern.
In der Nähe des “Porta del Mar”, dem Zugangstor zur Stadt vom Hafen aus, ließen sich die Seeleute nieder. Dort errichtete man für sie 1515 die Kirche Loreto, die 1870 abgerissen wurde. Gegenwärtig steht dort ein 1954 erstellter, kleiner Kalktuffsteinbau im neugotischen Stil.
Ende des 18. Jhs. und während des 19. Jhs. widmete sich das örtliche, gewerbetreibende Bürgertum dem Rosinenexport. Die Landwirtschaftsbesitzer wählten die Umgebung der Kirche für den Bau prachtvoller Häuser, wie folgende berühmte Beispiele zeigen: Casa dels Bolufer, Casa de les Primícies, Casa Arnauda (oder de la Senyoreta Josefina), Casa Abadía, Casa de Montalbán (Kapitän der Flotte der Familie Bolufer) und Casa de Tena (gegenwärtig das Kunstzentrum Lambert). Letzteres wurde 1857 erbaut und beherbergte Anfang des 20. Jhs. eine Apotheke mit demselben Namen. Vor kurzem wurde es saniert, um kulturelle Aktivitäten zu beherbergen.
1805 wurde das vierte Stadttor, das Portal Nou, in der heutigen Pl. Marina Alta geöffnet, doch ein paar Jahre später zwischen 1869 und 1874 wurde die Stadtmauer endgültig abgerissen, um die städtebauliche Erweiterung in Angriff zu nehmen. Die Erstellung des l´Eixample (neues Stadtviertel) mit breiten Alleen für einen reibungslosen Warenverkehr von der Pl. del Convent, wo die meisten Kreisstraßen ankamen, bis zum Hafen wurde angegangen. In der aktuellen Avenida Príncep d’Astúries bauten die durch die Rosinen reich gewordenen Landwirte weiterhin ihre Häuser und in der Avenida D’ Alacant richtete sich ein Teil des gewerbetreibenden Bürgertums ein.
Von der Wichtigkeit des Rosinenhandels in Xàbia zeugen die noch vielfach vorhandenen "Riurau". In diesen rechteckigen Gebäuden aus gewöhnlichem Mauerwerk und Kalktuffstein (Tosca) mit großen Bogengängen oder "Ulls" wurden die Trauben auf Rohrgeflecht zum Trocknen ausgebreitet. Einer der größten ist der Riurau de los Català d´Arnauda, der kürzlich von seinem ursprünglichen Standort in den Montaner-Park verlegt wurde.