Der auf diesem Platz bisher als Jardín de Loreto bekannte Stadtgarten wurde kürzlich auf Plaza de Vicent de Gràcia umbenannt, ein Name, unter dem der Steinhauer Vicent Bisquert Riera (1884-1962) im Volksmund bekannt war. Zuvor befand sich auf diesem Grundstück die Kapelle Virgen de Loreto, eines der religiösen Gebäude innerhalb der Stadtmauern von Xàbia.
Die Stadtmauern, die Xàbia umgaben und schützen, stürzten im Jahr 1874 ein. Diese Befestigungsmauer, die zweite, die die Stadt besaß, wurde zu einem unbekannten Zeitpunkt errichtet, wahrscheinlich Ende des 15. Jahrhunderts, einer Zeit, in der die Stadt ein bedeutendes demografisches und wirtschaftliches Wachstum verzeichnete. Zu Beginn des 14. Jahrhunderts verfügte das ursprüngliche historische Stadtzentrum von Xàbia über eine Verteidigungsanlage, die einen reduzierten städtischen Raum mit einer Fläche von 4,38 ha umgab.
Die Fläche der neu ausgebauten Stadt betrug 6,61 ha und der Umfang ihrer Befestigungsmauern 955 m. Zur Verstärkung der Tore und der Mauer und zur Verteidigung der auf dem Seeweg drohenden Piratenangriffe wurden ferner fünf runde Türme an den Stadteingängen errichtet. Die Tore wurden um zehn Uhr nachts geschlossen und bei Sonnenaufgang wieder geöffnet.
Am 1. Dezember 1556 begannen die Arbeiten am Haus und an der Kapelle der Virgen de Loreto. Aus beinah der gleichen Zeit stammen die ersten urkundlichen Hinweise auf die sich neben der Kapelle befindenden Puerta de la Mar, ein Tor, das 1639 aufgrund der Bedrohung der Piratenangriffe verstärkt werden musste.
Es ist uns keine Abbildung der Kapelle der Virgen de Loreto bekannt. Aus einer Schrift des 19. Jh. geht hervor, dass der Bau 1515 errichtet wurde. Er bestand aus einem großen aus drei Schiffen und acht Säulen getragenen Säulengang, der als Volksschule und dem Schuldirektor als Wohnhaus diente. Aus einer Kurzbeschreibung der Kapelle geht hervor, dass es sich um ein viereckiges, von einem Gewölbe bedeckten und von Säulen getragenen Gebäude handelte, das zwei Schiffe im Mudéjar-Stil bildete.
Wie bereits erwähnt befand sich dieses Bauwerk gleich neben dem Tor Puerta de la Mar, in einem Viertel nahe am Meer gelegen, in dem sich die Bevölkerung vorwiegend den mit dem Meer verbundenen Handwerken widmete. Ende des 16. Jh. waren 24 Fischer zu verzeichnen. Am Ende des 17. Jahrhunderts entstand das außerhalb der Stadtmauern gelegene Fischerviertel, Raval de la Mar. In der zweiten Hälfte des 18. Jahrhunderts zählte dieser neue Stadtteil etwa 47 Einwohner, was bei Anwendung eines Koeffizienten von 4 Personen pro Familieneinheit einer Gesamtzahl von etwa 188 Personen entspricht. Auch hier beschäftigte sich die Mehrzahl der Bevölkerung mit Berufen, die mit dem Meer und der Fischerei verbunden waren, und die Kapelle, in der sie begraben wurden, war die Kapelle Virgen de Loreto. So handelt auch eine der wenigen Schriften, in der über die Kapelle berichtet wird, über die damalige Fischereitätigkeit. Am 26. August 1757 fuhren zwei Schiffe von Begur (Katalonien) aus in Richtung ihres Heimathafens in der Gegend von Vera (Murcia); auf der Höhe des Kap de Sant Antoni geriet eines der Schiffe durch einen Sturm in Seenot, und seine vier Besatzungsmitglieder ertranken. Zwei von ihnen wurden in der Kapelle Virgen de Loreto begraben.
Die letzte im Zusammenhang mit diesem Bau bekannte Meldung berichtet über seinen Abriss. Am 12. August 1881 veröffentlichte eine Zeitung in Alicante, dass aufgrund des baufälligen Zustands des Gebäudes ein Gewölbe eingestürzt und ein Bewohner ums Leben gekommen sei. Infolgedessen wurde der Bau abgerissen, um weitere Unglücke zu vermeiden.
An dem Ort, an dem sich die Kapelle befand, wurde bald der erste Volksgarten errichtet. Auf diesem Platz errichtete Vicent de Gràcia 1923 einen Brunnen mit einem großen Steinelement aus einer alten Ölpresse (Almazara), auf dem er ein Marienbild, die sogenannte Ntra. Sra. de Loreto, platzierte, zu Ehren des Tempels, der dort seit dem 16. Jahrhundert existierte.