Inizialmente la convivenza con gli autoctoni sembrò pacifica, ma quando anche la barriera corallina cominciò a diminuire iniziarono i problemi.
Qualunque cosa poteva diventare un pretesto per usare la violenza contro la comunità cristiana. Il ricatto e la schiavitù diventarono le uniche armi imposte da chi regnava a Tunisi o ad Algeri in quel momento.
Stanchi di questa pericolosa situazione chiesero di essere rimpatriati o spostati in una zona più tranquilla per poter continuare i propri traffici e nel 1738 re Carlo Emanuele III di Savoia li indirizzò all’isola degli Sparvieri, allora deserta, che oggi si chiama San Pietro e si trova in prossimità della costa Sud-Occidentale della Sardegna.
Grati per la soddisfacente sistemazione, i nuovi abitanti dell’isola eressero una statua in onore del Re nella piazza principale del Paese (U Pàize) che fu chiamato Carloforte come segno di riconoscienza e fedeltà. A San Carlo Borromeo fu invece dedicata la Chiesa parrocchiale. Il Re donò per l’occasione un pregiato quadro raffigurante il Santo Patrono, ancora oggi situato nell’abside della Chiesa.
Il 3 settembre 1798, nelle primissime ore del mattino, gli equipaggi di tre navi corsare algerine sbarcarono nel porto di Carloforte e l’isola subì una feroce incursione piratesca. Circa la metà degli abitanti dell’isola furono catturati, deportati e tenuti schiavi a Tunisi.
Il mattino del 15 novembre 1800 uno schiavo di nome Nicola Moretto, un ragazzo che era riuscito a farsi benvolere dal suo padrone e che quindi godeva di una certa libertà, trovò sulla spiaggia di Nabeul, vicino a Tunisi, una statua di legno di tiglio scuro. Consumato dalle burrasche e corroso dalla salsedine, conservava ancora i lineamenti di una Madonna Immacolata. Il ragazzo, la nascose nel suo mantello e la riportò a casa senza mostrarla agli altri servitori musulmani. La consegnò poi a don Nicolò Segni. tutta la comunità acclamò questo arrivo come un segno che la Santa Vergine non li aveva abbandonati.
Il periodo di schiavitù finì appunto tre anni dopo, il 24 giugno 1803, giorno in cui furono riscattati e poterono ritornare in patria, grazie al cospicuo pagamento di re Carlo Emanuele IV di Savoia per farli ritornare in Sardegna. La piccola statua della Madonna fu portata anch’essa a Carloforte e per accoglierla fu costruita l’omonima Chiesa della “Madonna dello Schiavo”.
La festa patronale, preceduta da una solenne novena, ricorre ogni anno il 15 novembre. I festeggiamenti, di stretto carattere religioso, culminano la sera del giorno 15 con una solenne processione. L’incoronazione del simulacro, avvenne il 15 novembre 1964.