Ο θρύλος λέει ότι στις αρχές του 14ου αιώνα ιδρύθηκε στο νησί μια εκκλησία προς τιμή εκατοντάδων παιδιών που έχασαν τη ζωή τους σε ναυάγιο έξω από το νησάκι στηΣταυροφορία των παιδιών (1212) με κατεύθυνση στηΝότια Αφρική. Η εκκλησία μετο όνομα Τσιέζα ντει Νοβέλλι βρίσκεται μέσα στην περίμετρο της πόλης και λειτουργεί μόνο μια φορά τον χρόνο, είναι η μόνη ένδειξη για εγκατάσταση στο νησάκι πριν ιδρυθεί ο οικισμός του 1739.
Το Καρλοφόρτε ιδρύθηκε τον 18ο αιώνα από 30 οικογένειες ψαράδων κοραλλιών με καταγωγή από το Πέγκλι στηΛιγυρία κοντά στηΓένοβα. Εγκατέλειψαν την πατρίδα τους (1541) και εγκαταστάθηκαν στο νησί Ταμπάρκα έξω από τηνΤυνησίαγιανα ψαρέψουν κοράλλια, μετά από αιώνες τα κοράλλια εξαντλήθηκαν.[3]Οι οικογένειες αποφάσισαν να επιστρέψουν στηνΙταλία, έξω από τις ακτές της νότιας Σικελίας είδαν πολλά κοράλλια και αποφάσισαν να παραμείνουν εκεί. ΟΒασιλιάς της ΣαρδηνίαςΚάρολος Εμμανουήλ Γ΄ της Σαρδηνίας τους έδωσε την άδεια να παραμείνουν μόνιμα στο νησί Σαν Πιέντρο καινα οικοδομήσουν τον οικισμό τους. Οι νέοι κάτοικοι έδωσαν στον οικισμό τους το όνομα "Καρλοφόρτε" δηλαδή "Κάρολος ο Ισχυρός"γιανα τιμήσουν τον βασιλιά Κάρολο Εμμανουήλ Γ΄ που τους επέτρεψε να παραμείνουν (1739). Οι κάτοικοι είχαν ισχυρούς πολιτιστικούς δεσμούς μετην ιδιαίτερη πατρίδα τους Πέγκλι, ο πληθυσμός μιλάει τα Λιγυριακά πέρα από τα Ιταλικά καιτα Σαρδηνιακά, στα σχολεία τα παιδιά διδάσκονται και τις δύο γλώσσες.