Le mura di Borghi furono costruite intorno al 1335 per accogliere gli abitanti del castello di Raggiano, andato distrutto dopo l'occupazione da parte di Galeotto Malatesta.

Al loro interno, agli inizi del Cinquecento, tutte le settimane vi era un mercato dei prodotti agricoli della zona; in una relazione di quel periodo sta scritto che i contadini di Borghi "hanno vini et olij boni".

Nel corso dei secoli, le mura sono state ampliate e restaurate pił volte; l'ultima ristrutturazione venne effettuata dopo i gravi danni subiti durante la seconda guerra mondiale.