Le nom de Touffailles viendrait de " Toufels " qui désignerait un peuple fédéré aux Goths, les Taïfales. Cette origine serait identique à la ville espagnole de Tafalla. Les remparts d'un ancien château médiéval surplombent le village et on en observe les vestiges : une chapelle et une ancienne ferme. Plusieurs chapelles sont visibles : Moissaguel, Saint-Gervais, Sainte-Livrade. La tradition orale veut qu'une chapelle du nom de Sainte-Marthe ait brûlé au Moyen Âge, à côté du lieu-dit Lacontal près des champs de lavande du Quercy. À Moissaguel, on trouvait autrefois deux tours médiévales, vestiges elles aussi d'un ancien château.