Penne nous apparaît pour la première fois au XIIe siècle, il devient la propriété du puissant Trencavel (Bernard-Aton), vicomte d’Albi, de ses mains, il passe dans celles des seigneurs dévoués et fidèles à leurs bien-aimés souverains, les comtes de Toulouse. Simon de Montfort s’empare de Penne, mais c’est par trahison, Raymond-Roger Trencavel meurt au fond de son cachot, probablement de soif et de dysenterie (Simon de Montfort sera accusé plus tard de l’avoir fait empoisonner). Ce fort redoutable lui est bientôt repris, par Raymond VI, aussitôt les seigneurs de Penne viennent fêter la bonne fortune de leur comte et lui rendre foi et hommage dans la ville de Gaillac, elle aussi restée dévouée et fidèle. Pendant ces temps de troubles et de désastres, au milieu des pillages et des incendies de la croisade, le château de Penne est le fort glorieux dans lequel les comtes de Toulouse déposent leurs précieuses archives, les confiant ainsi à la valeur et à la fidélité de ses seigneurs et à la sûreté de ses remparts inaccessibles. La dynastie des comtes de Toulouse va finir, le traité de 1229 ramène la paix dans leur infortuné royaume. La reine Blanche, qui connaît la bouillante valeur et le patriotisme des sujets de Raymond VII, prend de prudentes précautions : elle demande le démantèlement de plusieurs châteaux forts ; Penne est un des premiers. N’était-il pas, en effet, un des plus redoutables et des plus fidèles ?