Castet est un très joli village qui doit son nom au château fort édifié au XIIème siècle. Aujourd'hui, il n'en reste que le donjon. A côté se trouve l'église Saint-Polycarpe, (inscrite au MH) et récemment restaurée, d'origine romane (abside en cul de four et nef voûtée, autel et retables classés, clocher octogonal sur base carrée). L'ensemble est juché sur un piton glaciaire, belvédère d'où l'on peut admirer la vue surplombant le gave. En deçà du village se trouve le Port de Castet, (868 m), très beau plateau de pastoralisme, "pendant" du plateau du Bénou lui faisant face. Au départ du plateau, circuits de randonnée pédestre et VTT et en été balade avec les ânes !
Plus en aval du village se trouve le lac de Castet, site naturel dédié à la promenade (nombreuses activités et animations en périodes de vacances scolaires).
