A város már a Római Birodalom idején jelentős mezőgazdasági központ volt, s bár nagyon sok pusztítás érte, ma is megtartotta szerepét. A reneszánsz korban sok jelentős tudós, művész, költő telepedett meg a városban.
A város legfontosabb látnivalója a városháza terén található helyi múzeum, képtárának Goya-gyűjteménye mellett szerény szoborgyűjteményének büszkesége a "Vénus du Mas", melyre 1876-ban bukkant rá szántás közben egy ageni parasztember. A márványszobor valószínűnek látszik, hogy Praxitelész görög szobrász iskolájából való, egyik legszebb darabja a franciaországi görög szobrászati leleteknek. A Goya képek közül kiemelkedő a művész önarcképe és VII. Ferdinánd portréja és a Montgolfiére felszállása. Goya ezen a vidéken töltötte utolsó éveit, Bordeaux-ban halt meg. Errefelé kis vidéki múzeumok is ezért őriznek felbecsülhetetlen értékű Goya alkotásokat.
Musée des Beaux-Arts – 15- 16. századi palota, szobáiban jelentős képzőművészeti gyűjtemény kapott helyet. A régészeti anyag legfőbb kincse egy időszámításunk előtti I. századból származó szobor, a Vénus du Mas. Nagyon sok leletet gyűjtöttek egybe a kora középkorból, a reneszánsz évszázadaiból, gazdag a faliszőnyeg bemutatója, képtárában van alkotás Tiepolotól, a 17. századtól kezdve pedig szinte minden jelentős francia festőtől, Watteau-tólPicabiáig.
Cathédrale Saint-Caprais d'Agen - egykori katolikus kollégium, 1801-ben lett a város katedrálisa, azt követően, hogy elődjét a francia forradalom során elpusztították.