アルビには歴史的な記念建造物が多くある。市の中心部はきわだって保存状態がよく、アルビの黄金時代を伝える数多くの建造物が残っている。旧市街には、中世の趣きを残す街路やルネサンス期の建造物群が多く残り、タルヌ川とその橋などとともに、独特の都市景観を呈している。このことから、1996年には「タルヌ県のアルビに残るレンガ造りの都市建造物群、大聖堂、ベルビ宮殿およびタルヌ川にかかる橋」(Albi (Tarn) : ensemble urbain de briques, cathédrale, Palais de la Berbie, Pont sur le Tarn)の名で世界遺産暫定リストに掲載され[1]、2010年に正式登録された。
ベルビ宮殿(Le Palais de la Berbie)とその庭園は、大聖堂とともにアルビジョワ十字軍後に打ちたてられた司教都市を構成している。こうした建造物群は、十字軍後にアルビの主人となった司教たちを、カタリ派やブルジョワたちの敵意から守った。同時にそれは、外敵の侵攻を食い止めるとともに異端審問を強化させた[3]。
ベルビ(Berbie)の名はオック語で司教を意味するビスベ(bisbé)に由来する。13世紀に司教ベルナール・ド・カスタネ(fr:Bernard de Castanet)が、それらの建造物群の建設において決定的な役割を果たした。彼は高さ50メートルのドンジョン(donjon, 城などの主塔)、4つの塔、そして城壁を建造させ、宮殿は幕壁とタルヌ川にまで伸びる外壁とで取り囲ませた[3]。それは元々は城砦だったわけだが、数世紀を経て邸宅へと変貌した。
タルヌ川にかかるポン・ヴィユー(Le pont Vieux, 古い橋)は、1035年に建造されたもので、何度も改築されてきた。この橋によって、タルヌ川右岸がマドレーヌ地区とともに発展してきた。14世紀には要塞化され、跳ね橋の機構を備えるようになった[11]。それとは別に1868年にポン・ヌフ(Le pont Neuf, 新しい橋)が建造された。
15世紀から16世紀にかけて、アルビはタイセイ(大青, pastel)の取引で大いに繁栄した。当時のフランスでは、色落ちしない青色染料に使えることから、タイセイがもてはやされていたのである[12]。そうして潤ったアルビの富豪たちは、塔やイタリア式のロッジア(屋根付バルコニー)を備えた邸宅を建造していった。その中でも特に美しいのがリヴィエール邸(l'hôtel de la Rivière)、ゴルス邸(l'hôtel de Gorsse)、レネス邸(l'hôtel de Reynès)などである。
都市中心部のいくつかの街路には、ルネサンス様式の木骨造の住宅が残る。その中でも、ピュシュ・ベランギエ通り(rue Puech Béringuier)とクロワ・ブランシュ通り(rue Croix Blanche)の角にあるヴィエイユ・アルビの家(La maison du Vieil Alby)は、典型的なアルビの住宅といえる。この住宅は、来客用に独特の展示をしていることから、多くの人が訪れている。苦業会員の薬局ことアンジャルベール宅(La Pharmacie des pénitents ou maison Enjalbert)も、16世紀に建てられたルネサンス様式の住宅である。そこには男根を擬人化した木彫りの像が置かれている[13]。