Η κατασκευή του ανακτόρου άρχισε από τον5ο Δαλάι Λάμα, το 1645,[2] όταν ένας από τους πνευματικούς καθοδηγητές του, υπέδειξε ότι ο χώρος ήταν ιδανικός για έδρα της κυβέρνησης, ανάμεσα στα μοναστήρια Ντρέπουνγκ και Σέρα καιτην παλιά πόλη της Λάσα.[3] Μπορεί να βρίσκεται στη θέση να υπήρχε ένα παλαιότερο οχυρό, γνωστό ως Λευκό ή Κόκκινο Παλάτι,[4] κατασκευασμένο από τον Σονγκτσάν Γκάμπο το 637.[5]Ο Δαλάι Λάμα καιη κυβέρνησή του μετακινήθηκαν στο Λευκό Παλάτι το 1649. Η κατασκευή του ανακτόρου διήρκησε μέχρι το 1694, καθώς το Κόκκινο Παλάτι προστέθηκε την περίοδο 1690-94. Χρησιμοποιήθηκε ως το χειμερινό ανάκτορο του Δαλάι Λάμα.[6]
Το κτίριο έχει μήκος 400 μέτρα στον άξονα ανατολής-δύσης και 350 μέτρα στο άξονα βορρά-νότου, με τους κεκλιμένους πέτρινους πύργους να έχουν κατά μέσο όρο πάχος 3 μέτρα και 5 μέτρα πάχος στη βάση, ενώ χαλκός έχει χυθεί στα θεμέλιά του, ώστε να βελτιωθούν τα αντισεισμικά χαρακτηριστικά του.[7]Το δεκατριών ορόφων κτίριο έχει πάνω από 1.000 δωμάτια, 10.000 ιερά και πάνω από 200.000 αγάλματα. Έχει ύψος 117 μέτρα και είναι κτισμένο στην κορυφή του Μάρπο Ρι, στον Κόκκινο Λόφο.[8]