Yepes begon zijn carrière bij de Colombiaanse tweede divisieclub Cortuluá, voordat hij in 1997 de overstap maakte naar Deportivo Cali. Met deze club werd hij in 1998 landskampioen en haalde hij in 1999 de finale van de Copa Libertadores. In 1999 vertrok hij naar het ArgentijnseRiver Plate, waarmee hij tweemaal het landskampioenschap behaalde.
Hij kon vervolgens tekenen bij verschillende clubs in Italië en Engeland, maar koos voor het FranseFC Nantes. Yepes groeide uit tot een van de betere centrale verdedigers in de Franse competitie en verdiende in 2004 een transfer naar Paris Saint-Germain, waar hij tot de zomer van 2008 verbleef. Op 1 september, nét voor het sluiten van de transferperiode werd Yepes gecontracteerd door de opnieuw naar de Serie A gepromoveerde club Chievo Verona. Vervolgens vertrok hij in de zomer van 2010 naar AC Milan. In juli 2013 maakte hij de overstap naar Atalanta Bergamo. In het seizoen 2013/14 speelde hij vierentwintig competitieduels bij Atalanta.[1] Hij tekende in september 2014 een eenjarig contract bij CA San Lorenzo, dat hem transfervrij inlijfde na zijn vertrek bij Atalanta Bergamo. In januari 2016 maakte hij op veertigjarige leeftijd het einde van zijn spelersloopbaan bekend.
Colombia
Argentinië
Frankrijk
Italië
Deportivo Cali
River Plate
Paris Saint-Germain
AC Milan