Dzimis ebreju tirgotāju ģimenē Prūsijas mazpilsētā, tomēr, kad Albertam bija tikai divi gadi, ģimene pārcēlās uz ASV. Maikelsons uzauga nelielās kalnraču pilsētiņās Kalifornijā un Nevadā. 1869. gadā prezidents Uliss Grānts ieskaitīja Maikelsonu ASV Kara flotes akadēmijamičmaņu kursā, kuru viņš beidza 1873. gadā, parādot īpašas spējas optikā, siltuma teorijā un klimatoloģijā. Pavadot divus gadus kuģojot, 1875. gadā Maiklesons atgriezās akadēmijā un līdz 1879. gadam šeit pasniedza fiziku un ķīmiju. No 1880. līdz 1882. gadam mācījās Berlīnē un Parīzē.