1870年（明治3年）橫濱語學研究所編入大阪兵學寮便是日本陸軍幼年學校的開始。1871年（明治4年）大阪兵學寮被分開為陸軍兵學寮與海軍兵學寮，同年遷移到東京。1872年（明治5年）伴隨著陸軍兵學令的更改，陸軍兵學寮幼年學舍改名為幼年學校。1874年陸軍士官學校從兵學寮獨立後，隔年幼年學校也改名為陸軍幼年學校並從兵學寮獨立。
1877年併入日本陸軍士官學校而暫時消滅。至1887年，隨著陸軍士官學校官制、陸軍幼年學校官制的制定而再度設立。1897年時，因應軍備擴張政策而增加培育人才數量，廢除了陸軍幼年學校官制，取而代之的是中央幼年學校條例與陸軍地方幼年學校條例。東京為陸軍中央幼年學校，另外於仙台、名古屋、大阪、廣島、熊本設立陸軍地方幼年學校。每校各有約50名學生，中央幼年學校為14歲開始的2年，地方幼年學校為13歲開始的3年就讀。陸海軍士官的子嗣可享學費半價，戰死者遺腹子學費全免。
因為制服的領口有金星標誌，也被稱為「星的學生」。
於校內學習軍事學與普通學問，畢業生約佔陸軍將校的三分之一。被當時的人認為是陸軍的舊制中學校。不過在當時陸軍認為出身自文部省管轄的中學校，接受自由教育的人才不能信任，要想在陸軍裡出人頭地除了日本陸軍大學校畢業外，陸軍幼年學校畢業也是重點。
1918年（大正7年）制定陸軍幼年學校令，陸軍中央幼年學校與陸軍地方幼年學校都改名為陸軍幼年學校。1922年，由於華盛頓海軍條約世界各國均開始縮減軍備，同年大阪校廢校。1923年名古屋校、1924年仙台校、1927年熊本校、1928年廣島校依序廢除後，僅剩中央幼年學校。廣島校廢除該年，中央幼年學校改編為日本陸軍士官學校預科。
1936年中國戰線擴大所致，先是廣島幼年學校復校。之後1937年仙台幼年學校、1939年熊本幼年學校、1940年大阪幼年學校、名古屋幼年學校依次復校。
大阪幼年學校移往離楠木正成居城很近的千代田村（現在的河內長野市），1940年4月1日時共150名44期生入學。
太平洋戰爭結束後，日本陸軍幼年學校與日本陸軍士官學校一起遭到廢除。
- 野邑理栄子『陸軍幼年学校体制の研究』吉川弘文館、2006年。
- 外山操・森松俊夫編著『帝国陸軍編制総覧』芙蓉書房出版、1987年。
