浪人一詞，在古代是指離開登錄的戶籍地去他國流浪的人，也稱“浮浪”[1]。语出《隋书·食货志》：“其无贯之人，不乐州县编户者，谓之浮浪人。”[2]浪人不分身份，任何人都有可能成為浪人。江户时代中期開始把牢人稱為浪人，但正確來說牢人和浪人並非完全同義。
牢人一詞，是指離開主家（或者失去主家）失去俸祿的人，只指在室町時代到江戶時代期間存在主從關係的武士；換言之，牢人一詞有著身份限制。江戶時代開始後，戰亂逐漸平息，因為改易或其他原因而向各地流浪的牢人激增，自此才把流浪他國的牢人稱為浪人。
大化革新之時，建立班田、戶籍制度。公民擅離本貫者，稱為浮浪人。天武天皇六年九月庚申朔己丑詔：「凡浮浪人其送本土者，猶復還到，則彼此並科課役。」[3]
在武士作為封建領主的鎌倉時代及室町時代，浪人一詞指失去領地和職位的流浪人。在該時代，即便成為浪人，因為各地頻發小規模的戰亂，所以地方大名有招收戰鬥人員的需求，因此上找尋新的主家的機會並不少。同時，因為治安惡化，也有浪人結黨割據成為土匪或引發暴動。該時代的浪人更貼近與“浮浪”，雖然有“牢人”的稱呼，但是牢人一詞成為固定的身份用語是在室町幕府後期。
進入戰國時代後，主從等級及身份等級比之前的時代變得更加明晰，即便主家滅亡家臣成為牢人，重新投靠新主家的機會也變得更多。和之後的江戶時期相比，當時主從等級制度並非十分嚴格，對自身待遇不滿便可以自己提出致仕成為牢人，之後可以根據自身實力在其他大名家尋求更高的待遇。多次成為牢人而多次侍奉不同的大名的武士並非少數，其中也有最後自己成為大名的人。身為大名的藤堂高虎一生曾經侍奉過十個不同的主家。
豐臣秀吉一統天下後，常年的戰亂平息，招募牢人的狀況有所變化。各大名家開始喪失招募眾多家臣的必要。在關原之戰中東軍的德川家康取得勝利後，西軍的大名中大部分被取消或領地被大幅度削減，由此也產生了大量的牢人。
徳川幕府以舊時曾臣屬於豐臣家的外様大名為主要對象進行了廢除大名政策的實施，眾多大名因為世嗣断絶或違反幕府法令而被解散，因此也產生了眾多牢人，但是同樣也有否定這種說法的學說存在[4]。進入江戶時代後大名家普遍出現家臣數量過剩，因此很少徵召牢人。同時，因為受到儒家的影響，等級制度被固定化，家臣叛脫主家的場合，其他大名家會收到阻止該家臣再度出仕名為奉公構的文書，而導致其無法投靠新主家。脫離黑田家的後藤基次就因為奉公構而導致無法再度出仕，最終選擇在大坂冬之陣中投靠豐臣家。因為類似無法再度出仕的牢人激增，在大坂之役時，豐臣方聚集了10萬牢人。
雖然在大坂冬之陣及大坂夏之陣中，大量牢人被殺，但是因為之後幕府繼續實行廢除大名政策而使牢人數量繼續增長，到德川幕府第三代將軍德川家光晚年，牢人數量已經達到50萬人。到了和平年代，因為再次出仕的道路被限制，部分牢人成為町人及農民，也有像山田長政等人一樣去海外成為傭兵的牢人存在，但是大部分則是繼續作為牢人生活在貧困之中。當時，幕府將牢人視作為危險的社會不穩定因素，而實施了將其從城市中放逐亦或者限制居住，禁止再度出仕等政策。牢人受到的壓迫越來越嚴格，從而導致了由井正雪等人發起了以推翻幕府為目的的慶安之變。從此開始，流浪的牢人或者未侍奉大名家的牢人開始被稱呼為浪人。
因為這些原因，幕府開始調整政策，末期養子的禁令開始放寬鬆，同時減少大名的改易，緩和對牢人居住的限制，也有了再次出仕的可能。但是即便如此，之後依然不斷有人因為各種理由離開主家成為浪人。
一些以巡業各地表演的力士也是浪人(受大名和旗本收用的力士就是武士)。
幕府时代末期，浪人群体积极参加各种政治运动。明治維新後、实施了四民平等政策，“浪人”阶层逐渐消失。
日本现代社会上亦将失业的人，以及未考上大学的人称为浪人。
在東亞文化圈，浪人常用來作為大日本帝國策動的極右派暴力組織之代稱，具有法西斯主義色彩。
以中国大陆为例，该词最初指最早发源于百度贴吧论坛“神奈川冲浪里”吧的部分网民[5]。此类网民自称“浪人”，大多喜欢在关于中国大陆的社会新闻或关于中国问题的讨论上面发表一系列带有对中国、中国人、中华文明、中国政府和中国共产党等一切中国相关事物极端不满的言论，此类言论大都带有逆向民族主义特征，这一现象在大翻译运动之后被媒体广泛报道[6][7]。
台灣人物林獻堂即曾遭到浪人的侵犯[8][9]。
