処女作 "Out of Breath (and Scared to Death of You)"(作曲は友人のEverett Miller)はレヴューThe Garrick Gaieties で1930年に使われた。そのショーで未来の妻、コーラスガールのジンジャー・ミーハン (Ginger Meehan)と出会う。ジンジャーは以前は若きクルーナー歌手ビング・クロスビーの無数のコーラスガールの一人だった。作曲者 Miller の父(大手出版社T. B. ハームズ(英語版)の重役)が同曲を出版した[11]。ジョー・ヴェヌーティ & ヒズ・ニューヨーカーズ(英語版)が録音した。
20歳のマーサーは他のソングライターたちと付き合い始め、ミュージカル Paris in the Spring の契約でカリフォルニアに行ったときに自分のアイドル、ビング・クロスビーやルイ・アームストロングと会う。その時、ミュージカルに合わせて書くよりも自由に書くほうが良いことに気づく。
最初は駄作のOld Man Rhythm、次も駄作のTo Beat the Band だったが、そこでフレッド・アステアと出会い、アステアの "I’m Building Up to an Awful Let-Down" がヒット[17]。 マーサーは酒飲みのビング・クロスビーと付き合い、自身も飲み、羽目を外すことが多くなった[18]。
作曲も担当した『I'm an Old Cowhand from the Rio Grande』は映画Rhythm on the Range(1936)でクロスビーが歌い大ヒット、マーサーは売れっ子となった。同年『Goody Goody』もヒットする。
1937年、ワーナーのベテラン作曲家リチャード・ホワイティング (Richard Whiting) (『Ain't We Got Fun?』) と組み『Too Marvelous for Words』がヒット、続いて映画『聖林ホテル』のオープニング曲『Hooray for Hollywood』をつくった。しかしほどなくホワイティングは心臓発作で急逝、マーサーは新たに組んだ作曲家のハリー・ウォーレン (Harry Warren) と『Jeepers Creepers』を作り、ルイ・アームストロングが歌ったこの曲はオスカー入選した。ウォーレンとは1938年の『You Must Have Been a Beautiful Baby』もヒット。二人のコミック・ソング "Hooray For Spinach" は映画Naughty But Nice(1939)に提供。[19] クロスビーとのデュエット "Mr. Crosby and Mr. Mercer" は1938年にヒット。
1939年にベニー・グッドマンバンドのトランペッタージギー・エルマンの曲に作詞した『And the Angels Sing』はビング・クロスビーやカウント・ベイシーが録音したが、グッドマン・バンドの伴奏でマーサ・ティルトン(Martha Tilton)が歌い、エルマンがトランペット・ソロを取ったバージョンがナンバー1になった。後に同曲のタイトル『そして天使も歌う』はマーサーの墓碑銘になった。
『Day In, Day Out (1939 song)』『フールズ・ラッシュ・イン』のヒットが続き、人気ラジオ・ショー「Your Hit Parade」ではトップ10のうちにマーサー作品が5曲入っていた[20]。
この頃ニューヨークで出版社を設立したが短命に終わり、ホーギー・カーマイケルと組んでミュージカル『Walk With Music』をやったがプロットがまずく失敗した。かようにいくつかの落胆はあったものの、マーサーは30歳でキャリアは絶好調だった。
この頃、黒人音楽への造詣が深い理想的な相方の作曲家ハロルド・アーレンと出会い、作詞において洗練されたウィットと南部特有のい回しをまじえたスタイルが確立した。二人の作品では最初に『Blues in the Night』(1941) が成功。アーサー・シュワルツは「恐らく最も偉大なブルース・ソングであろう」と評した[21]。
続いて『One for My Baby (and One More for the Road)』(1941), 『That Old Black Magic』 (1942),『降っても晴れても~Come Rain or Come Shine』 (1946) などを共作し、これらの主立ったナンバーの多くが後年までスタンダード化した[22]。
またホーギー・カーマイケルとも引き続き仕事をしており、『スカイラーク』 (1941)、オスカー受賞の『In the Cool, Cool, Cool of the Evening』 (1951) を共作。巨匠ジェローム・カーンとは『You Were Never Lovelier』を共作した。
1974年、ミュージカル『The Good Companions』興行。同年、Pete Moore OrchestraとHarry Roche Constellationと自作曲のアルバムを二枚録音。後に一枚もの『...My Huckleberry Friend: Johnny Mercer Sings the Songs of Johnny Mercer』として再発。
^Bob Bach and Ginger Mercer, Our Huckleberry Friend: The Life, Times, and Lyrics of Johnny Mercer, Lyle Stuart, Secaucus New Jersey, 1982, ISBN 0-8184-0331-4, p.98
^Furia, Philip (1992). Poets of Tin Pan Alley. New York & Oxford: Oxford University Press. pp. 151, 273–274. ISBN0-19-507473-4
^Roger Hall,A Guide to Film Music: Songs and Scores, PineTree Press, 2007, p. 13.