スウェーデン中部のダーラナ出身のピーター・モーレン(Peter Morén)、更に北部のヴェステルボッテン出身のビヨーン・イットリング(Björn Yttling)、そして更に北部出身のジョン・エリクソン(John Eriksson)の3人は1999年から一緒に演奏を始めていた。そして2000年、正式にバンドをスタート。バンド名はシンプルにPeter Bjorn and Johnとした。別に良いバンド名が浮かばなかったからではなく、このバンド名こそが一番正しいと感じたからだ。「バンド名って、なんだかちょっと変だよね。どうしてみんな普通に自分達の名前をバンド名にしないのかな?」と彼らはずっと考えていた。最初、彼らはベース・プレイヤーをバンドに加入させようと考えていたが、“3 is a crowd(3人は群集である)”という格言に従って、キーボードをプレイしていたビヨーンがベースも弾くことになった。
2002年、ホーム・レコーディングされたファースト・アルバム『Peter Bjorn And John』(日本未発売)をリリース。プレスは“優れた音のベッド”“次のクラシック”と、アルバムに好評価を与えた。アルバムに収録の「Matchmaker」「People They Know」といった曲は、インディ・ポップ・ファンのお気に入りの曲となった。ロンドンのレコード・ショップのラフ・トレードは、今のスウェディッシュ・ポップでこれほど素晴らしいものはない、とアルバムを評した。
2004年、『Falling Out』(日本未発売)をリリース。シングル「It Beats Me Everytime」はスウェーデンでラジオ・ヒットを記録。翌年、アルバムはアメリカでもリリースされ、オールミュージックは4.5/5点の好評価を与え、「2005年にリリースされたアルバムの中でも限りなくベストに近いインディ・ロック。Concretesよりパンクで、Shout Out Loudsよりもフランティックではない。そしてUKの他のポストパンクバンドと同じくらいキャッチー」と評した。