バラーとザ・シャーラタンズのティム・バージェス、プライマル・スクリームのキーボーディストであるマーティン・ダフィー、レイザーライトのドラマーであるアンディ・バロウズが参加し、デビューライブを2004年12月、チャタムのクラブ Tap 'n' Tin で行った。リバティーンズの曲「デス・オン・ ザ・ステアーズ」、「フランス」、「ロード・トゥ・ルーイン」やシャーラタンズの「ア・マン・ニーズ・トゥー・ビー・トールド」、「ノース・カントリー・ボーイ」、バージェスのソロ曲「アイ・ビリーヴ・イン・ザ・スピリット」、ザ・ポーグスの「フェアリーテール・オブ・ニューヨーク(邦題:ニューヨークの夢)」を演奏した。
Tap 'n' Tin は、ピート・ドハーティが釈放された夜、リバティーンズがギグを行った場所でもある。
アラン・マッギー主宰の Death Disco TV に出演。バラーとダフィー、クラクソンズのジェイミー・レイノルズとステファン・ハルペリン、ダーティ・プリティ・シングスのディズ・ハモンドとゲイリー・パウエル、アンソニー・ロッソマンドが参加した。クラクソンズの「ゴールデン・スキャンズ」、シャーラタンズの「ノース・カントリー・ボーイ」、ローリング・ストーンズの「ユー・ キャント・オールウェイズ・ゲット・ホワット・ユー・ウォント」、ダーティ・プリティ・シングスの「バン・バン・ユア・デッド」、オリジナル曲「Kickin' Against The Pricks」を演奏した。
"アヴァンギャルドな" デビューアルバムを2008年8月にレコーディングする計画を立てていると、ティム・バージェスが話している[1]。バンドはすでに1曲書き上げリハーサルも終えていることを公式Myspace上で発表している。曲名は「アイ・オールウェイズ・クラック・ア・スマイル (I Always Crack a Smile)」。