1901年10月，胶海关在小港附近设立大鲍岛分卡，后改称小港分关[1][3]。关址设于小港东北岸的一处俯瞰整个小港的高地上，为一栋规模不大的两层办公楼，可能为时任胶海关税务司阿理文所设计[2]。1900年代中期，分关关址附近修筑了小港路（德語：Kleiner-Hafen-Weg，今小港一路）与莱希特恩街（德語：Rechternstraße，今冠县路）。1910年代后，分关北侧逐渐形成城市街区，被称为“海关后”，小港海关楼因此成为地标性建筑[2]。后来为了方便监管，分关迁入小港码头上的海关查验房（建于1926年）办公，原小港海关楼改为海关缉查员宿舍[2]。1946年1月14日改名胶海关小港支所[3]。
1951年12月26日，因中国海关停止对国内沿海运输船舶的检查，小港海关（时称青岛海关小港支关）撤销。1953年青岛海关与山东省对外贸易管理局合并后，小港海关楼划归渔业水产部门，后来紧靠其东南侧建起了青岛海洋渔业公司办公楼[2]。青岛文史学界及周边部分居民曾长期将小港分关旧址对面带有瞭望塔的小港一路2号青岛船舶检验局办公楼（约建于第一次日占时期，2004年2月拆除）误认为“小港海关楼”[4]，直至当地学者在2006年2月25日对海关后街区的考察中从当地居民口中了解到小港一路1号才是小港分关原址，并结合历史文献排除了小港一路2号为小港分关原址的可能性、确定小港一路1号为小港分关旧址。
2007年4月，因李嘉诚旗下和记黄埔参与投资的小港湾改造工程，海关后里院街区开始被拆除[5][6]，但包括小港海关楼与海洋渔业公司办公楼在内的数座房屋因钉子户而保留至2008年。2008年8月28日，小港海关楼最终与海洋渔业公司办公楼一并被拆除[2][3]。
小港海关楼位于小港一路邱县路路口东侧，邻近小港一路冠县路路口。办公楼及验货场占地面积2.43亩[2]。因建筑基址地势较高，临小港一路和邱县路两面筑有花岗岩挡土墙[2]。办公楼高两层，四坡屋顶，主入口位于东南面，内设主要房间4间。正立面朝西南，面向小港一路与小港湾，开有六扇大窗，造型平淡而视野良好，且带有公共建筑的色彩[1][3]。如此地势较高而规模较小的两层单体建筑在以里院建筑为主的海关后街区乃至整个小港周边均比较少见[2]。除二楼窗饰有所改变、墙面长满爬墙虎外，其建筑外貌自建成起变化不大[3]。
