時鐘楼は、佐渡奉行所から京町通りへ向かう坂の途上、旧相川裁判所（現在の佐渡版画村美術館）の南西に建てられました。相川市中に時刻を知らせる時報は、佐渡奉行所内の太鼓により1709年に始まったとされています。初の「時鐘」は、佐渡奉行・荻原重秀の命により1712年、佐渡の出銅で鋳造され、1713年から今の場所で時を知らせるようになり、現在は地域住民の方が朝夕に鐘をついています。