宝徳二年（1450年）頃、小山義政の子・常宗がこの地に城を構えて逆井尾張守を称したのが始まりとされ、天文五年（1536年）、逆井常繁が城主の時に、北条方の大道寺駿河守によって逆井氏は滅ぼされた。
天正五年（1577年）、結城・佐竹・宇都宮・那須・山川氏らにより反北条連合が結成されると、それに対する侵攻の拠点として再び北条氏によって城が造営され、玉縄城主だった北条氏繁（北条綱成の子）が城主として入る。
氏繁が没した後は、氏舜・氏勝らが城代を務めるが、天正十八年（1590年）の小田原攻めの際に落城し、以後は廃城となった。