鎌倉前期、大井光長、四男行氏が耳取地区の分地統治を任され、最初に住んだと言われている。後により、領国の防衛が可能な鷹取山の耳取城に居を移している。いずれにせよ、千曲川の東岸に位置し、千曲川を使った防衛がなされている。今のように橋がなかったことを考えると、川を使った大井の領地の西側の要であったと言える。