1400年代、大井氏傘下に入った小県の依田氏の一派が築城した城で依田氏は平尾氏と改姓したと言われている。大井氏が伴野氏、村上氏に攻められた際、山に城を作り、守った。それが平尾城である。5代140年この一帯を治めている。