応仁の乱以降、小諸、佐久も戦乱の世になるが、１４９８年大井行俊が千曲川、湯川に囲まれ要害の地に築城した。築城後、甲斐の武田氏に攻められるが一旦はこれを退ける。１５４３年武田晴信（信玄）には屈し、傘下に入る。その後、真田家がこの城にはいり、真田昌幸もこの城で生まれたとも言われている。その後再び大井氏が城に入り、武田氏が滅んだ後は北条氏の傘下に入るが、徳川家康に従った依田氏に攻められ激戦になり、依田信蕃氏が戦死する。その後、屈服し城を明け渡すことになる。依田信蕃氏はこの時の功績を家康に認められ、その子供が小諸城を与えられ、松平姓を名乗ることを許される。この依田信蕃氏は戦国時代後半では真田昌幸と並んでこの地域では重要な役割を演じている。織田信長が没した時、一円の母子を人質を集めたのも依田信蕃氏である。その後、依田氏は徳川家の江戸転府とともに藤岡に移るが、この時江戸に小諸、森山家も江戸に移ることになる。