小諸、佐久周辺は、川、田切地形がによる自然の要害の地が多く、戦国時代等には多くの城が存在した。各城とも現在の地域と比較すると大きなものが多く、それなりに力があったのではと思われる。森山城の面白しいところはそもそも住んでいた森山氏と一時大井氏から引き継いだ近江の守山氏が領主になっていた時期があることにある。守山氏は森山と改名領主となり、徳川についたこともあり、その後江戸時代には守山氏（森山氏）は旗本となり、江戸赤坂、勝海舟亭隣に住んでいた。特に森山孝盛は平賀源内との交流があったほどの文芸に秀でた人であり、「森山考盛日記」は当時の生活の様子を知る文献として貴重なものである。もともとの森山氏は領主と同じ姓を名乗ることを畏れ多いと感じ一時松沢姓を名乗るが後に森山に戻している。江戸の森山家は既に絶えており、新宿宗参寺に無縁仏として墓碑が残るのみである。また、考盛は森山故城碑を建立し、今の森山薬師堂脇に残っている。近江国守山氏がなぜ長野に来たのかも不明だが非常に興味深い歴史を持っている。