城のまわりは堀に囲まれ、上之橋・下之橋・追廻橋の三つの橋からしか城内に入ることができませんでした。また、城内にはおよそ50の櫓が設置されていたといわれています。
城内は、天守台、本丸、二の丸、三の丸の四層構造となっています。
城の中心である本丸には、藩主の執務・生活の場である本丸御殿が置かれました。二代目藩主忠之が三の丸に御殿を造った後、本丸御殿は儀礼や儀式の場となりました。
二の丸には、二の丸御殿、水の手（貯水池）や城の南側の防衛を担う多聞櫓を配した南丸がありました。
三の丸には家老屋敷が広がり、北西部には、官兵衛（如水）の隠居所である御鷹（高）屋敷がありました。
江戸期を通じて、構造物に幾分改変はあったものの、築城当初の縄張りには大きな変化はなかったと考えられています。
