Quiero q una categoria de mi foro tenga sus subforos ocultos y al meterle una clave se puedan ver. ¿ Se puede hacer?

Exactamente eso no.... ¿si estan ocultos como van a poner la clave?

Puedes hacer dos cosas.
- usar niveles para registrir acceso a determinados foros
y después en "general" marcar "ocultar foros sin acceso"
- poner contraseñas a foros

¿ Se podria poner un subforo con clave y q este a su vez tuviese subforos? Si fuese posible, ¿ como se haria?

Creo que no... lo que puedes hacer es ocultar todos los subforos de una categoría concreta para quienes no tengan suficiente nivel (imagino que así toda la categoría sería invisible), y por si acaso, además, ponerle clave a todos los subforos de esa categoría oculta.