Согласно правилу согласования времён, если в главном предложении глагол стоит в Past Simple, то в придаточном предложении используется Past Perfect.
В данном случае, глагол "got" стоит в Past Simple, следовательно, в придаточном предложении необходимо использовать Past Perfect.
Past Perfect образуется при помощи had + Past Participle (третья форма глагола).
Форма глагола "to be" в Past Participle - been.
Таким образом, правильный вариант: had been
The baby had been asleep by the time he got home and he didn't want to wake her up.
Ответ: had been