Глагол be ставим в Past Perfect, так как он описывает состояние (была сложной) в прошлом, которое было понято в тот момент.
We understood at once that this control work had been a difficult one.