Для продолжения предложения используем грамматическую конструкцию условного предложения (Conditional Type 3), так как речь идет о нереальной ситуации в прошлом и ее результате.
Ответ: I didn't know your telephone number, that's why I didn't phone you yesterday. If I had known your telephone number, I would have phoned you yesterday.