Предложенное предложение построено в Past Continuous (прошедшее длительное время). Это время используется для описания действия, которое происходило в определенный момент в прошлом. Фраза "I was writing English exercises in my copy-book" описывает именно такое действие. Чтобы закончить предложение грамматически и логически верно, нужно выбрать вариант, который указывает на такой момент в прошлом.
Таким образом, наиболее подходящий вариант – "at that time yesterday", так как он обозначает конкретный момент в прошлом, когда происходило действие.
Ответ: at that time yesterday