Это задание на проверку правильности использования инфинитива и герундия в английском языке.
Фраза try может использоваться как с инфинитивом (to do), так и с герундием (doing), но значение будет разным:
В данном случае, дети прилагали усилия, чтобы решить сложные математические задачи, поэтому правильным будет:
The children were trying to solve the difficult maths problems.
Перевод: Дети очень старались решить сложные математические задачи.
Ответ: The children were trying to solve the difficult maths problems.