Выполним задание.
В английском языке с учебными заведениями употребляется предлог at, если речь идет об учебе в этом месте.
Предлог in используется, когда речь идет о нахождении внутри чего-либо.
В данном случае речь идет об учебе в университете, следовательно нужен предлог at.
Запишем предложение целиком.
My big brother is going to study Maths at university.
Перевод: Мой старший брат собирается изучать математику в университете.
Ответ: My big brother is going to study Maths at university.