В данном предложении нужно использовать притяжательный падеж, чтобы показать, что номер принадлежит мужчине.
The number of the man = The man's number
В английском языке притяжательный падеж образуется с помощью добавления 's к существительному, обозначающему владельца.
В данном случае, правильный вариант: The man's number.
Ответ: The man's number