Ответ:

Вычитаем второе число, дополнив его слева нулями до той же разрядности: 1011111001₂ − 0000101000₂ = 1011010001₂.

Проверка: 761 − 40 = 721, а 721 = 1011010001₂.