Площадь фигуры можно вычислить как площадь большего прямоугольника со сторонами $$a$$ и $$b$$ минус площадь меньшего прямоугольника со сторонами $$a-b$$ и $$a-b$$. Таким образом:
$$S = ab - (a - b)(a - b) = ab - (a^2 - 2ab + b^2) = ab - a^2 + 2ab - b^2 = 3ab - a^2 - b^2$$
Или можно разбить фигуру на два прямоугольника, тогда $$S = b(a-b) + b(a-b) = a^2 - b^2$$
Ответ: $$S = 3ab - a^2 - b^2$$