Ответ:

Пусть сторона вырезаемого квадрата равна x см. Тогда высота коробки — x, а стороны её дна — 20 − 2x и 12 − 2x. Допустимые значения: 0 < x < 6.

Площадь боковой поверхности равна периметру дна, умноженному на высоту:

\(S(x)=2((20-2x)+(12-2x))x=64x-8x^2\).

Это парабола с ветвями вниз. Её максимум достигается в вершине: \(x=-\frac{64}{2\cdot(-8)}=4\). Значение входит в допустимый интервал.

Ответ: 4 см.