Ответ:

Пусть основание системы счисления равно b. Тогда равенство принимает вид:

\(b^2+2b+3-(2b+4)=5b+5\).

После упрощения получаем \(b^2-5b-6=0\), то есть \((b-6)(b+1)=0\). Основание системы должно быть больше наибольшей цифры 5, поэтому подходит b = 6.

Проверка: \(123_6=51_{10}\), \(24_6=16_{10}\), а \(55_6=35_{10}\); \(51-16=35\).

Ответ: в системе счисления с основанием 6.