Ответ:
Пусть основание системы счисления равно b. Тогда A = 10, B = 11, а равенство принимает вид:
\(b^2-(10b+11)=b+1\).
Перенесём всё в левую часть: \(b^2-11b-12=0\).
Разложим на множители: \((b-12)(b+1)=0\). Основание должно быть не меньше 12, чтобы в записи присутствовали цифры A и B. Подходит b = 12.
Ответ: в двенадцатеричной системе счисления.
