Пусть x - количество оставшихся плиток.
Когда укладывают по 7 плиток в ряд, остается один неполный ряд. Это означает, что количество плиток можно представить в виде: $$x = 7n + r$$, где n - количество полных рядов, r - количество плиток в неполном ряду, $$0 < r < 7$$.
Когда укладывают по 8 плиток в ряд, тоже остается один неполный ряд, в котором на 5 плиток меньше, чем в неполном ряду при укладывании по 7. Значит, количество плиток можно представить в виде: $$x = 8m + (r - 5)$$, где m - количество полных рядов, а $$(r - 5)$$ - количество плиток в неполном ряду, $$0 < (r-5) < 8$$.
Из этих уравнений получаем: $$7n + r = 8m + (r - 5)$$.
Упростим уравнение: $$7n + r = 8m + r - 5$$, следовательно, $$7n = 8m - 5$$.
Нам нужно найти такие целые числа n и m, чтобы выполнялось это равенство. Перепишем уравнение: $$7n + 5 = 8m$$.
Будем подбирать значения n, пока левая часть не станет кратной 8.
n = 1: 7*1 + 5 = 12 (не кратно 8)
n = 2: 7*2 + 5 = 19 (не кратно 8)
n = 3: 7*3 + 5 = 26 (не кратно 8)
n = 4: 7*4 + 5 = 33 (не кратно 8)
n = 5: 7*5 + 5 = 40 (кратно 8)
Итак, n = 5. Тогда $$8m = 40$$, значит, m = 5.
Теперь найдем r. Мы знаем, что когда укладывают в ряд по 10 плиток, то не хватает для квадратной площадки. Это означает, что число плиток меньше, чем 100 (10 * 10). Подставим n = 5 в уравнение $$x = 7n + r$$: $$x = 7*5 + r = 35 + r$$.
А так как $$x = 8*5 + (r - 5) = 40 + r - 5 = 35 + r$$. Подбираем r, учитывая условие, что $$0 < r < 7$$ и $$0 < r-5 < 8$$. Второе условие можно переписать как $$5 < r < 13$$. Пересечение этих двух условий $$5 < r < 7$$. Единственное подходящее целое значение для r это 6.
Тогда $$x = 35 + 6 = 41$$.
Проверим: если укладывать по 10 плиток, то не хватает до квадрата (100). Действительно, 41 < 100. При укладывании по 7 плиток получается 5 полных рядов и в последнем неполном ряду 6 плиток. При укладывании по 8 плиток получается 5 полных рядов и в последнем неполном ряду 1 плитка (что на 5 меньше, чем 6).
Ответ: 41 плитка.