Ответ:

Всего хотя бы одну задачу решили 40 − 3 = 37 участников.

Обозначим через x число участников, решивших все три задачи. По формуле включений-исключений:

37 = 20 + 18 + 18 − 7 − 9 − 8 + x.

Следовательно, 37 = 32 + x, откуда x = 5.

Число участников, решивших ровно одну задачу, равно сумме чисел решивших только алгебру, только геометрию и только теорию вероятностей:

(20 − 7 − 9 + 5) + (18 − 7 − 8 + 5) + (18 − 9 − 8 + 5) = 9 + 8 + 6 = 23.

Ответ: а) 23 участника; б) 5 участников.