Ответ:

Из каждой вершины выпуклого n-угольника можно провести диагонали ко всем вершинам, кроме неё самой и двух соседних. Поэтому из одной вершины выходит n − 3 диагонали. При подсчёте для всех вершин каждая диагональ учитывается дважды, поэтому общее число диагоналей равно n(n − 3) / 2.

Число вершин34567…n
Диагоналей из одной вершины01234…n − 3
Всего диагоналей025914…n(n − 3) / 2

На рисунках показаны четырёхугольник, четырёхугольник и пятиугольник.