1. Как можно определить выпуклый многоугольник?

Многоугольник является выпуклым, если отрезок, соединяющий любые две его точки, полностью лежит внутри многоугольника.

Другой признак: многоугольник расположен по одну сторону от каждой прямой, содержащей его сторону.