Это условное предложение второго типа (Past Simple в условии, Conditional I в следствии). Следовательно, в условии нужен Past Simple.
Ответ: If they invited me, I wouldn't have said no.