Чичиков, торгуясь, думает «Кулак, кулак!», что означает, что он считает своего собеседника (торговца или другого помещика) скупым и мелочным, не желающим уступать в цене. Вероятно, он торгуется с каким-то купцом или помещиком.
Ответ: ... с купцом / помещиком.