Много времени пришлось потратить, много постов перечитать.
Вот рабочие настройки(через плагин aceAdminPanel: v.2.0.362):


upd:
оказывается плагин видимо не затрагивает настройку шифрования, поэтому надо в файле config.php поставить ssl.

$config['sys']['mail']['smtp']['secure'] = 'ssl';// Настройки SMTP — протокол шифрования: tls, ssl

Значение по умолчанию в этом файле — ''. C ним сайт просто зависал при попытке отправки приглашения.