nginx.conf などで

map $remote_addr $loggable {
    127.0.0.1 0;
    default 1;
}

$loggable 変数を定義しておきます。1 がログ対象という対応になります。

アクセスログを取りたいところで

access_log /path/to/access.log if=$loggable;

のように if 引数を付けてあげれば OK。

ドキュメント: Module ngx_http_log_module