VNC に割り当てているディスプレイ番号が 1 なら

1
sudo rm /tmp/.X11-unix/X1

として、一時ファイルを削除しましょう。