что в логе /var/log/Xorg.*.log ?
запускается ли без файла /etc/X11/xorg.conf (который и генерирует nvidia-xconfig)?