Leandro,
Eu sugeriria usar um cabo DVI-D ( ou HDMI, se sua placa o suporta). Entretanto, mesmo com o cabo padrão deveria funcionar; verifique os drivers de sua placa de vídeo. Qual monitor usava anteriormente, e com qual resolução?
+++Editando+++
Desculpe, só depois vi que sua placa não tem essas saídas que citei. O problema parece ser no driver mesmo.
VB5