No servidor linux...
openssh-serverPronto! Seu servidor SSH já está instalado e configurado. Fácil!
No cliente Windows...
Mais complicado! Você terá que fazer uma busca e encontrar algum cliente SSH para Windows. Não uso Windows. Por isso, não posso indicar um. Depois de encontrá-lo, você terá que instala-lo e, provavelmente, encontrar um crack para ele.
Como usuário Windows, você deve estar acostumado a isso.
Depois de instalado o cliente SSH, execute-o no Windows e coloque o IP do servidor Linux. Ele vai pedir o login e o usuário. Evidentemente, você deve digitar algum login e senha de um usuário válido do servidor. Quando conseguir fazer o login será como se você estivesse no terminal do seu servidor linux. Você pode desliga-lo ou fazer qualquer outra coisa.
Bos sorte!