Suponiendo que hablas de una aplicacion de escritorio(Swing o fx)...
No es difícil, te creas un contador, y cada vez que pulses el botón, antes que nada compruebas el estado de ese contador,

si es 3,
pues cierras la aplicación llamando al metodo dispose() del formulario principal
si es menor que 3
le sumas 1 al contador
compruebas nombre de usuario y pass

Y nada, como ves no es difícil, una simple variable y un if, si tienes duda o problemas, pues ya nos cuentas. Un saludo