No lo entiendo. Ese código se ejecuta cuando el usuario ha pulsado el botón Grabar. Entonces le preguntas si quiere grabar el registro (no uses resp==0, usa resp == JOptionPane.YES_OPTION) y en caso afirmativo, preguntas si el botón Nuevo está seleccionado. ¿btnNuevo es un JCheckBox o un JToggleButton? Y lo mismo con btnModificar.
Tienes que entender que, una vez el usuario responde a la pregunta de si desea grabar el registro, las siguientes instrucciones se ejecutan en microsegundos o incluso más rápido. No hay tiempo de que el usuario corra a pulsar otro botón en la pantalla.
TENGO UN EVENTO EN EL BOTON GUARDAR, LO QUE DESEO ES Q SI LE DOY CLIC EN EL BOTON NUEVO, EL METODO NEWLINEAS PUEDA USARLO Y SI DOY CLIC EN EL BOTON MODIFICAR PUEDA USA EL OTRO METODO UPDATELINEAS, HAY ALGUNA MANERA DE IDENTIFICAR QUE BOTON LE HE DADO CLIC.
private void btnGrabarActionPerformed(java.awt.event.ActionEvent evt) {
int resp;
resp=JOptionPane.showConfirmDialog(null,"¿Desea Grabar el Registro?","Pregunta",0);
if(resp==0)
{
if(btnNuevo.isSelected())
{
newLineas();
}
if(btnModificar.isSelected())
{
updateLineas();
}
}
}