Quieres dejarlo de serie el borde como si no le hubieras puesto un tema? Si solo pones UIManager.setLookAndFeel("javax.swing.plaf.metal.MetalLookAndFeel"); no afecta a los bordes del jframe ni el jdialog. Si afecta el estilo en el borde es porqué tienes la línea JFrame.setDefaultLookAndFeelDecorated(true); y la misma pero con JDialog i si las quitas no se aplicará el tema en el borde del JFrame.