José María Rubio y Peralta nació en Dalías (Almería) el día 22 de Julio de 1864, el mayor de doce hermanos del matrimonio compuesto por don Francisco y doña Mercedes, campesinos. De él dijo su abuelo materno don Eugenio: "Yo me moriré, pero el que viva verá que este niño es un hombre importante y que valdrá mucho para Dios. En su pueblo natal acudió a la escuela y después de las clases le gustaba leer lasa vidas de santos. Con diez años un canónigo, José María, tío suyo, le hizo estudiar en un Instituto de Bachillerato en la capital, pero viendo que tenía vocación sacerdotal, lo envió al seminario diocesano de Almería. En 1879 se trasladó al seminario de San Cecilio de Granada donde terminó los estudios filosóficos, los cuatro años de teología y dos de derecho canónico, siendo alumno aventajado de otro canónigo, D. Joaquín Torres, quien al pasar a Madrid. En 1887 lo inscribió en el seminario diocesano de la Inmaculada y san Dámaso, de Madrid, y el 24 de septiembre de ese mismo año fue ordenado sacerdote, entrando en el clero diocesano de Madrid. Celebró su primera misa el 8 de Octubre en la entonces Catedral de San Isidro, en la capilla de la Virgen del Buen Consejo.
El 1 de Noviembre fue nombrado coadjutor de la parroquia de Chinchón (Madrid), donde en tan sólo nueve meses ya empezó a tener fama de santo, mientras continuaba estudiando hasta obtener en 1888 la Licenciatura en Teología y en 1897 la Licenciatura en Derecho Canónico.
El 24 de Septiembre de 1889 fue trasladado de administrador parroquial a Extremera (Madrid) caracterizándose en su apostolado parroquial por compaginar su vida de oración con la atención a los pobres y enfermos. Antes del amanecer ya estaba en la Iglesia orando y dedicaba largas horas a la catequesis de los niños. Impresionaba a todos por su austeridad y pobreza y por su caridad con los más pobres. Más tarde fue nombrado profesor de Latín, Filosofía y Teología pastoral en el Seminario madrileño. Fue nombrado notario del obispado y más tarde encargado del registro. Se le designó también capellán de las religiosas Bernardas y como tal permaneció durante trece años; este cargo le facilitaba entregarse a un inmenso apostolado que sería la característica principal de su vida: atendía a muchas personas en el sacramento de la penitencia como excelente confesor, daba catequesis a niños pobres en las "escuelas dominicales", se dedicaba a los "traperos" y a los más pobres y a la vez dirigía muchas tandas de ejercicios espirituales. Pasaba muchas horas en oración, quienes le veían celebrar la Misa decían: "parece que habla con alguien". En 1904 peregrinó a Roma y Tierra Santa. Le impresionaron para siempre las dos visitas: de Roma, el Papa Pío X, las catacumbas y las tumbas de Pedro y Pablo y de Jerusalén, el Santo Sepulcro y el Calvario.
Siendo sacerdote diocesano sentía una gran admiración por la Compañía de Jesús. Se llamaba a sí mismo "jesuita de afición". Toda su vida se centra en "cumplir la voluntad de Dios". El 11 de Octubre de 1906 entró en el noviciado de Granada. Hizo sus primeros votos el 12 de Octubre de 1908 y trabajó en Granada y Sevilla: confesionario, predicación, misiones populares, adoración nocturna, etc. Era exigente pero siempre con dulzura. "Se cazan más moscas con una gota de miel que con un barril de vinagre", decía con gracia. En septiembre de ese año se trasladó a Manresa (Barcelona) desde donde fue enviado a Madrid. En esa ciudad emitió sus votos perpetuos el 2 de Febrero de 1917. Desde entonces Madrid fue el campo de su intenso apostolado.
El Padre Rubio (San José María Rubio) destellaba tal bondad que atraía sobrenaturalmente. Aunque no hablaba retóricamente como otros oradores, sin embargo sus sermones atraían a la gente y convenía porque vivía lo que predicaba. Repetía como lema: "Hacer lo que Dios quiere y querer lo que Dios hace". Organizó y atendió personalmente a distintas misiones populares en pueblos pequeños de Madrid y su fama de santidad era extraordinaria. Había que permanecer tres horas en la fila para confesarse con él. Atendía a todos por igual y por orden, lo mismo a marquesas que a pobres. Gozaba de dones místicos e incluso de gracias especiales sobrenaturales, como el don de profecía y de videncia. Escuchaba íntimamente llamadas de socorro a distancia y hasta el aviso de una madre fallecidas para ir a atender a su hijo incrédulo. Un día de carnaval, un grupo de comparsa le había preparado una trampa, llamándolo a una casa de citas para ir a administrar los últimos sacramentos a un enfermo. Uno de ellos en la cama se hacía pasar por moribundo para que se rieran los demás y dar ocasión de fotografiar al Padre Rubio en esta ocasión "ridícula". Al entrar a atender el enfermo descubrió que estaba realmente muerto. Fue tal la impresión que dos de aquel grupo se hicieron religiosos poco después.
Ejerció su ministerio pastoral con una dimensión social en los suburbios más pobres de Madrid, singularmente en el de La Ventilla. Fundó escuelas, predicó la Palabra de Dios y fue formador de muchos cristianos que morirían mártires durante la persecución religiosa en España.
Su testamento, en una charla a las "Marías de los Sagrarios", fue el exhortar a vivir la perfección en medio del mundo, promoviendo así una forma de consagración que más tarde se concretaría en los institutos seculares. Presintió su propia muerte y hasta llegó a despedirse de sus amigos.
A finales de abril de 1929, viéndolo debilitado por su intenso trabajo y por su dolorosa enfermedad, los superiores le enviaron al noviciado de Aranjuez para que descansara. Allí, después de haber roto por humildad sus apuntes espirituales, decía: "Señor, si quieres llevarme ahora, estoy preparado. A los tres días de su llegada a Aranjuez, el 2 de Mayo de 1929, murió. En todo Madrid no se hablaba de otra cosa: "¡Ha muerto un santo!". Miles de personas asistieron a su funeral y entierro. Fue beatificado en Roma por el Papa Juan Pablo II el 6 de Octubre de 1985 y canonizado en Madrid en 4 de Mayo de 2003. Su memoria se celebra el 4 de mayo.