José María Yermo era natural del barrio de Las Arenas de Guecho (País Vasco), donde nació en 1903. Falleció en 1960.
Atleta]
En primer lugar destacó como atleta. Era un gran saltador y llegó a ostentar el récord de España de salto de longitud y el de triple salto. Defendió como atleta los colores del Arenas Club de Guecho, con el que también jugaría como futbolista.
El récord de España de triple salto lo obtuvo por primera vez el 29 de julio de 1923 con 12m59. Con posterioridad, el 6 de abril de 1924, lo batió en otras dos ocasiones, en un torneo de preselección olímpica a nivel español, consigiendo marcas de 13,20m y 13,48 m,
Toda su carrera como futbolista estuvo ligado al club de su ciudad natal, el Arenas Club de Guecho al que llegó en categorías inferiores y donde permaneció hasta su retirada en 1935.
Yermo jugaba como delantero centro. Jugó las finales de Copa que el Arenas perdió en 1925 y 1927. En 1927 fue llamado a la internacionalidad por primera vez. Luego, en 1928 fue llamado para participar en los Juegos Olímpicos de Ámsterdam 1928 con la selección española de Fútbol. Debutó con el Arenas en la Primera división española en 1929 y jugó con los areneros hasta 1935 disputando 51 partidos en Primera división y marcando 30 goles. En el partido disputado contra México (7-1) en la olimpiadas de Ámsterdam en 1928, Yermo marcó 3 de los 7 goles de España (dos de cabeza y otro de tiro largo desde fuera del área), convirtiéndose en el primer jugador de la Selección Española en hacer un hat-trick o tripleta en competición oficial y en el único en haberlo conseguido en unas olimpiadas.