Nace en Milán el 6 de enero de 1930. Antes de ingresar a la escuela primaria su familia viaja a la Argentina, radicándose en un campo de La Pampa, propiedad de su abuelo materno. Poco tiempo después y ante los acontecimientos que estaban desarrollándose en Europa, la familia de Ferrari regresa a Italia y su padre es convocado a las filas. En 1940, su madre decide regresar a la Argentina en compañía de sus hijos y se instalan en Buenos Aires, en medio de grandes privaciones. Ferrari asiste a la escuela primaria y precozmente concurre con frecuencia a la Biblioteca Nacional donde conocerá a Jorge Luis Borges. Años después ingresa a la Escuela de Bellas Artes “Manuel Belgrano” y en ese período se vincula con Carlos Filevich, Antonio Pujía y traba una larga amistad con su profesor Lucio Fontana con quien comparte los criterios del denominado “Manifiesto Blanco”. José Ferrari, “Pipo”, como lo llamaban sus amigos, se brindó con denuedo a la pintura y a la docencia, siendo profesor de las escuelas de Bellas Artes “Ernesto de la Cárcova”, “Prilidiano Pueyrredón” y sus similares de La Plata, Jujuy y Luján, cuya Escuela de Arte lleva su nombre desde 2011. Poco atraído por la publicidad, su obra se desarrolló casi en silencio y no dejó de sorprender a quienes la conocieron con posterioridad a su muerte, ocurrida en 1995. Tanto las muestras que se realizaron en las galerías Van Riel y Copa Oliver, así como la importante exposición que se organizó en el Museo Sívori en 1997, trasuntaron la consideración y el respeto de la crítica y de sus propios colegas. En el prólogo del catálogo de esta muestra, Guillermo Roux expresó que la obra de Ferrari era “secreta y difícil” y que convenía participar de ella “silenciosos y con cuidado para que pueda revelársenos”.