El 22 de octubre de 1888 Gauguin se instaló en Arles en la casa amarilla para convivir con Van Gogh. Nada más entrar en su habitación pudo observar el cuadro "Los girasoles" que Van Gogh pintó especialmente para él. En esta época ambos artistas se llevaban muy bien porque se sentían incomprendidos.  Sin embargo, también había muchas diferencias entre ellos. Por un lado la edad, Paul tenía 40 años y Van Gogh 35 y, por otro, su estilo de vida ya que Gauguin era muy ordenado y le gustaba la limpieza.

Poco a poco la convivencia se hacia insoportable. Los artistas tenían caracteres fuertes, discutían continuamente por temas relacionados con el arte y Van Gogh continuaba siendo desordenado.

Todo esto desembocó en una pelea el 23 de diciembre de 1888 en la que Gauguin decidió abandonar la casa harto de las reacciones de su compañero. En ese momento, Van Gogh salió detrás de él con un cuchillo en la mano e intentó agredirle, sin embargo, Paul consigue pararlo mirándole fijamente a los ojos. Vicent dio media vuelta para esconderse en algún lugar de Arles. Después de esto no se sabe a ciencia cierta qué ocurrió pero en cualquier caso, el pintor apareció al día siguiente tumbado en la cama sin sentido y desangrándose por la oreja izquierda que había intentado cortar. Fue trasladado al hospital de Arles donde se recuperó en muy pocos días.

Van Gogh nunca habló sobre su encuentro con Paul Gauguin ni siquiera con su mejor amigo, su hermano. Paul dejó Arles para siempre pero, sorprendentemente, siguió manteniendo el contacto con Vicent mediante cartas esporádicas.

El artista volvió a su "taller del sur", más conocido como casa amarilla, triste y desolado por la marcha de su amigo Gauguin. Por ello, es entonces cuando comienza a pintar sus famosas sillas vacías como símbolo de su soledad.