Fue fundado en la época de la Tercera República Francesa, probablemente en 1887. Debe su nombre a una pequeña estatua de la diosa Flora, hoy desaparecida, sobre cuyo emplazamiento no existe acuerdo. Para algunos, estaba en el otro lado del boulevard. Pero según Charles Maurras, que fundó en la primera planta del café el periódico de extrema derecha Action Française en 1908, la estatua se situaba encima de la entrada principal.
Si los primeros asiduos conocidos del Café de Flore fueron intelectuales de extrema derecha, los personajes que le dieron fama pertenecían a ámbitos bien distintos. Durante la Primera Guerra Mundial, Guillaume Apollinaire recibía allí a sus amigos, entre ellos Max Jacob, Louis Aragon y André Breton, y la sala se convierte en el lugar de encuentro favorito de los dadaístas y los surrealistas. En los años 30, la vida artística e intelectual de la capital todavía giraba en torno a los barrios de Montmartre y Montparnasse, pero ya se iba trasladando paulatinamente hacia el barrio de Saint-Germain-des-prés. El poeta Jacques Prévert y sus amigos del "Grupo Octubre", se reunían allí, al igual que Léon-Paul Fargue, Georges Bataille y Raymond Queneau. Los pintores y escultores les siguen: era frecuente ver allí a Picasso, André Derain, Ossip Zadkine y a los hermanos Giacometti.
Pero es a partir de 1939, fecha de su adquisición por Paul Boubal, que el Café de Flore se convertirá en el centro de la intelectualidad del margen izquierdo del Sena. Jean-Paul Sartre y Simone de Beauvoir tenían mesa fija y atrajeron allí a buena parte del movimiento existencialista naciente. Curiosamente, durante la ocupación nazi los militares alemanes no frecuentaban el Flore. Sartre escribió al respecto "Durante cuatro años, los caminos del Flore fueron para mí los caminos de la libertad".
Después de la Segunda Guerra Mundial, Boris Vian anima el lugar. El café es el lugar predilecto de Ernest Hemingway, Truman Capote y Lawrence Durrell, y también de renombrados miembros del Partido Comunista Francés (PCF), como Louis Aragon y Marguerite Duras. En un guiño hacia ellos, Paul Boubal crea entonces un partido ficticio del que todos sus clientes son socios, el Pouilly Club de France (PCF), del nombre del vino blanco que más se servía.Chocolate caliente del Café de Flore.
En los años 60, los representantes más ilustres de la nouvelle vague y del mundo del cine toman el Flore. Les siguen los grandes diseñadores de moda y famosos del mundo de la canción. En los años 70, el Café de Flore ya es un mito y es uno de los lugares imprescindibles de la capital tanto para los franceses como para los extranjeros. Jim Morrison lo frecuentaba tres semanas antes de su muerte. Sin embargo, los últimos años del siglo XX serán marcados por la afluencia de una clientela "dorada y superficial", en palabras del nieto de Paul Boubal.
En el siglo XXI, el Café de Flore conserva en buena medida esa aura de intelectualidad y modernidad artística desenfadada de corte burgués que le dieron su renombre, y aún puede presumir de contar entre sus incondicionales a un buen número de famosos del mundo del celuloide, de la política y de la literatura internacional. La asociación liberal Liberté chérie organiza conferencias de forma periódica.