Für die Darstellung eines Frauenaktes wählten Künstler von Giorgione bis Cabanel oftmals Motive der griechischen Antike und gaben den Bildern Titel wie etwa Venus. Im 19. Jahrhundert entstanden darüber hinaus zahlreiche Odalisken, unter denen die Grande Odalisque von Jean-Auguste-Dominique Ingres sicher die bekannteste ist. Die nackte Frau als Gemäldemotiv entstammte also entweder einer längst vergangenen Zeit, einer Mythenwelt oder hatte ihre Heimat in einem fernen Land mit anderen Moralvorstellungen. Der Name Olympia ist in der Malerei hingegen ohne Vorbild. 1864, also ein Jahr nach der Entstehung und ein Jahr vor der Ausstellung des Bildes im Salon, erschien von Zacharie Astruc eine Versdichtung mit dem Titel Olympia:
Diese Versdichtung schrieb der mit Manet befreundete Astruc, nachdem er das Gemälde gesehen hatte. Wem die Idee zur Namensgebung kam, ist allerdings nicht geklärt. Die Versdichtung erschien im Katalog des Pariser Salon von 1865. In Manets Porträt des Zacharie Astruc aus dem Jahr 1866 zitiert der Maler zwar nicht die eigene Olympia, jedoch den Bildhintergrund aus Titians Venus von Urbino. Bereits 1848 erschien der Roman Die Kameliendame von Alexandre Dumas, in dem Olympia der Name der Gegenspielerin der Titelfigur ist, und während der Entstehungszeit des Gemäldes war Olympia oder Olympe ein beliebter Spitzname für Kokotten. Obwohl Olympia eine Namensverwandtschaft zum antiken Olymp aufzeigt, war deshalb für die Zeitgenossen Manets Olympia schon durch den Bildtitel eine Prostituierte.
Hinzu kamen symbolische Bezüge in der Bildsprache: Bei Tizians Venus von Urbino sind die Frauen im Bildhintergrund mit einer Hochzeitstruhe beschäftigt. Dies verweist ebenso auf häusliche Treue, wie der schlafende Hund zu Füßen der Nackten. Bei Manet jedoch bringt die schwarze Dienerin den Blumenstrauß eines Verehrers, Blumen gelten traditionell als Liebesgaben. Die Orchidee im Haar Olympias symbolisiert ein Aphrodisiakum. Perlen werden auch als Juwelen der Liebesgöttin Venus gesehen, und wie ein Geschenkband trennt der Perlenanhänger den Betrachter von der völligen Nacktheit Olympias. Die Katze, die ihren Rücken aufgerichtet hat und den Schwanz in die Höhe hält, ist das klassische Beiwerk für Hexendarstellungen. Sie steht für schlechte Vorzeichen und erotische Ausschweifungen. Olympia wird nicht schlummernd vom Bildbetrachter beobachtet, wie Giorgiones Venus, sondern sie schaut ihm direkt in Gesicht. Den unmittelbaren Blickkontakt mit einer nackten Prostituierten hat üblicherweise nur ihr Kunde, und somit versetzt Manet den Bildbetrachter durch diese Konfrontation in die Rolle eines Freiers.
Manet hatte erstmals 1859 versucht, ein Gemälde zum Pariser Salon einzureichen. Sein Motiv eines Absinthtrinkers fand jedoch keine Aufnahme. 1861 konnte er mit dem Bildnis der Eltern und dem spanischen Sänger erste wohlwollende Beachtung im Salon finden. 1863 aber fielen seine Gemälde erneut bei der Jury des Salon durch und wurden stattdessen im Salon des Refusés gezeigt, wo es zum Skandal um Das Frühstück im Grünen kam. Vermutlich war Olympia für den Pariser Salon von 1864 vorgesehen, aber da in beiden Bildern das Modell Victorine Meurent die Hauptperson darstellte und Manet mit einer wiederum nackten Frau als Bildmotiv einen weiteren Skandal riskiert hätte, sandte er 1864 anstelle der Olympia die Episode eines Stierkämpfers und Toter Christus von Engeln gehalten in den Salon; doch auch diese wurden nicht positiv aufgenommen. Erst 1865 reichte er Olympia zusammen mit der Verspottung Christi zum Pariser Salon ein. Pietro Aretino zufolge hatte bereits Tizian neben einer Venus auch eine Verspottung Christi für Karl V. vorgesehen, um nicht nur seine Sinnlichkeit, sondern auch seine Frömmigkeit zu unterstreichen.
Während der Entstehungszeit des Gemäldes standen Napoléon III. und der kaiserliche Hof im Zentrum des Interesses der Pariser Gesellschaft. Otto Friedrich beschreibt das zweite Kaiserreich als „Operettenreich“, da Napoleon III. erst nach drei Putschversuchen die Macht erlangte, er nicht in der direkten Thronfolge Napoleon I. stand und seine familiären Verbindungen zum Namensvorgänger angezweifelt werden. Zu dieser fragwürdigen Gesellschaft gehörte auch Alfred Émilien de Nieuwerkerke, Generaldirektor der staatlichen Museen und Präsident der Jury des Pariser Salons, der seine berufliche Karriere einer außerehelichen Beziehung zu Mathilde Lätitia Wilhelmine Bonaparte verdankte. Diese Cousine des Kaisers bestimmte zusammen mit Nieuwerkerke weitgehend die französische Kulturpolitik jener Zeit. In dieser von Schein und Intrige geprägten Gesellschaft war die Abbildung der Realität an sich schon unerwünscht. Manet aber sah sich nicht als Teil dieser Gesellschaft, sondern eher als Angehöriger eines intellektuellen Bürgertums, das er in seinem Gemälde Musik im Tuileriengarten porträtierte.
In einer Stadt mit mehr als 30.000 Prostituierten eine solche auch offen darzustellen, und durch ihren direkten Blick zum Betrachter auf die Vielzahl der potenziellen Kunden zu verweisen, war revolutionär. Anders als die verklärten, mystifizierenden Nackten anderer Maler zeigt Manet in Olympia eine selbstbewusste Frau seiner Zeit und bringt damit die Malerei, wie Baudelaire parallel die Literatur, aus der Historie in die Gegenwart. Mit der Olympia gilt Manet vielen Kunsthistorikern als Begründer der modernen Malerei.
Manets Olympia verursachte einen der größten Skandale in der Kunst des 19. Jahrhunderts. Die Ursachen dafür lagen sowohl in dem Motiv des Bildes als auch in seiner Malweise. Manet, der ein Bewunderer japanischer Kunst war, verzichtete auf die von anderen Malern gepflegten sorgfältigen Nuancierungen zwischen hell und dunkel. Dies führte dazu, dass Olympia von vielen seiner Zeitgenossen nicht als dreidimensionale Figur wahrgenommen wurde, sondern als grob komponiertes, flächiges Muster. Gustave Courbet merkte hierzu an: „Alles ist flach, ohne Relief ... man möchte sagen, die Pik-Dame eines Kartenspiels, die gerade aus dem Bade kommt“.
Julius Meier-Graefe beschreibt die Neuartigkeit der Malerei mit den Worten: „Er modelliert nicht. Das heißt, er nimmt der lediglich der Illusion dienenden Modellierung die Sonderbedeutung, nach der sich in den Bildern der Akademiker die Harmonie der Farben und die Struktur der Massen zu richten hatten, und sieht die Vision als das unbedingt Primäre an. Die Modellierung hat nur, soweit sie die Harmonie nicht beeinträchtigt, eine relative Geltung und ist gleichzeitig mit dem farbigen Wert zu schaffen, wenn überhaupt. Der alte Kompromiss zwischen Malerei und Plastik ... wird endgültig überwunden. Es gibt nur Malerei. Dieses mit größter Energie durchgesetzte Postulat ... macht Manet zum unbestrittenen Führer seiner Generation.“
Hans L. C. Jaffé schreibt zu Manets Malweise: „Manet (...) will, dass seine Malerei sich nicht auf irgendwelche fragwürdigen Tatsachen stützt. Darum verlässt er sich zuerst ganz auf seine Augen und malt zum ersten Mal, was er sieht, nicht was er weiß. Schatten werden farbig, Reflexe verändern die Farben. Die sinnliche Wahrnehmung, die sichtbare Erscheinung ist daran, zur einzig gültigen Wirklichkeit zu werden.“ .
Sowohl beim Publikum als auch bei den Zeitungskritikern lösten Manets Olympia und die Verspottung Christi heftige Reaktionen hervor. In beiden Bildern wurde die Farbe der Haut bemängelt. Die realistische Darstellung des Christi ließe die Spiritualität vermissen und er sehe aus, wie aus dem Leichenschauhaus. Vor der Olympia kam es im Salon zu Menschenansammlungen, die das Bild verspotteten, belachten und mit Spazierstöcken und Schirmen bedrohten, bis das Gemälde schließlich in Deckenhöhe aufgehängt wurde, um es vor den Besuchern zu schützen.
Der Skandal fand in zahlreichen Beschreibungen des Salons seinen schriftlichen Widerhall. Jules Champfleury schrieb an Baudelaire: „Wie ein Mann, der in den Schnee fällt, so hat Manet in der öffentlichen Meinung ein Loch hinterlassen“. Jules Claretie schrieb in L’Artiste: „... diese schrecklichen Leinwände, an den Pöbel gerichtete Herausforderungen, Possen oder Parodien, was weiß ich? ... Was soll diese gelbbäuchige Odaliske, dieses billige, ich weiß nicht wo aufgelesene Modell....“. Paul de Saint-Victor berichtet: „Wie im Leichenschauhaus drängt sich die Menge vor der verruchten Olympia des M. Manet.“ und Théophile Gautier urteilt am 24. Juni 1865 in Le Moniteur universel: „Ein erbärmliches Modell ... Die Fleischtöne sind schmutzig ... Die Schatten sind durch mehr oder weniger breite Streifen von Schuhcreme angedeutet“. Ernest Chesneau stellt fest: „... eine nahezu infantile Unkenntnis der Grundelemente des Zeichnens, ... ein Hang zur unglaublicher Gemeinheit“ und F. Deriège findet in Le Siècle vom 2. Juni 1865 die Worte: „Diese rötliche Brünette ist von einer vollendeten Hässlichkeit ... Das Weiß, das Schwarz, das Rot, das Grün erzeugen ein schreckliches Getöse auf dieser Leinwand“. Nicht weniger heftig sind auch die Karikaturen auf Olympia: am 27. Mai 1865 erschien Bertalls Olympia im Le Journal Amusant und im gleichen Monat die Olympia von Cham in Le Charivari.
Émile Zola zählte zu den wenigen Verteidigern der Olympia. An Manet gerichtet schrieb er 1867 in L'Artiste: „Für Sie ist ein Bild einzig und allein ein Vorwand zur Analyse. Sie benötigen eine nackte Frau und Sie haben Olympia als die erstbeste gewählt; Sie benötigten helle und leuchtende Flecken und Sie haben einen Blumenstrauß eingefügt; Sie benötigten schwarze Flecken und Sie haben eine Schwarze und eine Katze hinzugefügt. ... ich weiß, dass es Ihnen auf bewundernswerte Weise geglückt ist, das Werk eines Malers, eines großen Malers zu schaffen ... und die Wahrheiten von Licht und Schatten, die Wirklichkeit der Dinge und der menschlichen Geschöpfe kraftvoll in eine eigene Sprache zu übersetzen.“ Zola, der schon 1866 gefordert hatte „Manets Platz ist der Louvre, wie der Courbets, wie der aller Künstler mit einem starken Charakter“, ist 1868 von Manet porträtiert worden. In diesem Porträt ist oberhalb des Schreibtischs auch Olympia wiedergegeben.