Piesa a fost scrisă de Gainsbourg în 1967, pe vremea când îşi consuma o scurtă dar tumultuoasă poveste de amor cu Brigitte Bardot. În iarna acelui an, Bardot i-a cerut într-o seară să scrie cel mai frumos cântec de dragoste pe care şi l-ar putea imagina vreodată. Ea a adormit iar Gainsbourg a lucrat toată noaptea pentru a-i prezenta dimineaţa două piese: Je t'aime... şi Bonnie and Clyde. Prima piesă a fost apoi înregistrată de către cei doi într-un mic studiou din Paris dar ştirea despre modul în care a luat fiinţă a răzbătut imediat până la urechile lui Gunter Sachs, soţul german (şi foarte bogat) al lui Bardot. Acesta a luat foc şi a cerut în mod public ca melodia să nu vadă "lumina" vreunei case de discuri. Bardot a intervenit şi ea pe lângă Gainsbourg pentru a o stopa şi acesta a ascultat-o, în ciuda faptului că a protestat: "Muzica e foarte pură. Pentru prima dată în viaţa mea am scris un cântec de dragoste şi acesta e luat la şuturi!".
În 1968, Gainsbourg a întâlnit-o pe actriţa britanică Jane Birkin, de care s-a îndrăgostit în timpul filmărilor la Slogan. El a rugat-o să înregistreze împreună piesa. Birkin auzise de versiunea cu Bardot şi s-a gândit că aceea fusese "prea fierbinte" dar în acelaşi timp a spus, peste ani, că a cântat-o pentru că era geloasă şi nu vroia să fie cântată de altcineva. Artistul i-a cerut să o interpreteze cu o octavă mai sus decât Bardot "aşa încât să suni ca un băieţel". După înregistrare, Birkin a recunoscut că a mers cam departe cu respiraţia adâncă, aşa încât "la un moment dat a trebuit să o întrerup". Single-ul a fost pe piaţă în februarie 1969, având o copertă goală, pe care scria "interzis celor sub 21 de ani". Ceva mai târziu, Bardot a regretat că nu a lăsat piesa să-şi urmeze cursul logic. Jean-Louis Remilleux, un prieten de-al ei, a convins-o să-l contacteze pe Gainsbourgh. Astfel că, în 1986, şi această versiune - în fapt, prima - a ajuns la urechile fanilor.
Titlul piesei a fost inspirat de o butadă de-a lui Salvador Dali: "Picasso e spaniol. Şi eu sunt. Picasso e un geniu. Şi eu sunt. Picasso e un comunist. Eu nu sunt". Gainsbourg a spus că piesa e un cântec "anti-futai", despre disperare şi imposibilitatea iubirii fizice. Dar versurile sunt un dialog între doi îndrăgostiţi care fac amor: "Je vais et je viens, entre tes reins". Mai ciudat este "Moi non plus"-ul ("eu nu") ca răspuns la "Je t'aime". În fapt, e o glumă pe care non-vorbitorii de limbă franceză nu prea o înţeleg şi care e tradusă "Te iubesc - Eu nu te mai iubesc", chiar şi într-o versiune a celor de la Pet Shop Boys ("I love you - me not anymore").
Când a fost lansată versiunea cu Bardot, ziarele din Franţa au speculat faptul că ar fi vorba de un audio-vérité. "Gâfâiturile şi respiraţia adâncă ale lui Brigitte Bardot dau impresia clară asupra a doi oameni care fac dragoste", a scris France Dimanche. Gainsbourg a cântat piesa prima oară în public într-un restaurant parizian, imediat după ce a înregistrat-o la Londra, împreună cu Birkin. Ea a spus că "pe măsură ce Serge cânta primele acorduri, se auzeau furculiţele şi cuţitele care se lăsau jos". El însuşi a declarat apoi: "Cred că avem un hit!".
Şi asta în ciuda faptului că erotismul explicit al piesei a fost declarat la acea vreme extrem de ofensator. Sex pur, cuvinte explicite, sunete sugestive. Revista The Observer Monthly Music a declarat-o "echivalentul pop a filmului Emmanuelle". Totul culminează cu orgasmul simulat de Birkin, acesta fiind motivul pentru care melodia a fost apoi interzisă în Spania, Suedia, Brazilia, Marea Britanie, Italia, Polonia şi Portugalia. Dar şi în Franţa, înainte de ora 23! În plus, Vaticanul l-a excomunicat pe directorul casei de discuri care a lansat piesa în Italia. Birkin a declarat apoi că Gainsbourg l-a numit pe Papă "cel mai mare PR-ist al nostru". Tot Birkin a declarat, în 1984, că nu înţelege de ce s-a făcut atât tam-tam pe marginea piesei. "Sunt sigură că englezii nici măcar n-au înţeles despre ce e vorba". Şi chiar aşa a fost! În tot cazul, piesa a avut un imens succes. Până în 1986 se vânduseră peste 4 milioane de copii. În Insulă a atins locul 2 în topuri, în primă fază, când fusese lansată de casa de discuri Fontana. Aceasta a vândut însă drepturile unui label independent, Major Minor Records şi, după relansare, a ajuns pe primul loc, devenind, evident, şi primul number one interzis. A rămas în top vreme de 31 de săptămâni şi a intrat chiar şi în topul american, până pe o... semnificativă poziţie 69. Din pricina faptului că americanii au catalogat-o drept "obscenă", piesa nu a vândut în State mai mult de 150.000 de copii. Şi asta chiar dacă New York Times a numit-o (în aplauzele lui Gainsbourg) "o fericită întâmplare poetică".
Zeci de cover-uri au fost făcute după Je t'aime, moi non plus, însuşi Gainsbourg parodiind-o într-o versiune pentru Bourvil, intitulată Ça. Printre alţii s-au numărat Donna Summer (celebrul Love to love you baby), Pet Shop Boys sau Brian Molko, de la Placebo.