Em 1883, Han Dade, Carel Reeser, Floris Stempel e outros amigos fundaram um pequeno clube de futebol chamado "Union". No ano seguinte, ele passou a ser o "Footh Ball Club Ajax". No final do século, com uma história de poucos êxitos, dificuldades financeiras e muitos jogadores deixando a agremiação, Dade, Reeser e Stempel decidiram criar um "clube de futebol completamente novo". Foi nesse encontro histórico no dia 18 de março de 1990 no Café Oost-Indië em Amsterdã que o "Football Club Ajax" foi formado, dessa vez com a grafia inglesa correta.

O clube se afiliou à Associação de Futebol de Amsterdã e alugou um campo no norte da cidade para mandar os seus jogos. Os esforços renderam frutos com dois vice-campeonatos citadinos. Porém, foi somente na década de 1930 que a equipe realmente floresceu. Em dez anos, o Ajax ganhou sete títulos regionais e cinco nacionais. A época de ouro também contou com a construção do novo Estádio De Meer para receber os cada mais numerosos torcedores que se reuniam para assistirem a craques como Gerrit Fischer.

O time de Amsterdã teve uma nova fase de ouro com o técnico Rinus Michels, que implantou uma filosofia de ataque pela qual o Ajax é famoso ainda hoje. O "General" levou o time a quatro títulos holandeses e três conquistas da Copa da Holanda em seis anos. Na temporada 1966/67, chegou a conquistar os dois troféus. O nome do Ajax também começou a superar as fronteiras nacionais. Em 1969, foi o primeiro representante do país em uma final da Copa dos Campeões, torneio que depois viria a ser a Liga dos Campeões.

Apesar da derrota de 4 a 1 diante do Milan, aquela decisão representou o início de uma ascensão ao topo do futebol europeu, com a conquista do torneio máximo do continente em 1971, 1972 e 1973. Em 1972, o clube também ganhou a sua primeira Copa Intercontinental ao superar o Independiente e de lambuja conquistou o Campeonato Holandês. No meio desse período, o goleiro Heinz Stuy passou 1.082 minutos sem tomar gol e o ataque balançou as redes mais de cem vezes em duas temporadas seguidas do campeonato nacional.

O maior astro daquela equipe revolucionária foi o atacante Johan Cruyff, que saiu para o Barcelona em 1973 e ajudou a levar o clube catalão ao seu primeiro título espanhol em 14 anos. Outros nomes de destaque foram Arie Haan, Johan Neeskens, Piet Keizer, Wim Suurbier, Johnny Rep e Ruud Krol.

O Ajax conquistou o seu quarto título europeu em 24 de maio de 1995, quando Patrick Kluivert fez o gol da vitória diante do Milan na decisão em Viena. No final daquele ano, a equipe ganhou o segundo título mundial, derrotando o Grêmio no confronto em Tóquio.

As conquistas logo levaram a saídas de jogadores importantes como Dennis Bergkamp e Wim Jonk (ambos para a Internazionale), Bryan Roy (Foggia) e Jan Wouters (Bayern), mas o êxodo acabou dando ao clube a oportunidade de criar uma nova geração de jogadores talentosos. O crescimento continuou também fora de campo, com a inauguração da Amsterdam Arena em 1996.