Revelado pelo Ajax, dos Países Baixos, em 2003, foi emprestado ao RKC Waalwijk, do mesmo país, durante a temporada 2004-05. No Ajax, chamou a atenção dos grandes clubes europeus devido à suas boas atuações e seus belos desarmes durante as partidas e começou também a ser chamado para a Seleção Belga.
Em 19 de junho de 2009, foi contratado pelo Arsenal, da Inglaterra. Logo em seu jogo de estreia com a camisa dos Gunners, na goleada por 6-1 contra o Everton, em Goodison Park, fez seu primeiro gol pelo clube londrino. Vermaelen conquistou espaço rapidamente no time titular após a saída de Kolo Touré, vendido ao Manchester City. Surpreendeu pela forma que se adaptou ao futebol inglês, além de se mostrar um zagueiro com chutes muito precisos de longa distância e ser muito veloz, coisa rara em jogadores desta posição.
Na temporada, 2010-11, foi prejudicado devido a uma lesão sofrida ainda em 2010, durante uma partida pela Seleção Belga. Em março de 2011, o treinadorArsène Wenger anunciou que Vermaelen sofreu um revés durante sua recuperação, e deve perder todo o restante da temporada, tendo atuado em apenas três partidas pela Premier League 2010-11.
Em 9 de agosto de 2014 foi contratado pelo Barcelona por cinco temporadas.[1] Tendo convivido com lesões, estreou pela equipe somente na última rodada da Liga, contra o Deportivo La Coruña em 23 de maio de 2015.[2] Na temporada 2014–15 conquistou a Liga espanhola e a Copa del Rey. E apesar de integrar o elenco que conquistou a Liga dos Campeões da UEFA, não é considerado campeão pelo regulamento da UEFA, por não ter entrado em nenhuma partida do competição.[3]