Hannibal a hadüzenet hírére szinte azonnal megindult Itália felé, mégozzá nem hajón, ahogy azt várható lett volna, hanem szárazföldön, a Pireneusokon, majd az Alpokon át. Szerencséjére a Hispánia és Kárthágó ellen küldendő két római hadsereg nem tudott idejében elindulni, mert lekötötte őket - pontosabban az egyiket, Publius Cornelius Scipio konzul hadseregét - az észak-itáliai gall törzsek elleni háború.

Hannibal különösebb nehézségek nélkül jutott át a Pireneusokon. Hadserege karthágói harcosokból, numidiai lovasokból, baleári parittyásokból, gall és ibér zsoldosokból, valamint harci elefántokból állt. A környéken élő ellenséges népeket lefizette, vagy megfélemlítette. Az újonnan szerzett régiók felügyelésére 11 000 katonát hagyott hátra, és a Pireneusoknál újabb 11 000 főnyi elégedetlenkedő hispán harcost bocsátott el. 40 000 gyalogossal és 12 000 lovassal vonult be Galliába.

Scipio hadserege eközben befejezte a háborút és Hannibal ellen vonult. Mire megérkezett a Karthágói hadsereg már észak felé vonult a Rhône folyó mentén. A rómaiak nem követték őket, hanem visszavonultak Massiliába (Marseille) és várták, hogy Hannibal megforduljon, mivel meg voltak róla győződve, hogy nem mer átkelni az Alpokon.

A karthágói hadvezér azonban pontosan ezt tette, és 218 őszén elindult az Alpokon keresztül. A hegyen való átkelés igencsak megviselte a numibiai, hispániai katonákból és harci elefántokból álló hadsereget. Az emberek és állatok sem a sziklás, hegyes-völgyes terephez, sem a szokatlanul hideg időjáráshoz nem voltak hozzászokva. Sokan megfagytak, vagy szakadékba zuhantak. Ismeretes, hogy mire Hannibal hadserege végre átkelt a hegyláncon, 37 harci elefántjából mindössze kettő maradt életben.