Le charme de Nosy Be a été apprécié dès 1649, lorsque le colonel anglais Robert Hunt écrivit : "Je crois, et je jure devant Dieu, qu'aucune autre partie du monde n'est plus adaptée aux plantations que cette île ; une terre qui me semble parfaite tant pour le plaisir que pour le profit." Hunt cherchait à fonder une colonie sur l'île, qu'il appela Assada, mais ce projet échoua rapidement en raison de l'hostilité des habitants et des maladies. Des vagues d'immigration successives ont contribué à la diversité des ethnies présentes à Nosy Be.
L'île de Nosy Be entre dans l'histoire écrite de Madagascar lorsque le roi Radama Ier
proposa de conquérir l'ouest de l'île continentale pour arriver de l'intérieur jusqu'à la mer et réalisa son projet en parvenant à s'emparer du royaume Sakalava de Boina. C'était en 1830 lorsque le roi Radama Ier tentait d'unifier, sous son règne, toutes les tribus de Madagascar.
En 1839, la reine Sakalava Tsyomeko, vaincue par les Merina mais suivie par de nombreux sujets, se réfugia dans les îles de Nosy Komba et Tanikely. Les Merina ne purent pas les poursuivre sur ces îles, mais ils s'établirent sur la côte voisine, maintenant les Sakalava sous leur menace. Nosy Be demanda de l'aide au sultan de Zanzibar, mais ce dernier, ne se rendant pas compte que les ennemis Merina venaient des hauts plateaux, envoya inutilement un navire de guerre pour décourager toute tentative de conquête navale.
En 1840, le navire de guerre français "Colibrì" jeta l'ancre dans la baie de Nosy Be et les Sakalava se tournèrent vers le commandant pour obtenir une protection de la France. Saisissant l'opportunité, le capitaine Passot envoya un message à l'amiral Hell, gouverneur de l'île Bourbon (aujourd'hui la Réunion), qui, conscient de l'opportunité offerte à Passot, signa
un traité établissant le protectorat sur le royaume Sakalava. En 1841, les Sakalava cédèrent à la France à la fois Nosy Be et la voisine Nosy Komba. Le capitaine Passot et l'amiral Hell resteront gravés dans la mémoire de Nosy Be, notamment à travers les noms attribués, l'un au célèbre Mont Passot et l'autre à la capitale de l'île, Hell-Ville. Cependant, le protectorat français connut de longues années troublées par des incidents et des pillages. Le 26 juin 1960, Nosy Be et l'ensemble du Madagascar obtinrent leur indépendance de la colonisation française grâce au général De Gaulle.
Une des histoires les plus incroyables fut celle du navire de guerre russe envoyé par le tsar à Nosy Be pendant la guerre russo-japonaise de 1904-1905 — l'ordre était de protéger le canal du Mozambique contre les incursions japonaises. À la fin de la guerre, le navire russe fut oublié par le tsar et les malheureux hommes du contingent restèrent sur place en attendant des ordres, ignorants du fait que leur souverain avait signé la paix. Ainsi, ils s'établirent à Nosy Be où la plupart d'entre eux moururent de paludisme, de typhus et d'autres maladies tropicales. Ils reposent encore dans un coin du vaste cimetière de Hell Ville.