Kleftiko n'a jamais eu de route. Les tours de roche pâle qui se dressent au large de la côte sud-ouest de Milos émergent d'une eau assez profonde pour engloutir un mât, et pendant quatre siècles, tous ceux qui les ont atteintes sont arrivés par la mer. Cette géographie est la raison même de l'existence des excursions en bateau à Kleftiko au départ de Pollonia : Pollonia se trouve à la pointe nord-est opposée de l'île, et un navire quittant son port doit longer toute la côte nord avant de virer au sud après le cap Vani. Le site ne facture aucun droit d'entrée — 0 EUR — car il n'y a pas de porte à laquelle en percevoir. Le nom vient de « kleftes », le mot grec pour voleurs. Pendant la période ottomane, les corsaires travaillant sur les routes du grain et de la soie de la mer Égée s'amarraient à l'intérieur de ces cavernes, assez profondes pour dissimuler un petit navire à toute patrouille passant au large. Milos récompensait le risque. L'île commerçait l'obsidienne à travers la Méditerranée depuis le Néolithique, et en 1820, un agriculteur près de Tripiti a déterré la figure en marbre exposée au Louvre sous le nom de Vénus de Milo. La piraterie ici n'était pas du folklore mais de l'économie de fret, et les grottes étaient une infrastructure. La roche elle-même est volcanique. Milos forme l'ancre occidentale de l'arc volcanique du sud de l'Égée, et ses falaises sont constituées de tuf blanchi par hydrothermalisme, assez tendre pour que la houle y creuse des arches, des tunnels et des plafonds effondrés. Des carrières ailleurs sur l'île expédient encore de la bentonite et de la perlite dans le monde entier. Les croisières à la voile vers Kleftiko associent généralement la formation à Polyaigos, la plus grande île inhabitée de la mer Égée, dont les flancs calcaires rencontrent la même eau transparente. La demande constante signifie que les billets pour une excursion en bateau à Kleftiko au départ de Pollonia sont réservés bien à l'avance pendant les mois d'été. Aujourd'hui, le littoral se trouve au sein d'une zone protégée Natura 2000. Rien n'a été construit à Kleftiko : pas de jetée, pas de kiosque, pas de signalisation, pas d'éclairage. La seule structure en vue est Agios Ioannis Siderianos, une chapelle blanchie à la chaux située à l'intérieur des terres au-dessus des falaises et accessible par un terrain accidenté. Ce qu'une excursion en bateau à Kleftiko au départ de Pollonia offre, ce n'est donc pas l'accès à un monument, mais la proximité d'une géologie brute — pierre blanche, ombre bleue et les cavités creusées par le sel qui abritaient autrefois des voleurs.