8.8.8.8等はIP Anycast(アイピーエニーキャスト)と言われる技術を使用して、地域がわかれた世界中にあるサーバーで運用しています。技術的な話は、インターネットのルーティングどのように行われているか、ルーティング情報のやりとりに使われているBGPとは何か等がわかっていないと難しいですが、一番近いサーバーにルーティングするよう、うまいことやっていると思ってください(私もこの方面の専門じゃないので、全ては説明できません)。
エニーキャストはIPv6で規格に明記されましたが、技術的にはIPv4でもエニーキャストを実現可能で、使われてきました。エニーキャストはユニキャストと同じアドレス範囲を使用するため、アドレスから通常のユニキャストかエニーキャストかを判断することはできません。ただ、明確に範囲が異なるブロードキャストやマルチキャストとは区別可能です。ブロードキャストやマルチキャストも複数のサーバーを指し示すことになりますが、動作や技術は大きく異なるものになります。
通常、この「一番近い」というのは物理的な距離の話ではなく、経路的な距離の話です。同じデータセンターにある隣り合ったサーバーであっても、相互接続していない全く別のプロバイダーを使用していれば、インターネットのバックボーン(プロバイダーのプロバイダーみたいなもの)を出てから接続するでしょう。もし、地理的に遠い、例えば、東京と大阪といった場合でも、同じプロバイダーであれば、プロバイダー内で完結する事もあります※。また、クラウドサービスの場合、同じ会社のクラウドサービス同士であれば、その会社のネットワーク内で完結するという場合もあります。
※ 同じプロバイダーの場合に他社のバックボーンに出るか出ないかはプロバイダーによります。例えば、大学等が使用できるSINETは全国どこであっても、国内の大学同士の通信はSINET内に収まり、閉域網として扱えることが保証されています。これを実現出来るのは全国にあるノード(接続拠点)をメッシュ構造で接続しているためであり、かなりの費用がかけています。プロバイダーによっては、各地域を独自の通信網で結ばずに、地域毎にバックボーンに接続している場合もありますので、注意が必要です。逆に、地域間VPNサービスを提供しているプロバイダーだと、地域間閉域網があることを売りの一つにしている場合もあります。
pingが短いからと言って距離的に近いとは限りません。光ケーブルでもUTPでも通信はほぼ光の速度です。30km程度であれば0.1msで届きますので、1.5msでも同じ東京都23区内は十分にありえます。ping値は距離以外に経由するルーターの数や性能にも大きく左右されます。経由するルーターはtracertまたはtracerouteコマンドで確認できます。それぞれのルーターのIPアドレスから、どこの会社が管理しているルーターなのか、その場所はどこなのかをみれば、サービス内に留まっている、プロバイダー内に留まっている、国内バックボーン内で留まっている、実は海外経由してました、なんてことがわかるはずです。