Google’s Spanner hanterar data på 10 miljoner servar med GPS och synkade atomur

Jeff Dean, en av Googles viktigaste ingenjörer avslöjade i maj 2012 att Google arbetade på något som kallas Spanner, ett system som kan jonglera data på 10 miljoner servrar i datacenter över hela världen.

Omfattningen av projektet var häpnadsväckande. Men Dean gav få detaljer när han avslöjade att det fanns. Det var då oklart om Google faktiskt använde plattformen i verkligheten. I tisdags kom ett besked.

Denna vecka rapporterade GigaOM och ZDNet att Google släppt en forskningsrapport om Spanner. Enligt Google har de en databasen som kan samtidigt både lagra och hämta information över ett världsomspännande nätverk av datorer, vilket betyder att alla användare ser samma  information i realtid. I själva verket har systemet länge varit fullt operativt och drivit bolagets annonssystem (AdWords) och diverse andra webbtjänster.

Nyckel i ett systemet som hanterar alla servrar är superexakta och synkroniserade atomur och GPS:er liknande de som finns i smartphones. Synkroniseringen av distributionen är av central betydelse och det fungerar. Få andra företag på jorden kan ta itu med så mycket data med en sådan snabbhet.

“If you want to know what the large-scale, high-performance data processing infrastructure of the future looks like, my advice would be to read the Google research papers that are coming out right now,” Mike Olson, the CEO of Hadoop specialist Cloudera, said at recent event in Silicon Valley.

Facebook har redan byggt liknande system som Spanner, kallat Prism. Det är helt annorlunda än Googles skapelse.

Spanner bygger på BigTable, ett system som kan hantera oerhört stora mängder data, men Spanner går mycket längre. Medan BigTable används bäst för att lagra information på tusentals servrar i ett enda datacenter, expanderar Spanner denna idé till att omfatta miljontals servrar och flera datacenter samtidigt.

Det geniala med Spanner ligger i något Google kallar ”TrueTime API”. API står för Application Programming Interface, men i detta fall handlar det om en central datafeed som dessa servrar ansluter till. TrueTime använder GPS-antenner och atomur. En GPS-antenn har anslutning till det globala positioneringssystemet, som bygger på rymdsatelliter vilka i realtid spårar tid och plats för antennerna. Ett atomur använder egenskaper hos enskilda atomer för att upprätthålla rätt tid.

BigTable använder i sin tur något Google kallar TrueTime, ett system som hanterar data över hela världen så att allt är synkat och flödar utan fördröjning.

”Rather than try to improve the communication between servers, Google spreads clocks across its network. It equips various master servers with GPS antennas or atomic clocks, and — working in tandem with the TrueTime APIs — these time keepers keep the entire network in sync.”

Läs hela artikeln på engelska

Relaterat: ”Använd molnet – på egen risk” DN

Stig Björne


Street View TrekkerGoogles allseende ögon kan nu bäras runt överallt

Efter Googles spionbilar och allseende flygplan, släppte bolaget sommaren 2012 en ryggsäckskamera ”Street View Trekker” i ett försök att kartlägga allt från fotgängarperspektiv. Google menar att ”Street View Trekker”  var ännu ett steg framåt i sina planer på att producera en interaktiv och global karta.

Läs mer

Nyckel i ett systemet som hanterar alla servrar är superexakta och synkroniserade atomur och GPS:er liknande de som finns i smartphones. Synkroniseringen av distributionen är av central betydelse och det fungerar. Få andra företag på jorden kan ta itu med så mycket data med en sådan snabbhet.

About Stig Björne

Stig Björne bor i Sverige och ibland utomlands. Han jobbar inom IT och PR som anställd. Stig har fru (Annika) och ett barn, spelar golf och hänger på landstället nära havet så ofta han kan.