Власне, що ж нового для себе я дізнався на заході:
З приблизно першої половини року їх офіційна активна аудиторія підвищилася з 400 до 500 мільйонів чоловік. Штат інженерів (тобто по-нашому розробників і сис. Адміністраторів) збільшився до
500 людей, приблизно стало зрозуміло як вони розподілені.
Основний принцип: багато невеликих вузькоспеціалізованих команд, яким надані повноваження приймати рішення і проводити повністю продукт від стадії ідеї до стадії реалізаціі.Около половини працюють в «продуктових» командах, до 5-10 осіб у кожній (фотографії, пошук, особисті повідомлення, і. т.п.)
Ряд команд, що займаються загальними питаннями (наприклад 4 людини працюють над оптимізацією MySQL, ще є команди з безпеки, приватності, продуктивності).
Нестрогий менеджмент, 2 рівня управління. Використовуються апаратні балансувальник навантаження від F5 + якесь опенсорсний рішення, сказав що можливо nginx, але він не впевнений. Віртуалізація зовсім не використовується - на такому масштабі вона не актуальна. MySQL-сервера використовують підключення безпосередньо масиви дисків (direct attached storage). З питань моніторингу подекуди використовуються nagios і ganglia, але більша частина даної підсистеми написано самостійно
Десятки тисяч серверів і десятки гігабіт трафіку, більш точних цифр, на жаль, не дали.
Комерційного програмне забезпечення практично не використовується, здебільшого власні розробки і в ключових місцях opensource
Сам запитав про датацентри: Santa Clara, California - master (назви місць погано розчув, поправте якщо помиляюсь)
Ashburn, Virginia - read-only slave
За межами США присутність дуже невелике, по парі стійок в декількох країнах - якщо я правильно зрозумів, то для кешування статики, тобто своя CDN. Крім цього мені було цікаво про реплікацію між ними:
Використовується модифікований механізм вбудованої реплікації MySQL
Основні доопрацювання: передача крім власне даних списку ідентифікаторів об'єктів, які слід інвалідіровать через поточного оновлення + якась хитра система расстоновкі прапорів про поточний стан процесу реплікації
DDoS їх особливо не хвилює - скільки-небудь серйозних спроб вони не зустрічали, захист апаратна на рівні ДЦ, як я зрозумів.
На питання про основний дистрибутив лінукс і вендорів обладнання він був не особливо впевнений, але сказав що швидше за все использутся CentOS і вони працюють з кількома основними вендорами серверів (HP, IBM, Dell) - своє обладнання (як Google) вони не винаходять, так як не вважають за доцільне
Використовується досить сильно модифіковане ядро ОС, особливо по частині мережевого стека.
На що хтось із залу вигукнув: "Хлопці, ви захоплюєте світ. Це лякає".