Debian Linux — основная операционная система

nginx — балансировка нагрузки

PHP + XCache

Apache + mod php

memcached

MySQL

Собственная СУБД на C, созданная «лучшими умами» России

node.js — прослойка для реализации XMPP, живет за HAProxy

Изображения отдаются просто с файловой системы xfs

ffmpeg — конвертирование видео

95 миллионов учетных записей

40 миллионов активных пользователей во всем мире (сопоставимо с аудиторией интернета в России)

11 миллиардов запросов в день

200 миллионов личных сообщений в день

Видеопоток достигает 160Гбит/с

Более 10 тысяч серверов, из которых только 32 — фронтенды на nginx (количество серверов с Apache неизвестно)

30-40 разработчиков, 2 дизайнера, 5 системных администраторов, много людей в датацентрах

Каждый день выходит из строя около 10 жестких дисков

Cервера многофункциональны и используются одновременно в нескольких ролях:

Перебрасывание полуавтоматическое

Требуется перезапускать daemon''ы

Генерация страниц с новостями (микроблоги) происходит очень похожим образом с Facebook, основное отличие — использование собственной СУБД вместо MySQL

При балансировке нагрузки используются:

Взвешенный round robin внутри системы

Разные сервера для разных типов запросов

Балансировка на уровне ДНС на 32 IP-адреса

Большая часть внутреннего софта написано самостоятельно, в том числе:

Собственная СУБД (см. ниже)

Мониторинг с уведомлением по СМС

Автоматическая система тестирования кода

Анализаторы статистики и логов

Мощные сервера:

8-ядерные процессоры Intel (по два на сервер)

64Гб оперативной памяти

8 жестких дисков (соответственно скорее всего корпуса 2-3U)

RAID не используется

Не брендированные, собирает компания ТехноОкта

Вычислительные мощности серверов используются менее, чем на 20%

Сейчас проект расположен в 4 датацентрах в Санкт-Петербурге и Москве, причем:

Вся основная база данных располагается в одном датацентре в Санкт-Петербурге

В Московских датацентрах только аудио и видео

В планах сделать репликацию базы данных в другой датацентр в ленинградской области

CDN на данный момент не используется, но в планах есть

Резервное копирование данных происходит ежедневно и инкрементально.

Разработана «лучшими умами» России, победителями олимпиад и конкурсов топкодер; озвучили даже имена этих «героев» Вконтакте:

Используется в огромном количестве сервисов:

Нереляционная модель данных

Большинство операций осуществляется в оперативной памяти

Интерфейс доступа представляет собой расширенный протокол memcached, специальным образом составленные ключи возвращают результаты сложных запросов (чаще всего специфичных для конкретного сервиса)

Хотели бы сделать из данной системы универсальную СУБД и опубликовать под GPL, но пока не получается из-за высокой степени интеграции с остальными сервисами

Кластеризация осуществляется легко

Есть репликация

Эти подпроекты являются побочными для социальной сети, на них особо не фокусируются. В основном это связанно с тем, что они редко коррелируют с основной целью использования социальной сети — общением, а также создают большое количество проблем: видеотраффик — основная статья расходов проекта, плюс всем известные проблемы с нелегальным контентом и претензиями правообладателей. Медиа-файлы банятся по хэшу при удалении по просьбе правообладателей, но это неэффективно и планируется усовершенствовать этот механизм. 1000—1500 серверов используется для перекодирования видео, на них же оно и хранится.

 

Во Вконтакте считают данное направление очень перспективным и осуществляют массу связанной с этим работы. Основные предпринятые шаги:

максимальная кроссбраузерность для виджетов на основе библиотек easyXDM и fastXDM;

кросс-постинг статусов в Twitter, реализованный с помощью очередей запросов;

кнопка «поделиться с друзьями», поддерживающая openGraph теги и автоматически подбирающая подходящую иллюстрацию (путем сравнивание содержимых тега <title> и атрибутов alt у изображений, чуть ли не побуквенно);

возможность загрузки видео через сторонние видео-хостинги (YouTube, RuTube, Vimeo, и.т.д.), открыты к интеграции с другими.

Процесс разработки близок к Agile, с недельными итерациями

Ядро операционной системы модифицированно (на предмет работы с памятью), есть своя пакетная база для Debian

Фотографии загружаются на два жестких диска одного сервера одновременно, после чего создается резервная копия на другом сервере

Есть много доработок над memcached, в.т.ч. для более стабильного и длительного размещения объектов в памяти; есть даже persistent версия

Фотографии не удаляются для минимизации фрагментации

Решения о развитии проекта принимают Павел Дуров и Андрей Рогозов, ответственность за сервисы — на них и на реализовавшем его разработчике

Павел Дуров откладывал деньги на хостинг с 1 курса.

В целом ВКонтакте развивается в сторону увеличения скорости распространения информацию внутри сети. Приоритеты поменялись в этом направлении достаточно недавно, этим обусловлено, напимер, перенос выхода почтового сервиса Вконтакте, о котором очень активно говорили когда появилась возможность забивать себе текстовые URL. Сейчас этот подпроект имеет низкий приоритет и ждет своего часа, когда они смогут предложить что-то более удобное и быстрое, чем Gmail.