Статья: "Сравнительный тест систем кэширования пользовательских данных для PHP."

Wed, 27 Aug 2008 14:17:32 GMT

Сравнительный тест систем кэширования пользовательских данных для PHP.

Роман Чернышов (rxl@mail.ru)
15.08.2008

Содержание.

http://club.shelek.ru/viewart.php?id=300#post_p1">Введение.
http://club.shelek.ru/viewart.php?id=300#post_p2">Краткий обзор.
- http://club.shelek.ru/viewart.php?id=300#post_p2_1">eAccelerator
- http://club.shelek.ru/viewart.php?id=300#post_p2_2">APC
- http://club.shelek.ru/viewart.php?id=300#post_p2_3">XCache
- http://club.shelek.ru/viewart.php?id=300#post_p2_4">Memcache
http://club.shelek.ru/viewart.php?id=300#post_p3">Подготовка к тестам.
http://club.shelek.ru/viewart.php?id=300#post_p4">Тесты.
- http://club.shelek.ru/viewart.php?id=300#post_p4_1">Тест первый. Зверский.
- http://club.shelek.ru/viewart.php?id=300#post_p4_2">Тест второй. Многократное чтение.
- http://club.shelek.ru/viewart.php?id=300#post_p4_3">Тест третий. В погоне за реальностью.
http://club.shelek.ru/viewart.php?id=300#post_p5">Заключение.

Введение.

Началось все с того, что захотелось уменьшить время отклика страниц. Не разбираясь особо, я поставил на наш http://club.shelek.ru/" target="_blank">клубный сервер eAccelerator. Он умеет кэшировать скомпилированные в байт-код php-файлы, имеет оптимизатор кода и позволяет кэшировать пользовательские данные и данные сессий. Время отклика снизилось на разных сайтах в 2-10 раз, в зависимости от внутренней логики движков: которые по проще - страницы просто вылетают, которые по мудренее - немного по быстрее стали работать.

Потом в голове возник вопрос: а правильный ли выбор я сделал. Стал искать сравнительные тесты в интернете и ничего стоящего не нашел. Даже странно стало: оптимизаторы php существуют не первый год, а сравнений никто не производил. Даже если кто их и делал, то в поисковых системах они погребены под горами мусора.

Рассмотрев список бесплатно доступных систем, составил следующий список: eAccelerator, APC, XCache и Memcache.

Первые три умеют кэшировать скомпилированные php-файлы, eAccelerator и APC имеют оптимизаторы кода, Memcache же является отдельным кэширующим сервером и к php имеет отношение только тем, что для работы с ним существует php-модуль.

Краткий обзор.

eAccelerator

http://bart.eaccelerator.net/doc/phpdoc/" target="_blank" rel="nofollow">http://bart.eaccelerator.net/doc/phpdoc/

По API больше понравился eAccelerator. API простое - только самое нужное, но есть и такие возможности, которых нет у других - функции блокировки ключа. Документация неудобная, но информация понятна и есть толковые примеры. Он также лучше и удобнее в настройках. Позволяет отдельно управлять хранением ключей, сессий и данных (скомпилированного кода и пользовательских данных). Методы хранения: только в разделяемой памяти, в памяти и на диске одновременно, в памяти с вытеснением на диск и только на диске. Легко и прозрачно можно отделить ключи каждого виртуального сервера в системе, чтобы не было лишних дырок в безопасности и пересечения ключей, установкой уникального значения параметра eaccelerator.name_space для каждого виртуального сервера. Переписал код club.shelek.ru на работу с кэшом: среднее время генерации страницы всего 4-5 мс против 90-120 без кэша. Против ожидания, что нагрузка на процессор и память возрастет, наблюдаю наоборот - снижение за счет меньшей нагрузки на базу данных. Посмотрим, как он покажет себя при длительной эксплуатации.

APC

http://www.php.net/apc" target="_blank" rel="nofollow">http://www.php.net/apc

APC очень обилен в настройках. Пока я предпочел не крутить настройки и пользоваться значениями по умолчанию. API очень маленькое. Интересная фича - сохранение массива и восстановление его как набора констант. Редкая по нужности фича.

XCache

http://xcache.lighttpd.net/wiki/XcacheApi" target="_blank" rel="nofollow">http://xcache.lighttpd.net/wiki/XcacheApi

После eAccelrator и APC, XCache ничем хорошим не удивил. Отвратительная документация по API без единого комментария (я назвал ее - "черный квадрат"), хотя для базовых функций даны примеры и то хорошо. API простое. Из особенностей - возможность выполнять инкремент и декремент числового значения в кэше и функция проверки наличия ключа в кэше без пересылки самого значения. Настроек довольно мало. Удивило то, что кэширование, по умолчанию, разрешено, но размер используемой памяти и максимальные размеры пользовательских объектов равны нолю, что по документации означает - "запрещено".

Memcache

http://www.php.net/memcache" target="_blank" rel="nofollow">http://www.php.net/memcache

Memcache минималистичен в настройках, так как настройки управления кэшированием находятся на стороне сервера memcached. API у него посложнее, чем у первых трех систем, и поддерживает работу в процедурном и ООП способах. Из особенностей: помимо функции установки значения по ключу, есть возможность добавить ключ, только если его еще нет, и перезаписать, только если он уже есть. Может иметь несколько кэширующих серверов: как на том же хосте, так и на других. Как я понял, суть Memcache в использовании ресурсов других хостов. По моему мнению, это несколько устарело: если ресурсов одного хоста не хватает, то лучше найти другой способ распределить нагрузку, чем коммуникация по TCP с кэширующими серверами на других хостах, что вносит существенную задержку. Тем не менее, Memcache в сети упоминается часто, из чего делаю вывод о его популярности и включаю в список тестируемых систем.

Подготовка к тестам.

Тестировать все это на живом сервере я не рискнул и использовал виртуальную машину. Все программы, которые могли вызвать неожиданную нагрузку на систему и повлиять на результаты замеров, были остановлены.

Условия тестов:

Хост система: одноядерный P4 2800 ГГц, 1.5 ГБ памяти DDR-400, Windows XP Professional SP2, VMware Workstation 5.5.1.
Виртуальная система: 512 МБ, Linux CentOS 5.1, Apache 2.2.3, PHP 5.1.6, gcc 4.1.2.

Тестируемые программы были собраны на это виртуальном хосте с дополнительным ключом компиляции -O3. Для компиляции потребовалось скомпилировать и установить программу re2c версии 0.13.5.

Версии программ:

eAccelerator - 0.9.5.3
APC - 3.0.19
XCache - 1.2.2
Memcache - 3.0.1
Memcached - 1.2.6

Всем кэш-системам было выделено по 64 МБ разделяемой памяти. Оптимизация кода была включена. Перед каждым тестом каждой системы исправлялся конфиг php.ini, чтобы загружалась только тестируемая система, и выполнялся рестарт демона httpd.

Лимит времени работы скрипта был убран, память выделяемая процессу - 200МБ (сперва было 16, но об этом чуть позже). Время измерялось php-функцией microtime(true) - с точностью до микросекунд.

Работу с кэш-системами обеспечивал несколькими днями ранее написанный класс.

Код: (php)


// (c) 2008 Veselchak U

class Cache
{
    var $_cache_type = 'auto'; // дефолтное значение
var $_memcache = null;

    function __constructor($options = null)
    {
        $this->Cache($options);
    }

    function Cache($options = null)
    {
      // Проверка поддержки кеш-систем
   $cache_systems = array();

 if (function_exists('eaccelerator_get'))
       $cache_systems[] = 'eaccelerator';

        if (function_exists('apc_fetch'))
      $cache_systems[] = 'apc';

 if (function_exists('xcache_get'))
     $cache_systems[] = 'xcache';

      if (class_exists('Memcache'))
          $cache_systems[] = 'memcache';

    $required_cache = isset($options['cache']) ? $options['cache'] : $this->_cache_type;

       if (count($cache_systems) && $required_cache != 'none')
        {
           if ($required_cache == 'auto')
       $this->_cache_type = array_shift($cache_systems); // первое значение в списке
           else if (in_array($required_cache, $cache_systems))
          $this->_cache_type = $required_cache;
          else
        $this->_cache_type = 'none';
       }
       else
        $this->_cache_type = 'none';

   if ($this->_cache_type == 'memcache')
 {
           $failed = true;

       if (isset($options['memcache']) && is_array($options['memcache']))
           {
           $this->_memcache = new Memcache;

      foreach ($options['memcache'] as $server)
            {
               if (!is_array($server) || !isset($server['host'])) // host должен быть указан
             continue;

           $server['port'] = isset($server['port']) ? (int) $server['port'] : ini_get('memcache.default_port');
         $server['persistent'] = isset($server['persistent']) ? (bool) $server['persistent'] : true;

              if ($this->_memcache->addServer($server['host'], $server['port'], $server['persistent']))
          $failed = false;
          }

       if ($failed)
               $this->_memcache = null;
       }

       if ($failed)
           $this->_cache_type = 'none';
       }
    }

    function get($key)
    {
      $data = null;

     switch ($this->_cache_type)
     {
           case 'none':
           break;
      case 'eaccelerator':
           $data = eaccelerator_get($key);
           break;
      case 'apc':
            $data = apc_fetch($key);
          break;
      case 'xcache':
         $data = xcache_get($key);
         break;
      case 'memcache':
       $data = $this->_memcache->get($key);
        break;
  }

   return $data;
    }

    function put($key, &$data, $ttl)
    {
 switch ($this->_cache_type)
     {
           case 'none':
           break;
      case 'eaccelerator':
           eaccelerator_put($key, $data, $ttl);
      break;
      case 'apc':
            apc_store($key, $data, $ttl);
     break;
      case 'xcache':
         xcache_set($key, $data, $ttl);
            break;
      case 'memcache':
       // Решение set() проблемы с несколькими серверами.
      // http://www.php.net/manual/ru/function.memcache-set.php#840
          if (!$this->_memcache->replace($key, $data, MEMCACHE_COMPRESSED, $ttl))
               $this->_memcache->set($key, $data, MEMCACHE_COMPRESSED, $ttl);

     break;
  }
    }
}

?>

Для тестов были созданы 4 файла:

Название	Размер
Тест 1	1028299
Тест 2	101600
Тест 3	10081
Тест 4	1010

Содержимое каждого файла представляет из себя сериализованный массив, заполненный случайными значениями. Размеры их, как видите, приблизительно равны 1МБ, 100кБ, 10кБ и 1кБ. В каждом тесте, каждая система тестировалась с каждым из этих файлов.

Тесты.

Заранее говорю, что тесты искусственные. К реальности приближен только третий тест, но и у него временами были трудности с точностью измерения очень малых промежутков времени. Главное здесь в сравнении работы четырех подопытных кэш-систем в одинаковых условиях.

Для большей наглядности я добавил к тестируемым кэш-системам еще и простое чтение файла. В первом тесте из было два:

Открытие файла, запись, перемещение позиции на начало, чтение, закрытие.
Открытие файла, запись, закрытие и последующее чтение функцией file_get_contents().

Для остальных тестов использовалось только чтение файла функцией file_get_contents().

Тест первый. Зверский.

Алгоритм теста такой: в кэш загружается пара ключ-значение и тут же считывается. Операция многократно повторяется. Контрольное время замеряется до и после цикла. Тест повторяется пять раз в течении одного запуска тестового скрипта. Результатом будет среднее значение этих пяти замеров.

Я подумал, что если размеры тестовых данных уменьшаются в десять раз от файла к файлу, то и число повторов тестовой операции стоит повышать в десять раз при переходе к следующему файлу. Для файла "Тест 1" было выполнено 10 повторов. Соответственно, для файла "Тест 4" - 10000.

Результаты тестирования представлены в таблице. Время - в секундах.

Система	Тест 1	Тест 2	Тест 3	Тест 4
Файл 1	2.336	2.561	2.191	5.407
Файл 2	2.571	2.128	3.088	8.406
eAccelerator	0.432	0.402	0.338	0.475
APC	9.699	10.036	10.264	13.970
XCache	0.482	0.946	0.928	1.521
Memcache	3.918	3.508	3.650	4.804

В графическом виде это выглядит так:

http://deepmemo.com/data/quotes/2008/08/27/14/17/917babb97e" alt="" border="0" lowsrc="http://files.shelek.su/articles/imgforarticles/rxl/temp/test1." width="400" height="" />

Сперва протестировал работу с файлами, eAccelerator, APC и Memcache, а когда перешел к XCache, то скрипт стал аварийно завершаться. В логах Апача было сообщение о нехватке памяти. Увеличил размер с 16 до 32 МБ и повторил эксперимент: опять падение. 128 МБ - тоже. 192 - опять. На 200 МБ скрипт отработал до конца без ошибок. Вот такой вот он - XCache. Пришлось проводить тест для всех систем заново, с едиными условиями. При этом время работы всех систем, кроме Memcache, серьезно сократилось: в 1.5-2 раза. Видимо, за счет уменьшения работ по сборке мусора.

Поразила скорость APC: в 2-4 раза медленнее, чем работа с файлами. Memcache тоже оказался не на высоте. eAccelerator, похоже, даже не заметил разницу: что 1 МБ, что 1 кБ, что 10 циклов, что 10000.

Тест второй. Многократное чтение.

На следующий день я поискал в интернете впечатления других людей о APC - аутсайдере моего теста, и, что интересно, ничего плохого не нашел. По этому я решил сделать еще один тест, более приближенный к реальности. За основу взял первый тест и изменил алгоритм: считывается тестовый файл, помещается в кэш и в цикле считывается. Время измерялось до функции чтения и после, помещалось в массив, а после цикла производилось усреднение результата. Количество циклов было аналогично первому тесту: от 10 до 10000.

Результаты представлены в таблице. Время - в секундах.

Система	Тест 1	Тест 2	Тест 3	Тест 4
Файл	0.121911	0.008692	0.001274	0.000242
eAccelerator	0.025335	0.002391	0.000201	0.000025
APC	0.099481	0.008770	сомневаются в том, что HTC Dream появится уже в сентябре. Утверждается, что Android готов на 80% и за несколько недель до 17 сентября оставшиеся 20% никак не могут быть завершены. Что ж, достаточно скоро мы сможем убедиться, кто был прав. HTC Dream уже в сентябре? \| AndroidWare.ru Thu, 14 Aug 2008 17:59:32 GMT Как сообщает интернет-ресурс TmoNews, стали известны некоторые подробности о предстоящем выпуске в продажу нового смартфона HTC Dream на базе Android, о котором уже распространилось множество слухов. В то время как ходили упорные слухи об отсрочке его выпуска до следующего года, согласно информации, полученной ресурсом, существующие абоненты оператора сотовой связи T-Mobile смогут размещать предварительные заказы на HTC Dream, начиная с 17 сентября. Причем цена на этот смартфон составит 399 долларов без контракта и 150 долларов вместе с контрактом. Как демонстрировать свой стартап / Стартапы / Хабрахабр Thu, 14 Aug 2008 17:33:17 GMT Google уже проникала на многие рынки, но компанией №1 она является только в сфере поиска. Хотя она и пыталась конкурировать с MySpace и Facebook в сфере социальных сетей, в области классифицированных объявлений с Craiglist, в новостной сфере с Yahoo и AOL, в сфере электронной почты и мгновенных сообщений с Microsoft, AOL и Yahoo. Горе-инноваторы / Лента новостей / Блоги / Хабрахабр Thu, 07 Aug 2008 16:11:31 GMT Тесты, проведенные в английской Times доказали, что хваленый RFID чип в паспортах жителей США и Великобритании (которые сейчас в массовом порядке начали их получать) может быть взломан и клонирован менее чем за час. Два рядовых паспорта среднестатистических англичан были «вскрыты», после чего на место фотографий владельцев были вставлены фотографии Усама Бен Ладена и подрывника-самоубийцы (в чувстве юмора не откажешь). Причем, что самое занимательное — уникальность обоих паспортов была подтверждена тем самым «специальным устройством». Feed.registerTemplateBundle - Facebook Developers Wiki Wed, 06 Aug 2008 15:16:18 GMT Which of the three stories gets published depends on which one is deemed to be the most engaging. Help по Google - Форум содружества домашних сетей города Днепропетровска Thu, 31 Jul 2008 18:59:30 GMT Интерфейс Google содержит довольно сложный язык запросов, позволяющий ограничить область поиска отдельными доменами, языками, типами файлов и т. д. Использование некоторых операторов этого языка позволяет сделать процесс поиска необходимой информации более гибким и точным. Рассмотрим некоторые из них. Логическое «И» (AND): По умолчанию при написании слов запроса через пробел Google ищет документы, содержащие все слова запроса. Это и соответствует оператору AND. Т.е. пробел равносилен оператору AND. Например: Кошки собаки попугаи зебры Кошки AND собачки AND попугаи AND зебры (оба запроса одинаковы) Логическое «ИЛИ» (OR): Пишется с помощью оператора OR. Обратите внимание, что оператор OR должен быть написан заглавными буквами. Относительно недавно появилась возможность написания логического «ИЛИ» в виде вертикальной черты ( \| ), подобно тому, как это делается в Яндексе. Используется для поиска с несколькими вариантами необходимой информации. Например: Таксы длинношерстные OR гладкошерстные Таксы длинношерстные \| гладкошерстные (оба запроса одинаковы) !!! Необходимо помнить, что запросы в Google не чувствительны к регистру! Т.е. запросы Остров Гренландия и остров гренландия будут абсолютно одинаковы. Оператор «Плюс» (+): Бывают ситуации, когда надо принудительно включить в текст какое-либо слово, которое может иметь варианты написания. Для этого используется оператор "+" перед обязательным словом. Предположим, если у нас запрос Один дома I, в результате запроса у нас появится ненужная информация об "Один дома II", "Один дома III" и совсем немного про "Один дома I". Если же у нас запрос вида Один дома +I, в результате будет информация только о фильме "Один дома I". Например: Газета +Заря Уравнение Бернулли +математика Исключение слов из запроса. Логическое «НЕ» (-): Как известно, информационный мусор часто встречается при составлении запроса. Чтобы его удалить, стандартно используются операторы исключения – логическое «НЕ». В Google такой оператор представлен знаком «минус». Используя этот оператор, можно исключать из результатов поиска те страницы, которые содержат в тексте определенные слова. Используется, как и оператор "+", перед исключаемым словом. Например: Журавль колодец -птица Мертвые души -роман Поиск точной фразы (""): Искать точную фразу на практике требуется либо для поиска текста определенного произведения, либо для поиска определенных продуктов или компаний, в которых название или часть описания представляет собой стабильно повторяющееся словосочетание. Чтобы справиться с такой задачей при помощи Гугла, требуется заключить запрос в кавычки (имеются в виду двойные кавычки, которые применяются, например, для выделения прямой речи). Например: Произведение "Тихий дон" "На дворе было холодно, хотя это и не мешало Борису осуществить запланированное" !!! Кстати, Google позволяет вводить в сторку запроса не более 32 слов! Усечение слова (): Иногда требуется искать информацию о словосочетании слов, в котором неизвестно одно или несколько слов. Для этих целей вместо неизвестных словв используется оператор "". Т.е. "" - любое слово или группа слов. Например: Мастер и Леонардо * Винчи Оператор cache: Поисковая машина хранит версию текста, которая проиндексирована поисковым пауком, в специальном хранилище в формате, называемом кэшем. Кэшированную версию страницы можно извлечь, если оригинальная страница недоступна (например, не работает сервер, на котором она хранится). Кэшированная страница показывается в том виде, в котором она хранится в базе данных поисковой машины и сопровождается надписью наверху страницы о том, что это страница из кэша. Там же содержится информация о времени создания кэшированной версии. На странице из кэша ключевые слова запроса подсвечены, причем каждое слово для удобства пользователя подсвечено своим цветом. Можно создать запрос, который сразу будет выдавать кэшированную версию страницы с определенным адресом: cache:адрес_страницы, где вместо "адрес_страницы" - адрес сохраненной в кэше страницы. Если требуется найти в кэшированной странице какую либо информацию, надо после адреса страницы через пробел написать запрос этой информации. Например: cache:www.bsd.com cache:www.knights.ru турниры !!! Надо помнить, что пробела между ":" и адресом страницы быть не должно! Опаратор filetype: Как известно, Google индексирует не только html страницы. Если, к примеру, понадобилось найти какую-нибудь информацию в отличном от html типе файла, можно воспользоваться оператором filetype, который позволяет искать информацию в определенном типе файлов (html, pdf, doc, rtf...). Например: Спецификация html filetypedf Сочинения filetype:rtf Оператор info: Оператор info позволяет увидеть информацию, которая известна Google об этой странице. Например: info:www.wiches.ru info:www.food.healthy.com Оператор site: Этот оператор ограничивает поиск конкретным доменом или сайтом. То есть, если сделать запрос: маркетинг разведка site:www.acfor-tc.ru, то результаты будут получены со страниц, содержащих слова "маркетинг" и "разведка" именно на сайте "acfor-tc.ru", а не в других частях Интернета. Например: Музыка site:www.music.su Книги site:ru Оператор link: Этот оператор позволяет увидеть все страницы, которые ссылаются на страницу, по которой сделан запрос. Так, запрос link:www.google.com выдаст страницы, в которых есть ссылки на google.com. Например: link:www.ozone.com Друзья link:www.happylife.ru Оператор allintitle: Если запрос начать с оператора allintitle, что переводится как "все в заголовке", то Google выдаст тексты, в которых все слова запроса содержатся в заголовках (внутри тега TITLE в HTML). Например: allintitle:Бесплатный софт allintitle:Скачать музыкальные альбомы Оператор intitle: Показывает страницы, в кoтopыx только то слово, которое стоит непосредственно после оператора intitle, содержится в заголовке, а все остальные слова запроса могут быть в любом месте текста. Если поставить оператор intitle перед каждым словом запроса, это будет эквивалентно использованию оператора allintitle. Например: Программы intitle:Скачать intitle:Бесплатно intitle:скачать софт Оператор allinurl: Если запрос начинается с оператора allinurl, то поиск ограничен теми документами, в которых все слова запроса содержатся только в адресе страницы, то есть в url. Например: allinurl:rus games allinurloks fantasy Оператор inurl: Слово, которые расположено непосредственно слитно с оператором inurl, будет найдено только в адресе страницы Интернета, а остальные слова – в любом месте такой страницы. Например: inurloks скачать inurl:games кряк Оператор related: Этот оператор описывает страницы, которые "похожи" на какую-то конкретную страницу. Так, запрос related:www.google.com выдаст страницы со схожей с Google тематикой. Например: related:www.ozone.com related:www.nnm.ru Оператор define: Этот оператор выполняет роль своего рода толкового словаря, позволяющего быстро получить определение того слова, которое введено после оператора. Например: define:Кенгуру define:Материнская плата Оператор поиска синонимов (~): Если вы хотите найти тексты, содержащие не только ваши ключевые слова, но и их синонимы, то можно воспользоваться оператором "~" перед словом, к которому необходимо найти синонимы. Например: Виды ~метаморфоз ~Объектное ориентирование Оператор диапозона (..): Для тех, кому приходится работать с цифрами, Google дал возможность искать диапазоны между числами. Для того, чтобы найти все страницы, соде

forrest : Блог

Эволюция Web X.X / Юмор на Хабрахабре / Хабрахабр

Сравнительный тест систем кэширования для PHP / PHP / Хабрахабр

Статья: "Сравнительный тест систем кэширования пользовательских данных для PHP."

HTC Dream уже в сентябре? | AndroidWare.ru

Как демонстрировать свой стартап / Стартапы / Хабрахабр

Горе-инноваторы / Лента новостей / Блоги / Хабрахабр

Feed.registerTemplateBundle - Facebook Developers Wiki

Help по Google - Форум содружества домашних сетей города Днепропетровска