19.02.2020

Google опубликовал новый вариант системы распределения памяти TCMalloc


Компания Google представила новый вариант системы распределения памяти TCMalloc, которая используется во многих внутренних проектах Google. Код TCMalloc написан на С++ и распространяется под лицензией Apache. Для работы требуется наличие компилятора с поддержкой C++17 для языка C++, и C11 для языка Си (gcc 9.2+ или clang 9.0+). Из операционных систем поддерживается только Linux (x86, PPC).

Примечательно, что с 2005 года существует ещё один вариант tcmalloc, который поставлялся в составе пакета gperftools (Google Performance Tools). Это два разных проекта, имеющих общие корни. Новый TCMalloc является скорее попыткой открыть код актуальных внутренних наработок Google, но он пока не нацелен на предоставление стабильного ABI и поддержку широкого спектра операционных систем. Сопровождение старого tcmalloc из gperftools будет продолжено, но новые возможности, такие как привязка кеша к CPU, в него переносить не планируется.

TCMalloc включает реализацию Си-функции malloc() и С++ оператора «new», оптимизированных для достижения высокой производительности и применения в многопоточных приложениях. TCMalloc также предоставляет возможности интроспекции и профилирования, позволяющие приложению получить подробные сведения об использовании памяти в куче. В коде применяются оптимизации на основе современных возможностей языка C++, таких как оператор delete с указанием размера из C++14 и выделение памяти с выравниванием из C++17.

TCMalloc состоит из трёх компонентов: фронтэнда с кешем для быстрого выделения и освобождения памяти, прослойки для наполнения кеша фронтэнда и бэкенда, выполняющего такие операции, как получение памяти от операционной системы, управления большими кусками неиспользованной памяти и возвращение лишней памяти обратно в ОС. Кеш избавлен от блокировок и работает в привязке к ядрам CPU, но откатывается на модель кеширования в привязке к потокам в случае отсутствия необходимой функциональности в ядре ОС (привязка кеша к CPU работает только в свежих ядрах Linux). Бэкенд поддерживает работу как с обычными страницами памяти, так и со страницами увеличенного размера (hugepage).

Основные особенности TCMalloc:

  • Быстрое выделение и освобождение памяти с использованием кеширования. Большинство операций выделения памяти не требуют блокировки, что обеспечивает хорошую масштабируемость для многопоточных приложений с высоким параллелизмом выполнения работ;
  • Гибкое использование памяти, позволяющее повторно использовать освобождённые области памяти для объёктов различного размера или возвращать память операционной системе;
  • Низкие накладные расходы на каждый объект за счёт выделения страниц объектов одинакового размера и эффективное по представление мелких объектов. Поддерживаются логичкеские страницы, размером 4KiB, 8KiB, 32KiB и 256KiB. Например, при запросе блоков в 512 байт памяти, будет выделена целая страница 4KiB под 512 байтовые объекты, в которой сможет уместиться 8 таких объектов;
  • Возможна тонкая настройка через определения размера кеша и параметров интенсивности возвращения памяти в ОС;
  • Предоставление детальной информации для анализа использования памяти приложением.

Источник: https://www.opennet.ru/opennews/art.shtml?num=52364

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *