Swap свап: 403 — Доступ запрещён – 403 — Доступ запрещён

Подкачка страниц — Википедия

Подкачка страниц (англ. paging; иногда используется термин swapping от swap, /swɔp/) — один из механизмов виртуальной памяти, при котором отдельные фрагменты памяти (обычно неактивные) перемещаются из ОЗУ во вторичное хранилище (жёсткий диск или другой внешний накопитель, такой как флеш-память), освобождая ОЗУ для загрузки других активных фрагментов памяти. Такими фрагментами в современных ЭВМ являются страницы памяти.

Временно выгруженные из памяти страницы могут сохраняться на внешних запоминающих устройствах как в файле, так и в специальном разделе на жёстком диске (partition), называемые соответственно swap-файл и swap-раздел. В случае необходимости выгрузить из ОЗУ страницы, соответствующие содержимому какого-либо файла на жёстком диске (например, memory-mapped files), они могут не выгружаться, а просто удаляться. При запросе такой страницы она может быть считана из оригинального файла.

Когда приложение обратится к отсутствующей в ОЗУ странице, произойдет исключительная ситуация PageFault. Обработчик этого события должен проверить, была ли запрошенная страница ранее выгружена, и, если она есть в swap-файле, загрузить её обратно в память.

Изначально под свопингом понималась выгрузка процесса из оперативной памяти целиком, в результате чего неактивные процессы могли полностью отсутствовать в ОЗУ. При наступлении условий активизации процесса диспетчер памяти загружал образ процесса обратно.

Смысл термина изменился в 60-х годах, когда в операционных системах появилась поддержка виртуальной памяти: под свопингом стали понимать загрузку и выгрузку отдельных страниц. Впервые подкачка страниц была реализована в компьютере Atlas, выпущенном в 1962 году.

Основные функции механизма подкачки выполняются при попытке программы получить доступ к страницам, в данный момент не отображенным в физическую память (ОЗУ). Эта ситуация называется отказом страницы. В этот момент операционная система должна получить управление и обработать отказ страницы в прозрачной для программы форме. Таким образом, операционной системе необходимо:

1. Определить расположение требуемой страницы во вторичном хранилище.
2. Получить пустой страничный кадр в физической памяти для использования в качестве контейнера для данных.
3. Загрузить запрошенные данные в полученный страничный кадр.
4. Обновить таблицу страниц, чтобы она указывала на новый страничный кадр.
5. В прозрачной форме вернуть управление программе, повторно выполнив вызвавшую ошибку страницы инструкцию.

Если при получении пустого страничного кадра не хватает свободной оперативной памяти, выполняется алгоритм замены страниц, осуществляющий выбор одного из использующихся страничных кадров для выгрузки. Если выгружаемый страничный кадр был выделен динамически во время выполнения программы, либо если он является частью сегмента данных программы и изменялся с момента чтения в память (другими словами, если он стал «грязный»), перед освобождением он должен быть сохранён во вторичном хранилище. В противном случае, содержимое страничного кадра в оперативной памяти не отличается от содержимого страницы во вторичном хранилище, поэтому его выгрузка не требуется. Если позже в процессе работы произойдёт обращение к выгруженной странице, возникнет другой отказ страницы и нужно будет снова выделить страничный кадр, чтобы содержимое страницы во вторичном хранилище можно было повторно загрузить в ОЗУ.

Для обеспечения эффективной работы система подкачки должна выбирать для выгрузки те страничные кадры, обращение к которым в ближайшее время наименее вероятно. Существуют различные алгоритмы замещения страниц. В операционных системах используются алгоритмы LRU (англ. Last recently used), FIFO (англ. First In First Out) либо алгоритмы с учётом рабочего множества процесса

[1].

Для дальнейшего улучшения времени отклика системами подкачки могут использоваться различные стратегии прогнозирования ближайших обращений к страницам. Такие системы пытаются загрузить страницы в основную память заблаговременно, до того, как программа обратится к ним.

Алгоритмы определения устаревших страниц[править | править код]

При выделении места для новой страницы бывает необходимо удалить какую-либо страницу, в данный момент находящуюся в памяти. Правила замещения страниц служат для принятия решения о том, какую именно страницу следует удалить из памяти. Идеальным кандидатом является «мёртвая» страница, которая больше не потребуется кому-либо (например, относится к завершённому процессу). Если же таких страниц нет в памяти (или их количества недостаточно), используется правило локального или глобального замещения страниц:

• Правило локального замещения выделяет каждому процессу или группе взаимосвязанных процессов определённое количество страниц. Если процессу нужна новая страница, он должен заменить одну из собственных.
• Правило глобального замещения страниц позволяет брать страницы любого процесса, используя глобальные критерии выбора. Для реализации данного подхода необходимо выбрать критерий, по которому будет приниматься решение о страницах, хранимых в памяти.

Наиболее часто используемые критерии поиска:

• Least recently used. Удаляются те страницы, доступ к которым производился наиболее давно. Считается, что в последующем к таким страницам будет происходить минимум обращений.
• Last recently used. Удаляются недавно освободившиеся страницы. Подразумеваются страницы только что завершившихся процессов.

Большинство программ не используют всю выделенную им память одновременно, а только некоторую её часть, определяемую выполняемыми в данный момент инструкциями и требующимися им данными. Если программа отвечает принципу локальности, то используемая часть памяти может быть существенно меньше всей выделенной программе памяти. Размер этой используемой части отражает достижение программой некоторого стабильного состояния в потреблении памяти и часто называется рабочим множеством.

Системы с виртуальной памятью работают эффективно, когда сумма рабочих множеств всех процессов не превышает размер физической оперативной памяти. В этом случае время, требуемое на обработку отказов страниц не оказывает большого влияния на производительность. Однако, программа, работающая с большими структурами данных, может иметь слишком большой рабочий набор, который система подкачки не сможет эффективно обслуживать. Это приведет к непрерывному потоку отказов страниц и резкому снижению производительности компьютера. Такая ситуация называется пробуксовкой: страницы непрерывно выгружаются, а затем к ним происходит обращение, вызывая частые отказы страниц.

Интересной особенностью пробуксовки является медленный до определенной критической точки рост числа отказов страниц по мере роста рабочего множества. После достижения этой критической точки число отказов страниц резко возрастает и на их обработку тратится большая часть вычислительной мощности.

Для исключения пробуксовки пользователь может предпринять следующие действия:

• Увеличить объём оперативной памяти компьютера.
• Сократить число одновременно выполняющихся программ.
• Изменить приоритеты процессов так, чтобы часть из них завершилась быстрее и освободила часть ресурсов.

Недостатки и возможность их преодоления[править | править код]

В случае расположения данных виртуальной памяти на внешних запоминающих устройствах (например, жестких дисках), как чаще всего и происходит — доступ к памяти замедляется (по сравнению с оперативными запоминающими устройствами).

С большой вероятностью, использование свопинга на SSD накопителях (имеют ограниченное количество циклов перезаписи) уменьшает срок их службы.

В 32-разрядной Windows XP, Vista, 7 для своп-файла можно использовать оперативную память за пределами 3-го гигабайта, используя сторонние программы по созданию электронных дисков, хранящихся в памяти.

В Linux поддерживается сходный механизм, zswap, размещающий своп в памяти в сжатом виде.

Реализация хранения виртуальных данных в различных операционных системах различается в силу архитектурных особенностей их ядер и файловых систем.

Фрагментация файла подкачки[править | править код]

В процессе работы файл (раздел диска, или файл на разделе) подкачки может стать фрагментированым, то есть непрерывные виртуальные области памяти будут состоять из многочисленных отдельных (разрывных) областей в файле подкачки. При считывании и записи данных страниц, расположенных линейно в виртуальной памяти, но рассеянных по файлу подкачки, много времени будет уходить на перепозиционирование головок жёсткого диска на начало очередной области. Это может привести к падению производительности всей системы из-за обилия медленных запросов на ввод-вывод.

Рекомендации по размещению файла подкачки[править | править код]

• Одним из способов выделения места для swap‐файла (раздела), рекомендуемым в течение многих лет^{[источник не указан 2534 дня]}, является кратное выделение памяти, когда объём этого файла равен объёму оперативной памяти, умноженному на константу от 0,5 до 2 или 3.
• Если на компьютере имеется более одного жёсткого диска, то для более быстрого обращения к файлу подкачки его желательно разместить на наименее нагруженном запросами чтения/записи физическом диске. Хорошим выбором будет физический файл подкачки на диске, который имеет наибольшую скорость чтения/записи.
• В Windows скорость чтения из небольших разделов больше у FAT32 по сравнению с NTFS, однако, благодаря более высокой устойчивости NTFS к сбоям и значительным объёмам современных жестких дисков, разделы с FAT32 ныне редко используются.
• При наличии на компьютере значительного объёма ОЗУ (16-32 гигабайт) и использовании большинства популярных ОС семейств GNU/Linux можно полностью отключить подкачку.

Безопасность при работе со swap-файлом[править | править код]

Из файла (раздела) подкачки зачастую можно извлечь конфиденциальную информацию, используемую при работе вычислительной системы. Поэтому при работе с секретными данными обычно производится очистка swap — например, с помощью утилиты sswap из комплекта secure remove.

Также, многие программы, работающие с ценной информацией или с шифрованием, могут выборочно отключать возможность откачки фрагментов памяти.

В Linux можно зашифровать swap-файл или раздел (например в дистрибутиве Ubuntu это делается автоматически при выборе опции шифрования домашнего каталога пользователя в процессе установки ОС). Такое решение несколько повышает нагрузку на процессор, но гарантирует сохранность конфиденциальной информации даже при внезапном отключении питания.

Использование файла подкачки может приводить к заражению некоторых ОС компьютерными вирусами, так как существует уязвимость^{[источник не указан 3055 дней]}, позволяющая вытеснить выполняемые программы в виртуальную память и изменить выполняемый код с помощью прямого доступа к жёсткому диску.

Unix[править | править код]

В ОС Unix, и подобных ей, swap обычно помещается на отдельный раздел жёсткого диска, что ранее ускоряло доступ к данным, по сравнению с расположением swap на обычном разделе. В ядрах Linux 2.6 и новее работа swap-файла не уступает по производительности swap-разделу^[2][3].

Пример создания swap-файла для GNU/Linux:

# dd if=/dev/zero of=/swap bs=1024 count=128K
# mkswap /swap
# sync
# swapon /swap

Oracle Solaris может использовать тома ZFS в качестве разделов подкачки:

# zfs create -V 2G pool/swap
# swap -a /dev/zvol/dsk/pool/swap

Кроме использования при работе системы, некоторые дистрибутивы GNU/Linux используют SWAP раздел для организации режима сна («спящий режим», hibernation или «suspend to disk» — режим S4 ACPI). Для поддержки этого режима размер SWAP следует задать равным размеру оперативной памяти, увеличенному на 10-15%.

ОС Microsoft Windows и Windows NT[править | править код]

Область жёсткого диска, предназначенная для свопинга, располагается в отдельном файле, который называется файл подкачки, своп-файл (от англ. swap file). Он называется pagefile.sys и по умолчанию создаётся системой в корневом каталоге диска C:. В дальнейшем пользователь может управлять размером и размещением файла подкачки, например, используя панель управления, пункт Система.

В Windows 9x файл подкачки называется win386.swp и располагается в каталоге Windows. Однако правкой файла system.ini его можно перенести в корневой каталог для последующего совместного использования с Windows NT.

Также, начиная с Windows Vista появилась возможность создавать выделенный раздел подкачки, аналогичный по назначению используемым в UNIX-системах.

распространенные заблуждения / Флант corporate blog / Habr

Прим. перев.: Эта увлекательная статья, в подробностях раскрывающая предназначение swap в Linux и отвечающая на распространённое заблуждение на этот счёт, написана Chris Down — SRE из Facebook, который, в частности, занимается разработкой новых метрик в ядре, помогающих анализировать нагрузку на оперативную память. И начинает он своё повествование с лаконичного TL;DR…

TL;DR

• Swap — достаточно важная часть хорошо функционирующей системы. Без него сложнее достичь разумного управления памятью.
• Swap нужен не столько для срочного получения памяти, сколько для ровного и эффективного высвобождения памяти. Использовать его в качестве «срочной памяти» в общем случае очень вредно.
• Отключение swap не спасает от проблемы дискового ввода/вывода при конкуренции за память — дисковый I/O просто перемещается с анонимных страниц на файловые. Это не только может быть менее эффективным, поскольку остаётся меньший пул страниц, доступных для высвобождения, но и само по себе может способствовать появлению этой высокой конкуренции.

Предисловие

Работая над улучшением и использованием cgroup v2, я успел поговорить со многими инженерами об их отношении к управлению памяти, особенно о поведении приложения под нагрузкой и об эвристическом алгоритме операционной системы, используемым «под капотом» для управления памятью.

Повторяющейся темой этих обсуждений стал swap. Тема swap активно оспаривается и плохо понимается даже теми, кто проработал с Linux долгие годы. Многие воспринимают его как нечто бесполезное или очень вредное — мол, это пережиток прошлого, когда памяти было мало и диски являлись необходимым злом, предоставляющим столь нужное пространство для подкачки. И до сих пор, все последние годы, я достаточно часто наблюдаю споры вокруг этого утверждения: немало дискуссий провёл и я сам с коллегами, друзьями, собратьями по индустрии, помогая им понять, почему swap — это по-прежнему полезная концепция на современных компьютерах, имеющих гораздо больше физической памяти, чем в былые времена.

Широкое недопонимание существует и насчёт предназначения swap’а: многие люди видят в нём лишь «медленную дополнительную память» для использования в критических ситуациях, но не понимают его вклад в адекватное функционирование операционной системы в целом при нормальной нагрузке.

Многие из нас слышали такие распространённые фразы о памяти: «Linux использует слишком много памяти», «swap должен быть вдвое больше размера физической памяти» и т.п. Эти заблуждения легко развеять и их обсуждения стали более точными в последние годы, однако миф о «бесполезном» swap гораздо больше завязан на эвристику и таинство, которые не поддаются объяснению с простой аналогией, — для его обсуждения требуется более глубокое понимание управления памятью.

Эта публикация в основном нацелена на тех, кто администрирует Linux-системы и заинтересован в том, чтобы услышать аргументы против отсутствия/слишком малого объёма swap или работы с vm.swappiness, выставленным в 0.

Введение

Сложно говорить, почему наличие swap’а и перемещение в него страниц памяти — хорошо при нормальной работе, не разделяя понимание некоторых базовых нижележащих механизмов в управлении памятью в Linux, поэтому давайте убедимся, что говорим на одном языке.

Типы памяти

В Linux существует множество различных типов памяти, и у каждого из этих типов есть свои свойства. Понимание их особенностей — ключ к пониманию, почему swap важен.

Например, есть страницы («блоки» памяти, обычно по 4k), ответственные за хранение кода для каждого процесса, запущенного на компьютере. Есть также страницы, ответственные за кэширование данных и метаданных, относящихся к файлам, к которым обращаются эти программы для ускорения своих обращений в будущем. Они являются частью страничного кэша [page cache], и далее я буду на них ссылаться как на файловую [file] память.

Есть также страницы, которые отвечают за распределение памяти, сделанное внутри этого кода, например, когда с malloc выделяется новая память для записи в неё или когда используется флаг MAP_ANONYMOUS в mmap. Это «анонимные» страницы — они так называются, потому что ничем не «поддерживаются», — и я буду ссылаться на них как на анонимную [anon] память.

Есть и другие типы памяти: разделяемая память, slab-память, память стека ядра, буферы и иные, — но анонимная память и файловая память известны лучше других и просты для понимания, поэтому именно они будут использоваться в примерах, которые, впрочем, равносильно применимы и к другим типам.

Память с высвобождением и без

В размышлениях о конкретном типе памяти одним из главных вопросов становится возможность её высвобождения. «Высвобождение» [reclaim] означает, что система может, без потери данных, удалить страницы этого типа из физической памяти.

Для некоторых типов страниц это сделать весьма просто. Например, в случае чистой [clean], т.е. немодифицированной, памяти страничного кэша мы просто кэшируем для лучшей производительности то, что уже есть на диске, поэтому можем сбросить страницу без необходимости в каких-либо специальных операциях.

Для некоторых типов страниц это возможно, но непросто. Например, в случае грязной [dirty], т.е. модифицированной, памяти страничного кэша мы не можем просто сбросить страницу, потому что на диске ещё нет произведённых модификаций. Поэтому необходимо или отказаться от высвобождения [reclamation], или перенести наши изменения обратно на диск перед тем, как сбрасывать эту память.

Для некоторых типов страниц это невозможно. Например, упомянутые раньше анонимные страницы могут существовать только в памяти и никаком ином резервном хранилище, поэтому их необходимо хранить здесь (т.е. в самой памяти).

О природе swap’а

Если поискать объяснения, зачем нужен swap в Linux, неизбежно находятся многочисленные обсуждения его предназначения просто как расширения физической RAM для критических случаев. Вот, например, случайный пост, который я вытащил из первых результатов в Google по запросу «what is swap»:

«По своей сути swap — это экстренная память; запасное пространство для случаев, когда система на какое-то время нуждается в большем количестве физической памяти, чем доступно в RAM. Она считается «плохой» в том смысле, что медленная и неэффективная, и если системе постоянно требуется использовать swap, очевидно, ей не хватает памяти. [..] Если у вас достаточно RAM для удовлетворения всех потребностей и вы не ожидаете её превышения, вы можете прекрасно работать и без swap-пространства».

Поясню, что я вовсе не обвиняю автора этого комментария за содержимое его поста — это «общеизвестный факт», признаваемый многими системными администраторами Linux и являющийся, пожалуй, одним из наиболее вероятных ответов на вопрос о swap’е. К сожалению, это вдобавок и неправильное представление о предназначении и использовании swap’а, особенно на современных системах.

Как я уже писал выше, высвобождение анонимных страниц «невозможно», поскольку анонимные страницы по своей природе не имеют резервного хранилища, к которому можно обратиться при удалении данных из памяти, — таким образом, их высвобождение приведёт к полной утере данных из соответствующих страниц. Однако… что будет, если мы смогли бы создать такое хранилище для этих страниц?

Вот именно для этого и существует swap. Swap — область хранения для этих, кажущихся «невысвобождаемыми» [unreclaimable], страниц, позволяющая отправлять их на устройство хранения по запросу. Это означает, что их можно начинать считать такими же доступными для высвобождения, как и их более простые в этом смысле друзья (вроде чистых файловых страниц), что позволяет эффективнее использовать свободную физическую память.

Swap — это преимущественно механизм для равного высвобождения, а не для срочной «дополнительной памяти». Не swap замедляет работу вашего приложения — замедление происходит из-за начала совокупной конкуренции за память.

Итак, в каких же ситуациях это «равное высвобождение» будет оправданно выбирать высвобождение анонимных страниц? Вот абстрактные примеры некоторых не самых редких сценариев:

1. Во время инициализации долго выполняющаяся программа может выделить и использовать многие страницы. Эти же страницы могут использоваться в процессе завершения работы/очистки, но не требуются после «старта» (в понимании самого приложения) программы. Довольно распространённое явление для демонов, использующих крупные зависимости для инициализации.
2. Во время нормальной работы программы мы можем выделить память, которая затем редко используется. Для общей же производительности системы может оказаться более разумным использовать память для чего-то более важного, чем выполнять значительный отказ страницы с выгрузкой данных этой страницы на диск.

Что происходит с использованием swap и без него

Давайте посмотрим на типовые ситуации и к чему они приводят при наличии и отсутствии swap. О метриках «конкуренции за память» я рассказываю в докладе про cgroup v2.

Без конкуренции или с малой конкуренцией за память

• При наличии swap: мы можем положить в swap анонимную память, которая редко используется и нужна только в небольшой части жизненного цикла процесса. Это позволяет использовать данную память для улучшения коэффициента попаданий в кэш и других оптимизаций.
• Без swap: не можем складывать в swap редко используемую анонимную память, поскольку она вынуждена храниться только в памяти. Не факт, что это сразу приведёт к проблеме, однако в некоторых рабочих нагрузках производительность может упасть из-за устаревших анонимных страниц, забирающих место у более важных задач.

С умеренной или высокой конкуренцией за память

• При наличии swap: у всех типов памяти одинаковая вероятность высвобождения. Это означает большую вероятность успешного высвобождения страниц — мы можем высвобождать страницы, которые не будут быстро снова приводить к отказу (к пробуксовке [thrashing]).
• Без swap: анонимные страницы ограничены памятью, т.к. не имеют альтернатив для хранения. Вероятность успешного долгосрочного высвобождения страниц ниже, поскольку оно доступно только для некоторых типов памяти. Риск пробуксовки страниц выше. Случайный читатель может подумать, что так всё равно будет лучше, поскольку не случится нагрузки на ввод/вывод диска, но это не так: мы попросту переносим disk I/O из-за swapping’а на сброс горячего страничного кэша и сегментов кода, которые нам скоро понадобятся.

При временных всплесках в потреблении памяти

• При наличии swap: устойчивость к временным всплескам выше, однако в случае резкой нехватки памяти время между пробуксовкой и работой OOM killer может вырасти. Нам лучше видны причины нагрузки на память и мы можем более рационально повлиять на них, можем осуществить контролируемое вмешательство.
• Без swap: OOM killer вызывается быстрее, поскольку анонимные страницы ограничены памятью и не могут быть высвобождены. Мы скорее столкнёмся с пробуксовкой, однако время между ней и OOMing’ом сократится. Будет лучше или хуже — зависит от конкретного приложения. Например, основанное на очередях приложение может захотеть потребовать такого быстрого перехода от пробуксовки к OOMing’у. Тем не менее, всё равно уже слишком поздно для полезных действий — OOM killer вызывается только в случаях резкой нехватки памяти. Вместо того, чтобы полагаться на такое поведение, в первую очередь лучше позаботиться о более оппортунистическом подходе (т.е. направленном на следование своим интересам — прим. перев.) к убиванию процессов при достижении состояния конкуренции за память.

Окей, я хочу системный swap, но как его настроить для конкретных приложений?

Вы же не думали, что в этой статье не будет упоминаний использования cgroup v2?

Очевидно, что общему эвристическому алгоритму тяжело не ошибаться всё время, поэтому важно иметь возможность дать необходимые инструкции ядру. Исторически единственной настройкой, которую можно было применить на системном уровне, являлась vm.swappiness. У неё две проблемы: vm.swappiness крайне сложно разумно применять, потому что она является лишь маленькой частью гораздо большей эвристической системы, и она применима лишь ко всей системе, но не к ограниченному набору процессов.

Можно также использовать mlock для фиксации страниц в памяти, но такой подход требует либо модификации кода программы и забав с LD_PRELOAD, либо ужасных танцев с отладчиком во время исполнения приложения. В языках, основанных на виртуальных машинах, всё это тоже не так-то хорошо работает, поскольку у вас обычно нет возможности контролировать распределение памяти и приходится делать mlockall, у которого нет точных настроек для тех страниц, что действительно важны.

В cgroup v2 есть определяемая на каждую cgroup настройка memory.low, которая позволяет сказать ядру отдавать предпочтение другим приложениям для высвобождения до достижения определённого порога используемой памяти. Нет гарантий, что ядро предотвратит swapping частей приложения, однако оно будет предпочитать высвобождение для других приложений в случае конкуренции за память. В нормальных условиях логика swap’а в ядре в целом достаточно хороша, так что разрешение оппортунистически выносить в swap страницы в общем случае повышает системную производительность. Пробуксовка swap’а в условиях сильной конкуренции за память не идеальна, но это скорее просто особенность ситуации нехватки памяти, чем проблема swapper’а. В ситуациях, когда давление на память начинает расти, вы обычно хотите быстрого завершения работы некритических процессов посредством их «самоубийства».

И в этом вопросе нельзя просто положиться на OOM killer. Потому что OOM killer вызывается только в самых критичных ситуациях, когда система уже оказалась в значительно нездоровом состоянии и, возможно, находилась в нём некоторое время. Необходимо самостоятельно и оппортунистически разрешить ситуацию ещё до того, как задумываться об OOM killer’е.

Тем не менее, выявить давление на память достаточно трудно с помощью традиционных счётчиков памяти в Linux. Нам доступно нечто, что каким-то образом относится к проблеме, однако скорее по касательной: потребление памяти, количество операций сканирования страниц и т.п. — и по одним этим метрикам очень трудно отличить эффективную конфигурацию памяти от той, что приводит к конкуренции за память. У нас есть группа в Facebook, возглавляемая Johannes’ом и работающая над новыми метриками, упрощающими демонстрацию давления на память, — это должно помочь нам в будущем. Больше информации об этом можно получить из моего доклада про cgroup v2, где я начинаю подробнее рассказывать об одной из метрик.

Тюнинг

Сколько же swap’а мне тогда нужно?

В общем случае минимальное количество swap-пространства, требуемого для оптимального управления памятью, зависит от количества анонимных страниц, которые привязаны к пространству памяти и к которым редко обращается приложение, а также от стоимости высвобождения этих анонимных страниц. Последнее — это в большей степени вопрос о том, какие страницы больше не должны удаляться, чтобы уступить место тем анонимным страницам, к которым редко обращаются.

Если у вас достаточно дискового пространства и свежее (4.0+) ядро, большее количество swap’а почти всегда лучше, чем меньшее. В более старых ядрах kswapd — один из процессов ядра, что отвечает за управление swap’ом, — исторически слишком усердствовал в перемещении памяти в swap, делая это тем активнее, чем больше swap’а было доступно. В последнее время поведение swapping’а при наличии большого swap-пространства значительно улучшили. Так что, если вы работаете с ядром 4.0+, большой swap не приведёт к чрезмерному swapping’у. В общем, на современных ядрах нормально иметь swap размером в несколько гигабайт, если такое пространство у вас есть.

Если же дисковое пространство ограничено, ответ в действительности зависит от компромисса, на который вы готовы пойти, и особенностей окружения. В идеале у вас должно быть достаточно swap’а, чтобы система оптимально функционировала при нормальной и пиковой (по памяти) нагрузке. Рекомендую настроить несколько тестовых систем с 2-3 Гб swap’а или более и понаблюдать, что происходит на протяжении недели или около того в разных условиях нагрузки (на память). Если на протяжении этой недели не случалось ситуаций резкой нехватки памяти, что означает недостаточную пользу такого теста, всё закончится занятостью swap’а небольшим количеством мегабайт. В таком случае, пожалуй, разумно будет иметь swap хотя бы такого размера с добавлением небольшого буфера для меняющихся нагрузок. Также atop в режиме логирования в столбце SWAPSZ может показать, страницы каких приложений попадают в swap. Если вы ещё не используете эту утилиту на своих серверах для логирования истории состояний сервера — возможно, в эксперимент стоит добавить её настройку на тестовых машинах (в режиме логирования). Заодно вы узнаете, когда приложение начало перемещать страницы в swap, что можно привязать к событиям из логов или другим важным показателям.

Ещё стоит задуматься о типе носителя для swap’а. Чтение из swap имеет тенденцию быть очень случайным, поскольку нельзя уверенно предсказать, у каких страниц будет отказ и когда. Для SSD это не имеет особого значения, а вот для вращающихся дисков случайный ввод/вывод может оказаться очень дорогим, поскольку требует физических движений. С другой стороны, отказы у файловых страниц обычно менее случайны, поскольку файлы, относящиеся к работе одного запущенного приложения, обычно менее фрагментированы. Это может означать, что для вращающегося диска вы можете захотеть сместиться в сторону высвобождения файловых страниц вместо swapping’а анонимных страниц, но, опять же, необходимо протестировать и оценить, как будет соблюдаться баланс для вашей рабочей нагрузки.

Для пользователей ноутбуков/десктопов, желающих использовать swap для перехода в спящий режим [hibernate], этот факт также необходимо учитывать, поскольку swap-файл тогда должен как минимум соответствовать размеру физической оперативной памяти.

Какой должна быть настройка swappiness?

Во-первых, важно понимать, что делает vm.swappiness. Это системная настройка (sysctl), смещающая высвобождение памяти в сторону анонимных страниц или файловых страниц. Для реализации используются два разных атрибута: file_prio (стремление высвобождать файловые страницы) и anon_prio (стремление высвобождать анонимные страницы). vm.swappiness обыгрывает эти атрибуты, становясь значением по умолчанию для anon_prio и вычитаясь из стандартного значения 200 в file_prio, то есть vm.swappiness = 50 равносильно значению anon_prio в 50 и file_prio в 150 (точные числа не играют роли — важен их вес относительно друг друга).

Это означает, что vm.swappiness — это по существу просто соотношение дорогой анонимной памяти, которую можно высвобождать и приводить к отказам, в сравнении с файловой памятью для вашего железа и рабочей нагрузки. Чем ниже значение, тем активнее вы сообщаете ядру, что редкие обращения к анонимным страницам дороги для перемещения в swap и обратно на вашем оборудовании. Чем выше это значение, тем вы больше говорите ядру, что стоимость swapping’а анонимных и файловых страниц одинакова на вашем оборудовании. Подсистема управления памятью будет по-прежнему пытаться решить, помещать в swap файловые или анонимные страницы, руководствуясь тем, насколько «горяча» память, однако swappiness склоняет подсчёт стоимости в пользу большего swapping’а или большего пропуска кэшей файловой системы, когда доступны оба способа. На SSD-дисках эти подходы практически равны по стоимости, поэтому установка vm.swappiness = 100 (т.е. полное равенство) может работать хорошо. На вращающихся дисках swapping может быть значительно дороже, т.к. в целом он требует случайного чтения, поэтому вы скорее всего захотите сместиться в сторону меньшего значения.

Реальность же в том, что большинство людей не имеют представления о том, чего требует их железо, поэтому настроить это значение, основываясь лишь на инстинкте, затруднительно — это вопрос, требующий личного тестирования с разными значениями. Можно также заняться анализом состава памяти вашей системы, основных приложений и их поведения в условиях небольшого высвобождения памяти.

Говоря о vm.swappiness, необходимо учитывать исключительно важное изменение недавнего времени, сделанное Satoru Moriya в vmscan в 2012 году: оно в значительной мере меняет поведение vm.swappiness = 0.

Этот патч по существу говорит, что при установке vm.swappiness = 0 мы донельзя настроены против сканирования (и высвобождения) любых анонимных страниц, пока не настало состояние высокой конкуренции за память. Как отмечалось ранее, в общем случае вы не захотите такого поведения, поскольку оно исключает равенство приоритетов высвобождения до моментов экстремального давления на память, что само по себе в действительности может и привести к этому экстремальному давлению. Поэтому vm.swappiness = 1 — минимальное значение, которое стоит выбирать, если вы не хотите активировать такое особое поведение для сканирования анонимных страниц, реализованное в патче.

Значение ядра по умолчанию — vm.swappiness = 60. В общем случае это неплохое значение для большинства рабочих нагрузок, но трудно иметь общее стандартное значение, которое подошло бы всем. Поэтому ценным дополнением к тюнингу, упомянутому в разделе «Сколько же swap’а мне тогда нужно?», станет тестирование систем с различными значениями vm.swappiness и наблюдение за метриками приложения и системы под большой нагрузкой (на память). В скором будущем, когда мы получим достойную реализацию определения refault в ядре (см. также «refault distance-based file cache sizing» — прим. перев.), вы сможете определять значение достаточно независимо от рабочей нагрузки, глядя на метрики «page refaulting» в cgroup v2.

Заключение

• Swap — полезный инструмент для возможности равного высвобождения страниц памяти, но его назначение зачастую неправильно понимается, что приводит к его негативному восприятию в индустрии. Если вы будете использовать swap в том ключе, для которого он создан, то есть как средство увеличения равенства высвобождения, то обнаружите его полезной утилитой, а не какой-то проблемой.
• Отключение swap не спасает от проблемы дискового ввода/вывода при конкуренции за память — дисковый I/O просто перемещается с анонимных страниц на файловые. Это не только может быть менее эффективным, поскольку остаётся меньший пул страниц, доступных для высвобождения, но и само по себе может способствовать появлению этой высокой конкуренции.
• Swap может замедлить вызов OOM kill системой, поскольку является другим, более медленным, источником памяти для пробуксовки в ситуациях нехватки памяти. Но OOM killer используется ядром как последняя надежда, когда все другие возможности полностью исчерпаны. Сами эти возможности зависят от конкретной системы:
  
  • Вы можете изменить рабочую нагрузку на систему в соответствии со своими потребностями, в зависимости от локального (cgroup) или глобального давления на память. Это поможет избежать таких ситуаций, однако на протяжении всей истории Unix исчерпывающих метрик для измерения давления на память было недостаточно. Надежды возлагаются на скорое исправление ситуации с появлением refault detection.
  • Вы можете переместить высвобождение (и, таким образом, swapping) от определённых процессов (per-cgroup) с помощью memory.low, что обеспечит его доступность для критически важных демонов без полного отключения swap.

Настройка swap в Ubuntu 16.04

Оперативная память имеет очень важное значение для нормальной работы сервера. В ней размещаются все программы и их данные, когда память переполняется, программы могут выдавать различные ошибки или даже прекращать работу. Время отклика системы увеличивается настолько, что работать с ней становиться невозможным.

Самый простой способ увеличить количество оперативной памяти и защитить систему от переполнение памяти, это добавить раздел swap ubuntu. В этой статье будет рассмотрено как выполняется настройка swap Ubuntu 16.04. Мы рассмотрим вариант с добавлением раздела подкачки для обычных компьютеров, а также файла подкачки для серверов.

Содержание статьи:

Обратите внимание

Хотя использование раздела подкачки на жестком диске HDD это привычное явление, применение такого метода для SSD может вызвать проблемы. SSD имеет ограниченное количество перезаписей одного сектора, а область swap постоянно перезаписывается, это очень сильно снизит срок службы вашего диска. Поэтому использование swap пространства на SSD строго не рекомендуется.

Что такое Swap?

Swap — это пространство подкачки это область на жестком диске, которая используется для временного хранения данных из оперативной памяти, для которых там больше нет места. Это позволяет увеличить объем информации, которую система может хранить в рабочей памяти. Пространство подкачки используется только тогда, когда память уже полностью занята, и туда будут помещаться только данные, которые давно использовались.

Работа с информацией будет выполняться намного медленнее, чем в оперативной памяти, но операционная система будет продолжать работать и использовать swap только для старых данных. В целом, это может быть отличной защитой от переполнения оперативной памяти. Пространство подкачки можно настроить двумя способами, добавив раздел подкачки ubuntu на диске или создать файл подкачки.

Проверка Swap

Перед тем как перейти к настройке давайте посмотрим не подключены ли другие разделы подкачки к системе. Для этого выполните:

 sudo swapon --show

Если ничего не будет выведено, значит в вашей системе swap ubuntu не настроен. Вы также можете убедиться, что нет активного swap с помощью утилиты free:

free -h

 

Строка Swap пуста, значит раздела swap пока еще не подключен.

Настройка файла подкачки в Ubuntu 16.04

На серверах часто используется файл подкачки, такой способ применяется потому что не всегда есть возможность менять разметку диска.

Проверка места на диске

Теперь убедитесь, что на диске есть достаточно свободного места. Самый простой способ узнать свободное место в терминале — это утилита df:

df -h

 

В нашем случае есть достаточно места для размещения пространства подкачки. Размер swap Ubuntu 16.04 зависит от ваших потребностей. Обычно рекомендуют использовать объем в два раза больше чем реальный размер оперативной памяти. Но больше 4 Гб использовать не нужно. Если вы планируете использовать гибернацию на персональном компьютере, то нужно использовать объем, равный объему ОЗУ.

Создание файла подкачки в Ubuntu 16.04

Самый быстрый способ создать swap файл ubuntu такой файл, это использовать утилиту fallocate, она создает файл нужного размера мгновенно. Поскольку у нас 1 Гб оперативной памяти, добавим раздел подкачки ubuntu на 2 Гб. Для этого выполните:

sudo fallocate -l 1G /swapfile

 

Посмотрите, действительно ли зарезервировано нужное количество памяти:

ls -lh /swapfile

Активация swap

Когда файл готов, нам нужно превратить его в файл swap Ubuntu. Сначала нужно заблокировать доступ к нему всем кроме суперпользователя. Для этого выполните:

 sudo chmod 600 /swapfile

Теперь только root может читать и изменить этот файл:

ls -lh /swapfile

Затем создайте файловую систему swap командой:

sudo mkswap /swapfile

Когда файл будет размещен и промаркирован вы можете включить файл подкачки чтобы начать его использовать:

sudo swapon /swapfile

Вы можете убедиться что все работает с помощью команды:

sudo swapon --show

И еще раз смотрим вывод утилиты free:

free -h

Как видите, файл подкачки был успешно создан и активирован. Теперь памяти намного больше и система не зависнет. Но он будет работать только до перезагрузки.

Постоянный файл подкачки

Как я уже сказал, этот swap ubuntu будет работать только до перезагрузки сервера или компьютера. Чтобы настройка Swap Ubuntu 16.04 сохранялся после перезагрузки нужно отредактировать файл /etc/fstab. Вы можете вручную добавить строку в файл, но вы можете использовать такую команду:

echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

Настройка раздела подкачки в Ubuntu

Я не буду писать много про то, как выполняется настройка swap Ubuntu 16.04 в виде раздела. Все действия аналогичны тем, которые применяются для файла, только вместо файла используется раздел. Допустим, мы хотим использовать раздел /dev/sda2. Сначала создать swap Ubuntu из обычного раздела:

sudo mkswap /dev/sda2

Затем активируйте раздел подкачки:

sudo swapon /dev/sda2

И проверьте все ли прошло правильно:

sudo swapon --show

Если да, то в списке подключенных разделов вы увидите нужный. Осталось добавить строку в /etc/fstab для автоматической активации после перезагрузки:

echo '/dev/sda2 none swap sw 0 0' | sudo tee -a /etc/fstab

Дополнительные настройки

Вы можете контролировать интенсивность использования пространства подкачки в Ubuntu с помощью параметра ядра swappiness:

cat /proc/sys/vm/swappiness

По умолчанию установлено значение 60. Если это значение ближе к 100, система будет пытаться поместить в подкачку больше данных и сберечь память, при значениях близких к нулю, ядро не переносит данные на диск, если в этом нет крайней необходимости. Этот вариант может сделать систему быстрее, особенно актуально для домашних компьютеров.

Чтобы установить значение 10 выполните:

sudo sysctl vm.swappiness=10

А для сохранения этой настройки после перезагрузки:

sudo sysctl -w vm.swappiness=10

Другой параметр, который влияет на количество используемой памяти — это vfs_cache_pressure. Он указывает системе какое время нужно хранить открытые файлы в кэше оперативной памяти. Значение 100 заставляет систему удалять такие файлы очень быстро, 0 — держать их в памяти как можно дольше. Посмотрите текущее состояние:

 cat /proc/sys/vm/vfs_cache_pressure

Чтобы хранить файлы дольше, можно установить значение в 50:

 sudo sysctl -w vm.vfs_cache_pressure=50

Выводы

С помощью этой инструкции вы можете на время решить проблему с пространством подкачки если серверу недостаточно памяти, или поможет предотвратить компьютер от зависания. Настройка swap Ubuntu 16.04 выполняется очень просто. Если у вас остались вопросы, спрашивайте в комментариях!

перевод, произношение, транскрипция, примеры использования

Твоя кукла мне больше нравится, давай меняться. ☰

He swapped his car for public transport. 

Он пересел на общественный транспорт. ☰

Do you think we could swap the bookcase with the sofa? 

Как думаешь, можно поменять местами книжный шкаф и диван? ☰

Will you swap places? 

Не поменяетесь ли вы местами? ☰

Never swap horses while crossing the stream. посл. 

Коней на переправе не меняют. ☰

They decided to swap roles for the day. 

Они решили на день поменяться ролями. ☰

He swapped his watch for a box of cigars. 

Он обменял свои часы на коробку сигар. ☰

He swapped his cupcake for a candy bar. 

Он поменял свой кекс на шоколадный батончик. ☰

I swapped seats with my sister so she could see the stage better. 

Мы с сестрой поменялись местами, чтобы ей лучше было видно сцену. ☰

She ended up swapping jobs with her secretary. 

В конечном итоге, она поменялась работой со своим секретарём. ☰

We need to get together to swap ideas and information. 

Мы должны собраться вместе, чтобы обменяться мыслями и информацией. ☰

I liked her blue notebook and she liked my red one, so we swapped. 

Мне понравился её синий блокнот, а ей — мой красный, и мы ими обменялись. ☰

After a few minutes, we’ll swap (a)round so that you can have a good view. 

Через несколько минут мы поменяемся местами, и вы сможете всё рассмотреть. ☰

He swapped his London home for a cottage in Scotland. 

Он променял свой лондонский дом на небольшой домик в Шотландии. ☰

Once, in order to put food on the table, he swapped his watch for a pig! 

Однажды, чтобы добыть еды, он обменял свои часы на поросенка. ☰

They made the swap in secret. 

Они произвели этот обмен тайком. ☰

We did a straight swap — one of my cards for one of his. 

Мы произвели честный обмен — одна из моих карточек на оду из его. ☰

Do you want to swap umbrellas? 

Хочешь, поменяемся зонтиками? ☰

You start on the windows and I’ll do the walls, then we can swap over after an hour or so. 

Ты начинай окна, а я буду делать стены, а где-то через час мы можем поменяться. ☰

They sat in a corner and swapped gossip. 

Они сидели в углу и обменивались сплетнями. ☰

Why don’t we swap the TV with the bookcase? 

Почему бы нам не поменять местами телевизор с книжным шкафом? ☰

She had swapped her long skirts for jeans and T shirts. 

Она променяла свои длинные юбки на джинсы и футболки. ☰

Allswap — Установка японских двигателей на коммерческий транспорт

Почему с нами выгодно работать?

× Никаких предоплат. Вы пригоняете автомобиль для переоборудования, мы делаем необходимые работы. Вы приезжаете по готовности, тестируете машину, катаетесь на ней, принимаете исправный автомобиль и только после этого расплачиваетесь. За наличку или по терминалу. Никаких авансов, предоплат и бессонных ночей с мыслями «а тому ли я дала?». Все расчеты-ПО ФАКТУ ВЫПОЛНЕННЫХ РАБОТ!

× Наличие. Всегда держим на складе несколько свап-комплектов японских ДВС+КПП для установки. Воздухом не торгуем!

× Продажа. Помимо установки двигателей в Ваш автомобиль, предлагаем свап-комплекты 3UZ-FE, 2JZ-GE, 5VZ-FE, 1UZ-FE на продажу для самостоятельной установки.

× Опыт. Мы занимаемся свапом двигателей и переоборудованием автомобилей уже более 5 лет. За это время наши механики повидали очень многое, а электрик-это просто «космос». Для нас нет разницы, какой мотор Вы планируете установить-будь то swap V8 или V6, рядная «шестерка»- мы справимся.

× Цена. Привлекательная и конкурентная.

× Сроки. Установка японского двигателя с автоматом в Газель, Газель Некст, Соболь занимает 5-7 дней. В Volkswagen Crafter, Mercedes-Benz Sprinter, Ford Transit — порядка 7-10 дней.

× Консультация. Вы можете связаться с нами любым удобным способом и получить подробные ответы на все интересующие вопросы по переоборудованию автомобиля.

× Гарантия. Месяц без ограничения пробега. Вы сможете протестировать переоборудованный автомобиль в полном объеме.

× Постгарантийное обслуживание. Поможем с заменой сальников, прокладок и прочих расходников, которые всегда есть в наличии. Кроме того, при необходимости проведем компьютерную диагностику двигателя или АКПП, разберемся с «троением», «чиханием» и «чё-то не едет».

× Кредит. Возможен свап двигателя от Тойоты в кредит. Приезжаете к нам, заполняем онлайн-заявку, и банк в течение 10 минут принимает решение о возможности выдачи кредита.

× Широкая география. Мы уже переоборудовали автомобили для клиентов из таких городов, как Екатеринбург, Курган, Ханты-Мансийск, Краснодар, Москва, Казань, Набережные Челны, Оренбург, Тюмень, Орск, Уфа, Пермь, Саранск, Самара и других, а также из Казахстана (Костанай, Рудный, Кокшетау, Актобе, Петропавловск, Уральск, Павлодар, Астана, Караганда, Усть-Каменогорск).

× Лицензированный сервис. Мы являемся официальным автосервисом по переоборудованию автомобилей. Имеем лицензию и необходимые сертификаты (вот прям бумажные и прям можем показать). Никаких «шараш-монтаж» и «Дядей Васей из соседнего гаража».