Кэширование данных на ssd

Кэширование данных на ssd

Если вы приобрели твердотельный диск или купили компьютер или ноутбук с SSD и хотите настроить Windows так, чтобы оптимизировать скорость работы и продлить срок работы SSD, основные настройки вы найдете здесь. Инструкция подойдет для Windows 7, 8 и Windows 8.1. Обновление 2016: для новой ОС от Microsoft смотрите инструкцию Настройка SSD для Windows 10.

Многие уже оценили производительность твердотельных дисков SSD — пожалуй, это один из самых желанных и эффективных апгрейдов компьютера, который может серьезно улучшить производительность. По всем параметрам, связанным со скоростью SSD выигрывает у обычных жестких дисков. Однако в том, что касается надежности не все так однозначно: с одной стороны, они не боятся ударов, с другой — имеют ограниченное количество циклов перезаписи и другой принцип работы. Последнее нужно учитывать при настройке Windows для работы с SSD диском. А теперь переходим к конкретике.

Следует проверить, что функция TRIM включена

По умолчанию, Windows, начиная с версии 7 поддерживает TRIM для SSD по умолчанию, однако лучше проверить, включена ли эта функция. Смысл TRIM в том, что при удалении файлов, Windows сообщает диску SSD, что данная область диска больше не используется и ее можно очистить для последующей записи (для обычных HDD этого не происходит — при удалении файла данные остаются, а потом записываются «сверху»). Если данная функция отключена, это со временем может привести к падению производительности твердотельного диска.

Как проверить TRIM в Windows:

  1. Запустите командную строку (например, нажмите Win + R и введите cmd)
  2. Введите команду fsutilbehaviorquerydisabledeletenotify в командной строке
  3. Если в результате выполнения вы получите DisableDeleteNotify = 0, значит TRIM включена, если 1 — отключена.

Отключите автоматическую дефрагментацию дисков

Прежде всего, твердотельные SSD диски не нужно дефрагментировать, дефрагментация не принесет пользы, а вред возможен. Об этом я уже писал в статье про вещи, которые не нужно делать с SSD.

Все последние версии Windows«знают» об этом и автоматическая дефрагментация, которая по умолчанию включена в ОС для жестких дисков, обычно не включается для твердотельных. Однако, лучше проверить этот момент.

Нажмите клавишу с эмблемой Windows и клавишу R на клавиатуре, после чего в окне «Выполнить» введите dfrgui и нажмите Ок.

Откроется окно с параметрами автоматической оптимизации дисков. Выделите ваш SSD (в поле «Тип носителя» будет указано «Твердотельный накопитель») и обратите внимание на пункт «Оптимизация по расписанию». Для SSD следует отключить ее.

Отключите индексацию файлов на SSD

Следующий пункт, который может помочь оптимизации SSD — отключение индексации содержимого файлов на нем (которая используется для быстрого поиска нужных файлов). Индексирование постоянно производит операции записи, которые в перспективе могут сократить срок службы твердотельного жесткого диска.

Для отключения, проделайте следующие настройки:

  1. Зайдите в «Мой компьютер» или «Проводник»
  2. Кликните правой кнопкой мыши по диску SSD и выберите «Свойства».
  3. Уберите отметку «Разрешить индексировать содержимое файлов на этом диске в дополнение к свойствам файла».

Несмотря на отключенное индексирование, поиск по файлам на SSD будет происходит практически с той же скоростью, что и раньше. (Имеется также возможность продолжить индексацию, но сам индекс перенести на другой диск, но об этом я напишу в другой раз).

Включите кэширование записи

Включение кэширование записи на диск может повысить производительность как HDD, так и SSD дисков. При этом, при включении данной функции, для записи и чтения используются технология NCQ, которая позволяет более «интеллектуально» обрабатывать поступающие от программ обращения. (Подробнее об NCQ на Википедии).

Для того, чтобы включить кэширование, зайдите в диспетчер устройств Windows (Win + R и ввести devmgmt.msc), откройте «Дисковые устройства», кликните правой кнопкой мыши по SSD — «Свойства». Разрешить кэширование вы можете на вкладке «Политика».

Файл подкачки и гибернации

Файл подкачки (виртуальная память) Windows используется при недостаточном количестве оперативной памяти. Впрочем, по факту он используется всегда, когда включен. Файл гибернации — сохраняет все данные из оперативной памяти на диск для последующего быстрого возвращения к рабочему состоянию.

Для максимальной продолжительности работы SSD рекомендуется минимизировать количество операций записи на него и, если отключить или уменьшить файл подкачки, а также отключить файл гибернации, это также приведет к их сокращению. Однако, прямо рекомендовать это сделать я не стану, могу посоветовать прочитать две статьи про данные файлы (там же указано, как их отключить) и самостоятельно принять решение (отключение этих файлов не всегда хорошо):

Возможно, вам есть что добавить на тему настройки SSDна оптимальную производительность?

Компания Toshiba, крупный производитель флэш-накопителей и жёстких дисков, прогнозирует, что в 2019 году лишь 10% корпоративных данных будут храниться на SSD, хотя создаётся ощущение, что все производители СХД забыли про жёсткие диски и сконцентрировались на твердотельных накопителях. Однако, какие бы красивые IOPS-ы ни обещали нам пиарщики, что бы ни показывали синтетические тесты, реальная скорость типичной виртуальной машины зависит от того, как сконфигурирован ваш сервер и как работает само приложение. Большинство серверных программ, начиная от баз данных и заканчивая front-end с web-интерфейсом используют кэширование в ОЗУ, а значит могут вообще не зависеть от дисковой системы при любых нагрузках.

Современный корпоративный NAS — это не просто файлохранилка, но и вычислительный узел, на котором развёрнута контейнерная (Docker) и хост-виртуализация (гипервизор), а поскольку данные в такой системе хранятся на том же хосте, где и обрабатываются, запуская какое-либо приложение на гипервизоре Synology VMM, мы можем рассчитывать на определённые бонусы со стороны ОЗУ.

  • Во-первых, это кэширование в ОЗУ Diskstation/Rackstation всех файловых операций чтения виртуальной машины стандартным Linux-овским кэшем.
  • Во-вторых, это ускорение операций записи, которое достигается за счёт отсутствия прослойки между гипервизором и операционной системой. Например, при подключении хоста ESXi 6.x к NAS-у по протоколу NFS, все операции записи обязательно синхронизируются гипервизором VMware, что приводит к снижению скорости.
  • В-третьих, на Synology мы можем установить кэширующий сервер Redis, причем как в виртуальную машину, так и в саму DSM через community-пакеты или docker. У нас будет энергонезависимый RAM-кэширующий сервер, чья база данных лежит на RAID-массиве, ну не прелесть ли?
Читайте также:  Как сделать ссылку телеграмма в инстаграм

С третьего пункта, пожалуй, и стоит начать.

1.Самый действенный способ — использовать Redis

Если у вас уже есть готовая инфраструктура с серверами VMware vSphere, и вы приобретаете NAS только для хранения бэкапов или в качестве основной СХД, посмотрите на память: Synology RackStation RS18017xs+ имеет в базе 16 ГБ ОЗУ, которые можно расширить до 128 ГБ. Вся операционная система DSM (DiskStation Manager) редко требует более 2 ГБ ОЗУ, поэтому неиспользуемую память можно отдать под Redis. Это NoSQL сервер, который хранит данные в памяти, периодически сбрасывая свою базу на диск. При перезагрузке Redis восстанавливает базу с диска, загружая данные в ОЗУ, и даже при отключении электроэнергии, после перезагрузки вам доступны все данные с момента последней синхронизации. Внутрь Redis можно запихнуть не только строки, но и файлы, и если ваше приложение постоянно обращается к каталогу с десятками тысяч маленьких файликов (например при машинном обучении), то вы наверняка знаете, что в этом случае тормозит любая современная файловая система, а Redis — нет.

Redis можно установить через пакет Synology DSM, подключив репозиторий Synocommunity, но там лежит старая версия 3.0.5-5, поэтому лучше использовать Docker или виртуалку, запущенную на NAS-е. Устанавливаем пакет Synology Virtual Machine Manager и внутри разворачиваем 5-ю версию Redis-а на операционной системе Debian.

Давайте протестируем скорость доступа, используя встроенный бенчмарк Redis-а. Полтора миллиона транзакций в секунду в конвейерном режиме и пятьсот тысяч с настройками по умолчанию. Сам по себе Redis — однопоточный, так что вы можете клонировать виртуалку, чтобы задействовать более 1 ядра процессора NAS-а.

Пример с Redis наглядно демонстрирует, что сегодня рассматривать СХД только в качестве файлохранилки можно в двух случаях: когда речь идёт о домашнем 2-дисковом NAS-е или наоборот, когда мы говорим о мощной инфраструктуре банков или авиакомпаний. В остальном же — пожалуйста, вот вам централизованная кэширующая система: подключайтесь к ней и экономьте ресурсы ваших хостов. Вам даже не потребуется 10-гигабитное сетевое подключение: в типичных случаях использования, 1-гигабитной сети вполне достаточно для быстрой работы подключенных клиентов.

Ну и не забывайте, что Synology DSM может использовать защиту данных Redis-а снэпшотами на уровне файловой системы Btrfs. Конечно, использование Redis потребует от вас небольшую переработку приложения, что не всегда возможно, поэтому давайте посмотрим работу встроенного кэширования Synology DSM.

2. Кэширование в ОЗУ самого NAS-а

Даже если виртуалка под Windows или Linux занимает на диске сотни гигабайт, активно используются единицы или десятки гигабайт дискового пространства: логи и файлы баз данных, часто запрашиваемые файлы, в общем всё то, что не кэшируется в памяти самой гостевой операционной системы или приложения. Часто запрашиваемые блоки данных хранятся в ОЗУ самой Synology DSM, что мы многократно видели в синтетических тестах прямого файлового доступа. Механизм кэширования в ОЗУ лучше всего наблюдать на дисковых операциях случайного чтения.

На этой диаграмме — идеальный вариант доступа к тестовой области объёмом 16 ГБ. Почти вся она может поместиться в ОЗУ NAS-а, что и происходит в процессе теста. Обратите внимание: "раскачивается" NAS достаточно долго — около 10 минут, после чего выходит на максимальную производительность.

Когда кэш заполняется, скорость чтения вырастает в 3 раза, но всё равно остаётся небольшой по меркам того, что можно выжать из ОЗУ. Имеет ли смысл добавлять SSD для операций, использующих небольшую активную область раздела, способную уместиться в памяти СХД?

3. SSD кэш в реализации Synology

SSD-кэш может работать в двух режимах: только чтение и чтение/запись. В первом случае вам достаточно и 1 твердотельного накопителя, а во втором случае — потребуется как минимум пара для объединения в «зеркало». Кэширующие SSD можно объединить и в более сложные массивы, в том числе RAID 5, главное чтобы для кэширования записи поддерживалась отказоустойчивость.

В текущей версии DiskStation Manager содержимое SSD кэша чтения не сохраняется после перезагрузки NAS-а. То есть, после ребута вас ждёт некий период прогрева, хотя DSM начинает пихать данные на SSD буквально с первых минут после запуска. Для кэша чтения/записи такой проблемы нет.

Повторим наш тест, для чего сначала будем использовать 1 SSD в режиме кэша чтения, а затем 2 SSD в режиме кэша чтения/записи, объединив их в зеркальный RAID 1.

Мы видим, что SSD, мягко говоря, работают-то побыстрее, и зеркальный массив дополнительно увеличивает производительность за счёт чтения с двух накопителей одновременно. Но помимо того, что кэш SSD работает быстрее, он ещё и заполняется быстрее, что хорошо видно на логарифмической диаграмме.

Получается, что NAS не нужно упрашивать сохранить данные в кэше: SSD выходят на максимальную скорость уже через 3-4 минуты, а ОЗУ — через 10-15 минут. Кроме того, SSD-кэш активнее освобождает данные и перестраивается между нагрузками, хотя на диаграммах этого не показать. Но, как говорится, только чтением жив не будешь, и очень интересно, как поведут себя кэши в паттернах VDI и SQL задач. Мы будем использовать 2 размера области теста: 16 ГБ, сопоставимую с объёмом ОЗУ и 96 ГБ, в три раза больше, чем есть памяти в NAS-е.

Читайте также:  Восстановление почтового ящика по номеру телефона

Там где добавляется запись, уже нужно грамотнее подходить к выбору самих SSD, учитывая, что скорее всего они будут постоянно заполнены данными, и их скорость будет отличаться от максимальной. Увеличим тестовую область в 6 раз:

Кстати, Synology DSM постоянно отслеживает здоровье SSD-шек и предупредит, когда накопитель лучше заменить. Для HDD производства Seagate есть расширенная диагностика через систему IronWolf Health Management (читайте подробнее в нашем обзоре), но это сравнительно новая технология, и насколько она полезна, покажет время. Изменим паттерн на SQL, и посмотрим на поведение массива.

Интересно, что в SQL-нагрузке при заполнении кэша снижается амплитуда колебаний производительности. Давайте сравним средние значения в разных паттернах.

Внимательные читатели заметили, что для SQL-паттерна мы не приводим диаграмму для 16-гигабайтной области раздела. Конечно, можно было бы махнуть рукой и сказать: "итак всё понятно — нужно ставить минимум 2 SSD", но мы не будем торопиться с выводами, а запустим OLTP тест в реальном приложении в виртуальной машине.

Тест Sysbench OLTP

Возьмём базу данных MariaDB в виртуалке с небольшим объёмом памяти, ну например 8 ГБ. Создадим таблицу в 50 миллионов записей с таким расчетом, чтобы её объём в 11.2 ГБ был больше ОЗУ, доступной для гостевой системы, но меньше ОЗУ NAS-а (16 ГБ) и заставим машину активно использовать диск в режиме транзакционной нагрузки, используя случайные запросы чтения. Проведём этот тест трижды: сначала виртуалка работает на хосте под VMware ESXi 6.7, подключенном по iSCSI, потом то же самое, но с NFS, а затем перенесём виртуалку в Synology Virtual Machine Manager, используя для миграции пакет Synology Active Backup for Business.

Тесты показывают, что сетевой трафик составляет 500-600 Мбит/с, но дисковая активность проявляется только в операциях записи, а значит Synology DSM одинаково хорошо кэширует и операции блочного доступа и операции файлового доступа, что не удивительно, поскольку iSCSI LUN-ы хранятся в виде файлов. Напомню, что наша тестовая RackStation RS18017xs+ имеет базовые 16 ГБ ОЗУ.

В данном случае SSD кэширование не даёт особых преимуществ из-за того, что часть виртуального диска, на котором лежит файл базы данных, легко умещается в ОЗУ NAS-а. Давайте создадим ситуацию, в которой объём базы данных сильно превышает свободную память Rackstation RS18017xs+. Увеличивать количество строк в тестовой таблице до миллиардов не получается: сильно начинает тормозить сама база данных, делая результаты не репрезентативными. Гораздо проще отнять лишнюю память у Synology DSM, для чего запустим в гипервизоре Synology VMM виртуальную машину с 12 ГБ ОЗУ, в результате под кэш останется всего около 2.5 ГБ.

И вот здесь SSD кэш сглаживает негативный эффект от нехватки памяти, хотя всё равно показатели чтения хуже, чем в предыдущем тесте. Нам нужно убедиться, что на скорость влияет именно отсутствие лишней памяти, а не гипервизор Synology VMM, для чего мы должны запустить тот же самый тест на самом NAS-е.

Переместив базу данных в гипервизор Synology VMM, нам пришлось добавить в RS18017xs+ ещё 16 ГБ памяти для того, чтобы сохранить возможность кэширования в ОЗУ NAS-а. Тесты показывают ту же производительность, что не удивительно, поскольку для всех файловых операций в СХД используется общий пул. То есть для практического использования базы данных можно вполне обойтись средствами Synology VMM, сократив количество серверов в вашей компании.

Углубляясь в настройки буферизации на уровне приложения и экспериментируя с параметром InnoDB Buffer Pool Size, я заметил, что при значениях от 1 ГБ до 6 ГБ, производительность существенно не меняется, так что выгоднее отдавать этот объём памяти NAS-у. Так поступают хостинг-провайдеры, предлагая в аренду виртуальные машины с небольшим объёмом памяти: база данных активно работает с дисковой подсистемой, в роли которой выступает СХД с SSD и большим объёмом памяти.

Причём, стоит отметить, что далеко не каждый SAN-массив имеет функцию кэширования в ОЗУ: буферизация LUN на уровне блоков — это редкая особенность, но у Synology сейчас даже iSCSI LUN-ы хранятся в виде файлов, поэтому помимо снапшотов по расписанию, DSM легко ориентируется в том, что нужно держать в памяти, а что — нет. Вот вам ещё один плюс NAS-ов перед SAN-ами.

Какие SSD выбирать?

Постарайтесь для SSD-кэширования выбирать накопители на основе MLC или SLC, но никак не 3D NAND TLC. По возможности, выбирайте SSD бизнес-класса, а в обзорах обращайте внимание на распределение IOPS по времени, как в нашем обзоре NVME SSD. Имейте ввиду, что ваш SSD обязательно должен быть в списке совместимости Synology, и тогда за дисковый массив можно не переживать.

Выводы

Какие выводы можно сделать из нашего тестирования? Прежде всего, обратите внимание на то, насколько агрессивно Synology DSM записывает данные на SSD. Буквально считанные минуты под нагрузкой — и они копируются на SSD накопители, ускоряя и NFS подключения, и iSCSI LUN-ы. По синтетическим тестам, SSD работают даже быстрее ОЗУ, но на деле выходит совсем иначе: чем большое объём горячих данных в вашей инфраструктуре, тем больше памяти нужно установить в NAS, не важно, используются ли в нём жесткие диски, SSD или гибридные массивы.

Ну и наш пример с Redis-ом показывает, что если вы вступили на путь добра и решили вместо старой SAN-СХД установить современный умный NAS с виртуализацией, то используйте его возможности по-максимуму: совсем не обязательно стараться забить все отсеки хранилища твердотельными дисками — можно просто добавить поддержку NoSQL баз данных в ваш софт и на самой простой модели Synology серии Rackstation получить чудо-скорость, которую ещё очень много лет не дадут никакие SSD.

Читайте также:  Ключи для навигатора навител для андроида бесплатно

Михаил Дегтярёв (aka LIKE OFF)
07/03.2019

Введение

Традиционная система хранения подразумевает размещение данных на жестких дисках HDD и твердотельных дисках SSD. В последние годы емкости HDD растут стремительными темпами. Однако, скорость их при случайном доступе по-прежнему мала. Для некоторых приложений, таких как базы данных, облачные технологии или виртуализация, требуется как высокая скорость доступа, так и большой объем. Получается, что использование только HDD не приемлемо, а использование SSD неоправданно дорого. Использование SSD только в качестве кэша является лучшим соотношением цена/производительность для системы в целом. В этом случае сами данные будут располагаться на емких HDD, а дорогие SSD будут давать прирост производительности при случайном доступе к этим данным.

Чаще всего SSD-кэш будет полезен в следующих случаях:

  1. Когда скорость работы HDD в IOPS при чтении является узким местом.
  2. Когда операций ввода/вывода на чтение существенно больше, чем на запись.
  3. Когда объем часто используемых данных меньше размера SSD.

Решение

SSD-кэширование – это дополнительный кэш для увеличения производительности. Один или несколько SSD должны быть назначены виртуальному диску (луну) для использования в качестве кэша. Обратите внимание, что эти SSD будут недоступны для хранения данных. В настоящее время размер SSD-кэша ограничен 2.4ТБ.

Когда производится операция чтения/записи, копия данных помещается на SSD. В следующий раз любая операция с этим блоком будет производиться напрямую с SSD. В итоге это уменьшит время реакции и, как следствие, увеличит общую производительность. Если, к несчастью, SSD откажет, то данные не потеряются, т.к. в кэше содержится копия данных с HDD.

SSD-кэш делится на группы – блоки, каждый блок делится на субблоки. Характер операций ввода/вывода для виртуального диска определяет выбор размера блока и субблока.

Заполнение кэша

Чтение данных с HDD и запись их на SSD называется заполнением кэша. Эта операция выполняется в фоновом режиме сразу же после того, как хост производит операции чтения или записи. Работа кэша ограничена двумя параметрами:

  • Populate-on-read threshold
  • Populate-on-write threshold

Эти значения больше нуля. Если они равны нулю, то кэш на чтение или запись не работает. В соответствии с этими значениями каждый блок соотносится с его счетчиком чтения или записи. Когда хост производит операцию чтения, и данные расположены в кэше, счетчик чтения увеличивается. Если в кэше нет данных и счетчик чтения больше или равен значению Populate-on-read threshold, то данные копируются в кэш. Если же значение счетчика меньше Populate-on-read threshold, то данные читаются мимо кэша. Для операций записи ситуация аналогична.

Сценарии работы SSD-кэша

  • Чтение данных, данные отсутствуют в кэше
    1. Хост присылает запрос на чтение данных
    2. Чтение данных с HDD
    3. Отправка данных на хост
    4. Копирование данных в кэш на SSD
    5. Чтение данных, данные присутствуют в кэше
      1. Хост присылает запрос на чтение данных
      2. Данные читаются с SSD
      3. Данные отправляются хосту
      4. Если данные невозможно считать с SSD из-за его поломки, то данные читаются с HDD

    6. Запись данных
      1. Хост присылает запрос на запись данных
      2. Данные записываются на HDD
      3. Хосту отправляется подтверждение о совершенной операции
      4. Данные копируются на SSD
      5. Тип ввода/вывода

        Тип ввода/вывода определяет конфигурацию SSD-кэша. Эта конфигурация выбирается администратором и определяет параметры блока, субблока, populate-on-read threshold и populate-on-write threshold. Имеются три заранее определенные конфигурации согласно типам ввода/вывода: базы данных, файловая система и web-сервисы. Администратору необходимо выбрать конфигурацию SSD-кэша для виртуального диска. В процессе работы можно сменить тип конфигурации, но в этом случае содержимое кэша будет сброшено. Если предопределенные конфигурации не подходят под используемый профиль нагрузки, то имеется возможность задать собственные значения параметров.

        Размер блока влияет на время «прогрева» кэша, т.е. когда наиболее востребованные данные переместятся на SSD. Если данные расположены на HDD близко друг к другу, то лучше использовать блок большого размера. Если же данные расположены хаотично, то логичнее использовать блок малого размера.

        Размер субблока также влияет на время прогрева кэша. Больший его размер уменьшает время заполнения кэша, но увеличивает время реакции на запрос с хоста. Помимо этого, размер субблока также влияет на загрузку процессора, пропускную способность памяти и канала.

        Для расчета примерного времени прогрева кэша можно воспользоваться следующим методом.

        • Т – время прогрева кэша в секундах
        • I – значение IOPS для HDD при случайном доступе
        • S – размер блока ввод/вывода
        • D – количество HDD
        • C – полный объем SSD
        • P — populate-on-read threshold или populate-on-write threshold

        Тогда T = (C*P) / (I*S*D)
        Для примера: 16 дисков с 250 IOPS, один SSD 480ГБ в качестве кэша, характер нагрузки – web-сервисы (64КБ) и populate-on-read threshold = 2.
        Тогда время прогрева будет Т = (480ГБ*2) / (250*64КБ*16) ≈ 3932 сек ≈ 65.5 мин

        Тестирование

        Для начала рассмотрим процесс создания SSD-кэша

        1. После создания виртуального диска нажмите ↓, затем Set SSD Caching
        2. Выберите Enable
        3. Выберите конфигурацию из ниспадающего списка
        4. Нажмите Select Disks и выберите SSD, которые будут использоваться в качестве кэша
        5. Нажмите ОК

        • Только SSD могут использоваться в качестве кэша
        • SSD может быть назначен только одному виртуальному диску в каждый момент времени
        • Поддерживается до 8 SSD на один виртуальный диск
        • Поддерживается общий объем до 2.4ТБ SSD на систему
        • Для SSD-кэширования требуется лицензия, которая приобретается отдельно от системы

        Результаты

        • HDD Seagate Constellation ES ST1000NM0011 1TB SATA 6Gb/s (x8)
        • SSD Intel SSD DC3500, SSDSC2BB480G4, 480GB, SATA 6Gb/s (x5)
        • RAID 5
        • I/O Type Database Service (8KB)
        • I/O pattern 8KB, random read 90% + write 10%
        • Virtual disk 2TB

        Согласно формуле время прогрева кэша T = (2ТБ*2) / (244*8КБ*8) ≈ 275036 сек ≈ 76.4 ч


        Представительство QSAN в РФ

        Телефон в Москве
        +7 (495) 641-55-92

        Ссылка на основную публикацию
        Красивые прайс листы шаблоны
        Автор: admin Дата записи Ознакомиться с ценами на услуги вашего салона красоты, клиенты могут с помощью прайс листа. Следующие шаблоны...
        Компы от hyper pc
        Когда в одном системном блоке объединяются все самые мощные технологии, присущие центральным и графическим процессорам, это и есть энергия компьютеров...
        Компрессор для велосипеда 220 вольт
        Насос электрический Bravo 220/2000 Насос электрический (220 В) Intex 66620 Насос электрический 220V/12V сеть/прикуриват, д/колёс,м. Насос Intex 220/12 В 66632...
        Красивые фото девушек на аву без лица
        Бывает такое, что старая аватарка уже надоела, а свежих классных фоток нет. На помощь придут красивые картинки девушек на аву....
        Adblock detector