Главная
Блог разработчиков phpBB
 
+ 17 предустановленных модов
+ SEO-оптимизация форума
+ авторизация через соц. сети
+ защита от спама

dCache — xранилище, где живёт ХИГГС

Anna | 4.06.2014 | нет комментариев
В последнее время было огромное число постов о ЦЕРНе и Большом Адронном Kоллайдере (БАК либо LHC). Но не многие знают, что БАК изготавливает ~20 ПБ данных в год. Порядка 50% всех данных хранится в dCache.

dCache является распределённой системой хранения данных, способной трудиться на обыкновенном железе, с вероятностью растяжения посредсвом добавления новых узлов. Всё, что необходимо для работы на узле, — это JVM (так как всё написано на джаве) и файловая система, где, собственно, и хранятся данные. Нормальные инсталляции применяют Linux(RHEL/SL/CentOS 6) либо Solaris с XFS либо ZFS, соответсвенно. В связи с натурой эксперементальных данных dCache не предусматривает метаморфоза хранимых файлов.

dCache разрабатывается с 2000 года и с 2002 года используеться в больше чем 80 научных центрах мира, включая Россию. Самые маленькие системы состоят из одного узла в несколько ТБ, самые крупные состоят из ~500 узлов с суммарным дисковым пространством в 22 ПБ.

image

dCache поддерживает различные протоколы доступа к данным. Наравне с широкораспространенными стандартными протоколами WebDAV, FTP, NFSv4.1/pNFS применяются а также грид протоклы SRM иGRIDFTP.

Самое примитивное использование dCache — это расспределённый WebDAV сервер. На его основе дозволено сделать свой личный Cloud Storage, тем больше, что теснее существует довольное число заказчиков, использующих HTTP и WebDAV.

Мы расмотрим больше тривиальное использование — распределенное NFSv4.1 хранилище.

Для хранения метадданных dCache использует postgresql.
Выходит, приступим:

# yum install postgresql-server
# yum install java-1.7.0-openjdk
# yum install http://www.dcache.org/downloads/1.9/repo/2.6/dcache-2.6.10-1.noarch.rpm
# /etc/init.d/postgresql initdb

В /var/lib/pgsql/data/postgresql.conf включаем TCP:
listen_addresses = 'localhost'

В /var/lib/pgsql/data/pg_hba.conf добавляем

host    all         all         127.0.0.1/32          trust
# IPv6 local connections:
host    all         all         ::1/128               trust
# /etc/init.d/postgresql restart
# su postgres -c "createuser -D -R -S chimera"
# su  postgres -c "createdb -O chimera chimera"
# su  postgres -c "createlang plpgsql chimera"

Все конфигурационные файлы находятся в /etc/dcache директории. Нас волнует только один из них: /etc/dcache/layout/single.conf, где находится изложение сервисов, которые обязаны быть запущены на данном узле.

Говорим dCache, что должно трудиться в /etc/dcache/layouts/single.conf:

[dCacheDomain]
[dCacheDomain/admin]
[dCacheDomain/broadcast]
[dCacheDomain/poolmanager]
[dCacheDomain/loginbroker]
[dCacheDomain/pnfsmanager]
[dCacheDomain/cleaner]
[dCacheDomain/httpd]
[dCacheDomain/topo]
[dCacheDomain/nfsv41]

Данная кофигурация создаёт dCacheDomain ( всякий домайн — одна JVM, один процесс) с соответствующими сервисами.

И конфигурируем дата сервер на том же узле:
# dcache pool create /srv/dcache pool1 pool1Domain

Данная команда добавит в конфигурационный файл pool1Domain с сервисом типа дата сервер с именем pool1:

[pool1Domain]
[pool1Domain/pool]
name=pool1
path=/srv/dcache
waitForFiles=${path}/data

Создаём директорию:
# chimera-cli mkdir /data<br> # chimera-cli chmod /data 777

И экспортируем в /etc/exports:
/data *(rw)

Запускаем dCache:
# dcache start
Лог файлы находятся в /var/log/dcache.

Так как dCache является распределённым храннилищем, нам необходим NFS заказчик, тот, что поддерживает pNFS (parallel NFS). Это RHEL/CentOS 6 либо всякий иной теперешний линукс дистрибутив:

# mount -overs=4.1 <server>:/data /data

Дабы добавить новейший узел и, тем самым, расширить хранилище, довольно на ином хосте поставить пакеты openjdk и dcache, сделать
/etc/dcache/layouts/single.conf с одной строкой:
dcache.broker.host=и сделать дата сервер:
# dcache pool create /srv/dcache pool2 pool2Domain 
Значимо помнить, что имена домайнов и дата се

Источник: programmingmaster.ru

Оставить комментарий
Форум phpBB, русская поддержка форума phpBB
Рейтинг@Mail.ru 2008 - 2017 © BB3x.ru - русская поддержка форума phpBB