Кластеры могут быть образованы как спонтанно самими компаниями-участниками кластера без какого-либо вмешательства со стороны государства, так и благодаря его поддержке. При этом важным моментом является тот факт, что в процессе формирования кластеров как с участием правительственных органов так и без него ведущая роль в любом случае принадлежит самим предприятиям. Государственные органы выступают в роли делового партнера.

Каждый кластер проходит несколько этапов развития, изображенных на рисунке 1, которые схематично можно разделить на три: до, во время и после формирования кластера.

Рисунок – Этапы формирования кластера

Выводы: Кластеры - агломерации компаний - производителей, поставщиков товаров и услуг, научно- исследовательских учреждений. Кластеры существуют, потому что компаниям выгодно находиться физически близко к остальным связанным компаниям и организациям. Страна не может иметь одинаково хорошо развитые кластеры; она всегда будет специализироваться лишь в ограниченном числе отраслей. Убедительно доказано, что экономические показатели в этих ключевых областях являются движущей силой для всей экономики в целом. Поэтому в плане оказываемого экономического эффекта некоторые кластеры будут всегда иметь большее значение для процветания страны.

Методические указания:

При изучении данной темы необходимо провести литературный обзор по соответстсвующим темам в основном литературном источнике - Портер М. Международная конкуренция и Портер М. Конкуренция. Помимо этого, студенту необходимо уделить внимание на периодическую литературу по данной теме. Для успешного освоения дисциплины необходимо посещение занятий и активнее участие на семинарских занятиях, а так же своевременное выполнение самостоятельной работы по данной теме.

Общая структура кластера изображена на рисунке 3, он объединен как географически, так и в рамках единой внутренней информационной среды, связанной с внешней. Совет кластера включает региональное руководство и связан с правительственным советом (департаментом) по бизнесу. Его задачи – чисто аналитические. Главное в структуре кластера – распространение инноваций на всю цепочку создания стоимости и единое логическое окно для взаимодействия с внешней средой. Такая структура позволяет минимизировать трансакционные издержки.

В настоящее время экспертами описаны семь аспектов (во многих случаях встречающихся в комбинациях), из которых состоят кластеры. Эти же аспекты составляют основу для формирования индивидуализированных стратегий. Вот эти аспекты:

1) географический: построение пространственных кластеров экономической активности, начиная от сугубо местных (например, садоводство в Нидерландах) до подлинно глобальных (аэрокосмический);

2) горизонтальный: несколько отраслей/секторов могут входить в более крупный кластер (например, система мегакластеров в экономике Нидерландов);

3) вертикальный: в кластерах могут присутствовать смежные этапы производственного процесса (аналогично понятиям систем ценностей, сетей поставщиков). В этом вертикальном аспекте важно, кто именно из участников сети является инициатором и конечным воплощением инновационной деятельности в рамках кластера;

4) латеральный: разные секторы, которые могут иметь общие возможности и способны обеспечивать экономию за счет эффекта масштаба, что приводит к новым комбинациям (например, формирующийся сейчас мультимедийный кластер);

-

Рис 3- Общая структура кластера

5) технологический: совокупность отраслей, пользующихся одной и той же технологией (как, например, биотехнологический кластер);

6) фокусный: кластер фирм, сосредоточенных вокруг одного центра - фирмы, разветвленной семьи предприятий, НИИ или учебного заведения; качество предпринимательской сети: здесь существенен не только вопрос о том, действительно ли фирмы сотрудничают, но и то, каким образом им удается делать это так хорошо. Сеть - это далеко не всегда идиллическое собрание фирм, где автоматически стимулируется всяческое обновление. Бывает, что в сетях, напротив, подавляются инновационные процессы и поощряется защитное поведение. Взаимосвязи с поставщиками могут стимулировать инновационные процессы, но они же могут использоваться для перекладывания расходов на партнеров и ущемления их в финансовом отношении. В последнем случае, сети не оказываются ни стабильными, ни стимулирующими.

В целом, различаются три широких определения кластеров, каждое из которых подчеркивает тот или иной аспект (приоритет) его функционирования:

1. Регионально ограниченные формы экономической активности внутри родственных секторов, обычно привязанные к тем или иным учреждениям индустрии знаний (НИИ, университетам и т.д.).

2. Вертикальные производственные цепочки; довольно узко определенные секторы, в которых смежные этапы производственного процесса образуют ядро кластера (например, цепочка «поставщик - сборщик - сбытовик - клиент»). В эту же категорию попадают сети, формирующиеся вокруг головных фирм.

3. Отрасли промышленности, определенные на высоком уровне агрегации (например, «химический кластер») или совокупности секторов на еще более высоком уровне агрегации (например, «агропромышленный кластер»).

Если исходить из «принципа филиальности», кластерную стратегию лучше всего проводить, по-видимому, на том уровне, на котором достигается наибольшее преимущество в конкуренции, но при этом на самом низком, по возможности, уровне. Таким образом, для разных уровней подходят местные, региональные, национальные или международные стратегии. Если же кластеры носят межнациональный характер (например, аэрокосмическая промышленность) или дают громадную экономию благодаря эффекту масштаба производства (некоторые направления в сфере фундаментальной науки и техники; ряд латеральных «новых комбинаций», крупные показательные проекты, ориентированные на растущий спрос), то приемлем общеевропейский уровень сотрудничества.

Говоря о кластерах, можно выделить две альтернативные стратегии, которые дополняют друг друга:

1) стратегии, направленные на повышение использования знаний в существующих кластерах;

2) стратегии, направленные на создание новых сетей конструктивного сотрудничества внутри кластеров.

Разные признаки, по которым формируются кластеры, тоже привлекают внимание к разным аспектам усиления интеллектуальной составляющей и инновационной деятельности внутри кластеров:

Технологический признак: сохранение и развитие высокой технической квалификации;

Вертикальный, горизонтальный и латеральный признаки: взаимодействие разных действующих лиц в восходящем потоке (тесное взаимодействие с поставщиками, включая всевозможные учреждения индустрии знаний и специализированные коммерческие службы) и в нисходящем потоке (в частности, взаимодействие со сферой спроса - розничной торговлей и конечными клиентами);

Географический, фокусный и вертикальный признаки, а также качество сети имеют отношение к распространению знаний и новшеств среди малых и средних предприятий. Здесь важна и организационная сторона инновационной деятельности. Для стимулирования этой деятельности важно уметь организовывать сети как внутри фирм, так и вне их. Поэтому необходимо побуждать фирмы к тому, чтобы они задумывались о своем стратегическом положении внутри сетей.

Поскольку инновационные процессы в настоящее время все больше приводят к интенсификации интеллектуальной составляющей во всех отраслях производства, кластерный подход создает прекрасную основу для создания новых форм объединения знаний. Благодаря разнообразию видов знания, с которым приходится иметь дело, во многих случаях находится роль и для посреднических учреждений.

Можно выделить целый ряд уже апробированных практикой систем содействия формированию кластеров:

1) программы, направленные на объединение деловых людей (иногда в определенной области техники) в расчете на то, что расширение сетей приведет к расширению сотрудничества;

2) инициативы по подбору партнеров, например, создание баз данных, к которым могут обращаться фирмы, ищущие партнеров по своей сфере деятельности;

3) финансирование посреднических (агентских) инициатив, здесь примером является программа, организованная DTI в Дании и впоследствии распространенная на другие страны;

4) шефские инициативы, когда оплачиваются услуги консультантов, чтобы они следили за процессом формирования кластеров с начала до первых шагов сотрудничества. Крупным фирмам выделяются государственные средства, чтобы они шефствовали над группой более мелких фирм;

5) государственное финансирование некоторых кластерных проектов на конкурсной основе. В этом случае, представители разных проектов сотрудничества могут подавать заявки на субсидии, причем, государственные средства получают (частично) лишь самые лучшие проекты. При такой конкуренции чистый инновационный результат субсидирования может быть весьма высоким.

Однако необходимо подчеркнуть важность осознания самими фирмами этих возможностей кластерных стратегий в рамках своих собственных стратегий. Правительства всех уровней могут привлекать внимание к потенциальным опасностям и возможностям, а также в той или иной мере поддерживать инициативы в этом направлении. Они же могут оказывать помощь в устранении барьеров на пути сотрудничества, предоставляя консультационные услуги, а также распространяя передовой опыт формирования и функционирования кластерных промышленно-инновационных систем. Фирмам же надлежит брать на себя ответственность за те процессы, которые вытекают из этих мероприятий, и их успешное осуществление.

Основная миссия туристского кластера - это становление конкурентоспособной туристской индустрии (которая включает все элементы кластера – места привлечения, люди, знания, капитал).

Цель кластера - формирование туристского имиджа города или региона на международном рынке, создание конкурентоспособной туристской индустрии. Основополагающие принципы деятельности кластера - в соответствии с вышеупомянутым, само слово «Кластер» определяет те группы компаний, которые принадлежат к одной и той же индустрии или ее сегменту.

Задачи кластера: совершенствование нормативно-правовой базы; развитие инфраструктуры; повышение квалификации трудовых ресурсов; создание благоприятных условий для привлечения финансовых ресурсов; совершенствование технологий, используемых в отрасли.

“Звенья кластера ” – постепенно развитые со временем, в результате преимуществ сотрудничества, гибки и могут эволюционировать по своей природе, могут принимать любую форму. Звенья могут эволюционировать и видоизменяться со временем, создавая, тем самым, более формальные структуры, но всегда основанные на добровольных обязательствах.

Карта кластера – это схема, которая наглядно показывает всех прямых и косвенных участников производственного процесса, их развитость и интенсивность взаимодействия между ними. Она состоит из трех составных частей – ядро кластера; сопутствующие сферы; ресурсы кластера (рисунок 6).

Ядро кластера – компании и организации, непосредственно вовлеченные в процесс оказания услуг, иными словами это туристические агентства, предоставляющие услуги по привлечению иностранных туристов в Казахстан. Гостиницы, дома отдыха, транспортные компании являются так же немаловажным звеном в туристическом бизнесе и зачастую включаются в пакет

услуг, предоставляемый туристическими агентствами. Места привлечения представляют очень важную сторону карты туристского кластера, поскольку они отражают не только понимание запросов туристов, но и отличительную черту каждого государства в отдельности. Посетители являются очень важной частью туристического кластера, так как от предпочтений заказчика будет меняться сама карта туристского кластера.

Косвенными поставщиками туристских услуг являются рестораны и организации, занимающиеся безопасностью туристов. Одной из баз для развития туристского кластера является государственный сектор, который включает образовательные учреждения, занимающиеся предоставлением специалистов в туристском кластере, отраслевые ассоциации и курирующие государственные органы.

Рисунок - Карта туристского кластера Казахстана

Ассоциации тур операторов, а также гостиниц и ресторанов занимаются отражением мнения данной отрасли по определенным вопросам. Члены ассоциации должны обладать опытом работы в данной отрасли, что является положительным фактором, который характеризует устойчивость данных компаний, знание рынка туризма. Кластерные встречи обеспечивают открытое обсуждение проблем для их решения и инициатив для их развития, совместные решения; развитие и поддержание конструктивного диалога, обеспечение помощи и стратегического руководства для членов кластера. Встречи рабочих группнаправлены на определение планов мероприятий, шагов для решения конкретных проблем, презентации результатов рабочей группы, привлечение международных консультантов, для обеспечения анализа и стратегического плана по вступлению на рынок, а также для привлечения инвестиций.

В рамках туристского кластера предполагаемые участники кластера могут быть классифицированы на следующие группы:

· Тур операторы – поставщики туристских услуг

· Гостиницы

· Транспортные компании (предоставляющие автобусы, авиа перелет, железнодорожные перевозки)

· Национальные парки

· Образовательные учреждения

· Комитет по регулированию торговой и туристской деятельности

В дальнейшем, по мере роста заинтересованности в кластерной инициативе бизнес - сообщества, круг участников кластера может быть расширен.

Определение составных частей кластера лучше проводить с рассмотрения крупной фирмы или концентрации сходных фирм, а затем выявить цепочку связанных с ними по вертикали ниже - и вышестоящих фирм и организаций. Далее надо пойти по горизонтали отрасли, проходящие через каналы или производящие продукты и услуги. Дополнительные горизонтальные цепочки отраслей устанавливаются на базе использования похожих специализированных факторов производства и технологий или же связаны между собой через поставки.

Следующий этап после установления входящих в кластер отраслей и фирм состоит в выделении организаций, обеспечивающих его специалистами, технологиями, информацией, капиталом или инфраструктурой, и иных групповых образований, в которые входят участники кластера. Завершающий шаг – выявить правительственные или другие регулирующие структуры, оказывающие существенное влияние на членов кластера.

Общим фактором успешной реализации кластера между государственным и частным сектором является сотрудничество и доверие. Частный сектор представлен факторами высокой концентрацией предприятий, осознания насущной необходимости создания кластера и видением и руководством кластером. Факторами государственного сектора являются соответственно финансовые ресурсы, содействие и процессы, развивающиеся на базе фактов.

Пока не могу найти устраивающий меня способ перевести слайды из PPT на блог. SlideShare как-то не очень... Может кто подскажет?

Первые впечатления от изучения материалов проекта "Конкурируя за будущее" состоит в том, что материал очень качественно визуализирован. В содержании пока несколько непонятен акцент на опросы, в связи с чем возникает вопрос: возможно ли сделать качественные выводы из этой информации?
Кстати, в проекте есть глава, которая касается жизненного цикла кластеров, правда другими словами и применительно к биотехнологическим кластерам.

И далее о кластерах...
Какие мы можем выделить стадии жизненного цикла у кластеров?
Прежде всего, определимся с понятием жизненный цикл. В Википедии оно определяется так:
Жи́зненный цикл организа́ции — совокупность стадий развития, которые проходит фирма за период своего существования.
Эта теория рассматривается в рамках менеджмента и подразумевает прохождение организацией нескольких этапов развития (аналогия с живыми существами): становление, рост, зрелость, смерть. Но последний этап не совсем применим к организации, так как не всякое искусственное создание обязательно должно умереть.
Жизненный цикл имеет следующий вид: зарождение и становление, рост, когда фирма активно заполняет выбранный ею сегмент рынка, зрелость, когда фирма пытается сохранить имеющуюся долю рынка под своим контролем и старость, когда фирма быстро теряет свою долю рынка и вытесняется конкурентами. В дальнейшем организация либо ликвидируется, либо вливается в более крупную, либо разбивается на более мелкие организации, которые в зависимости от ситуации могут оказаться на стадии роста или зрелости (реже — других стадиях).
Поскольку кластер представляет собой сложнопостроенную организацию, в которой взаимодействуют несколько групп участников, поэтому к нему вполне применима эта концепция.
Стадии развития могут называться у различных источников по-разному, не меняя при этом сути. Мы предлагаем придерживаться следующей терминологии:
Стадия зарождения - стадия, на которой из потенциальных участников, появляется организация, которая становиться центром притяжения для других компаний и структур
Стадия развития - на этой стадии к компании и организации, которые вошли в кластер на первой стадии, активно присоединяются другие участники, с целью использования уникального набора факторов для экономического роста, который зачастую имеет взрывной характер.
Стадия зрелости - в кластере формируется специализированная инфраструктура, компании-участники кластера доминируют на рынке, их экономический рост становиться органическим.
Стадия упадка и трансформации - рост участников кластера замедляется - кластер или распадается, или трансформируется: его участники начинают более активно взаимодействовать с другими кластерами, либо создают новые.

Одна из таких систем - Scale out File Services, сочетающая кластерную файловую систему и масштабируемые интерфейсы доступа к данным.Tрадиционные системы сетевого хранения данных обладают рядом недостатков, главный из которых - ограничение по объемам данных, вынуждающее при достижении предела производительности или емкости базы переходить на более мощную аппаратную платформу. Очевидно, что подобное вертикальное масштабирование (scale-up) можно продолжать до тех пор, пока не будут исчерпаны возможности наиболее мощных существующих систем хранения, при этом расходы на такое масштабирование будут весьма велики.

Рассмотрим, к примеру, популярную сегодня область хранения и предоставления медиаконтента. Обычно заказчикам из этой области требуется, чтобы чтение и запись данных в систему хранения производились со скоростью не ниже 10 Гбайт/с, а доступ к одному файлу на чтение и запись мог осуществляться одновременно из множества приложений, запущенных на разных серверах вещания. Даже самые продвинутые сетевые системы хранения не справляются с такими нагрузками: их производительность ограничена пропускной способностью сетевой подсистемы и числом дисков, между которыми распределяются блоки требуемого файла.

Для обеспечения таких требований к производительности сетевое хранилище должно уметь распределять все файлы между максимально возможным числом дисков, контроллеров и узлов системы хранения, так как скорость ввода/вывода каждого отдельно взятого компонента значительно ниже требуемой (рис. 1).

Это означает увеличение объема существующей системы хранения, что не может проходить безгранично. Другой широко распространенный подход заключается в разделении файлов по различным системам хранения в зависимости от их назначения, что увеличивает сложность администрирования, добавляет новые пространства имен, и в результате ресурсы в таких системах распределяются не оптимально.

Альтернативным решением является построение кластерных систем для доступа к данным (рис. 2). В этом случае пользователю предоставляется доступ к одному виртуальному узлу, за которым скрывается кластерная система хранения. Такой подход называют горизонтальным масштабированием (scale-out), позволяющим обойти ограничения обычных систем хранения.

Решение Scale out File Services (SoFS) корпорации IBM, построенное на базе продуктов категории Open Source и собственных уникальных технологий, принадлежит к такому классу систем.

Сетевые файловые системы

Широкое распространение сетей привело к тому, что задачи предприятия стали распределяться между отделами и филиалами. Серверы приложений, базы данных и файловые серверы накапливают необходимые данные на присоединенных дисках, ленточных накопителях и в других локальных устройствах хранения. Приложения в этом случае работают со своими данными и взаимодействуют через протоколы высокого уровня.

Такой подход имеет ряд очевидных недостатков: неоптимальное расходование дискового пространства, отсутствие единой политики работы с данными, сложности администрирования и масштабирования систем хранения, разнообразие используемых систем и протоколов. Для обращения к данным, расположенным на других узлах, необходимо использовать протоколы и интерфейсы, которые предоставляет расположенное на узле приложение.

От этих проблем избавляют сетевые системы хранения и сетевые файловые системы, в которых данные размещаются в выделенном хранилище и имеют единый интерфейс доступа. Это может быть взаимодействие на канальном, или сетевом уровне (Fibre Channel или iSCSI), или же на уровне приложений (NFS или CIFS). В этом случае серверный узел предоставляет данные для всех приложений сети.

Серверный узел в таком решении становится узким местом – нагрузка и требования к надежности сервера растут вместе с объемом и ценностью данных, а развертывание нескольких сетевых серверов хранения возвращает нас к предыдущему подходу со всеми сложностями администрирования. Для преодоления этих недостатков были созданы распределенные файловые системы, данные в которых разделены между различными системами хранения, а доступ к ним осуществляется через любой из серверов хранения (см. рис. 2), которые в свою очередь объединены в отказоустойчивый кластер.

Данные могут находиться в одном месте, что значительно облегчает администрирование и масштабирование системы, тогда как нагрузка от обращения к данным распределяется между множеством узлов кластера. Яркий пример такой распределенной файловой системы – IBM General Parallel File System (GPFS).

Файловая система GPFS разрабатывалась для больших кластерных систем, которые могут включать в себя множество дисковых массивов. При этом в рамках одной файловой системы можно комбинировать как целые дисковые массивы с RAID, так и отдельные диски кластерных узлов. Основные особенности GPFS таковы.

Кластерный характер. Файловая система предоставляет всем узлам кластера (до 1000 и более узлов) единое пространство имен и единый интерфейс управления.

Разделяемые диски. Все узлы имеют одновременный доступ на чтение и запись ко всем группам блочных устройств хранения (например, RAID-массивам, подключенным через Fibre Channel).

Параллельность. Осуществляется одновременный доступ к данным и метаданным на различных дисках с разных узлов кластера.

Благодаря одновременному параллельному доступу к дискам, подключенным к кластеру GPFS, производительность файловой системы растет пропорционально ее объему – данные «размазываются»
по всем дискам. Таким образом, блоки одного файла распространяются по всем узлам кластера, что позволяет объединить производительность всех подключенных систем хранения и достигнуть скорости передачи данных, измеряемой сотнями гигабайтов в секунду.

GPFS реализует интерфейс файловой системы, совместимый с POSIX, так что любые приложения или файловые серверы, запущенные на узлах кластера, обращаются к данным на когерентной файловой системе, аналогичной локальной файловой системе. На данный момент GPFS поддерживается в ОС Linux и IBM AIX и с ограничениями в Windows.

Особенность кластерной файловой системы GPFS состоит в том, что в ней нет выделенного сервера для метаданных. Метаданные хранятся вместе с данными на разделяемых дисках. Узлы GPFS-кластера непосредственно обращаются к метаданным, синхронизируя свою работу с помощью менеджера блокировок GPFS, который также управляет целостностью кэша, чтобы обновление данных и метаданных могло происходить одновременно на множестве узлов.

GPFS содержит ряд архитектурных решений, обеспечивающих высокую надежность и отказоустойчивость. Если в обычных системах хранения отказоустойчивость реализуется на аппаратном уровне (технология RAID, дублирование контроллеров и т.п.), то в GPFS имеется собственная репликация блоков, которая может использоваться вместо или в дополнение к RAID. Для того чтобы реагировать на отказ узла кластера, файловая система хранит журнал всех изменений метаданных на разделяемых дисках. Когда узел кластера выходит из строя, он первым делом ограждается от разделяемых дисков для предотвращения возможности некорректной записи. После этого один из оставшихся узлов обновляет данные согласно журналу, чтобы восстановить все прерванные файловые операции.
В GPFS всего три разделяемых сервиса: конфигурации, блокировок, кворума и квот, все они могут работать на любом узле кластера.

Все команды по администрированию системы (например, добавление и удаление узлов, балансировка данных с добавлением новой системы хранения и т.п.) выполняются на лету, без остановки кластера. Длительные операции, такие как повторная балансировка, могут быть запущены повторно после прерывания. То же касается и обновления программного обеспечения – GPFS позволяет устанавливать обновления без остановки работы кластера. Для управления жизненным циклом данных в GPFS используется система политик, существуют средства репликации данных и кросс-монтирования между удаленными филиалами предприятия.

Возможности GPFS нашли применение в кластерной системе хранения данных SoFS, включающей в себя весь стек системы хранения – от аппаратуры до сервисов, обеспечивающих доступ к файлам по распространенным протоколам, таким как CIFS, NFS или FTP. Компоненты решения представлены на рис. 3.

В основе SoFS лежит параллельная файловая система GPFS. На каждом узле кластера устанавливается экземпляр операционной системы Red Hat Linux Enterprise Server, файловой системы GPFS, средства управления данными Tivoli TSM и HSM, средства администрирования, набор файловых серверов и сервисов доступа к данным. Данные располагаются в единой системе хранения, которая подключается ко всем узлам кластера через Fibre Channel или аналогичным образом.

Единое глобальное пространство имен в системе хранения SoFS достигается за счет технологий виртуализации и перенаправления данных, реализованных в GPFS-кластере. Каждый узел в кластере имеет доступ ко всем блокам данных одновременно и может заменить любой другой узел кластера в случае его неисправности. Таким образом, конечные приложения, обращаясь к файловому серверу на каком-то конкретном узле кластера, работают виртуально со всем массивом данных. Благодаря тому что GPFS обеспечивает доступ к единой файловой системе, такие простые файловые службы, как FTP и HTTP, могут предоставлять кластерный доступ к данным.

SoFS базируется на масштабируемой кластерной технологии, которая учитывает семантику используемых сетевых протоколов доступа к данным и обеспечивает минимальное время восстановления работы системы для клиентской стороны при очень большой скорости доступа. Эти технологии были разработаны корпорацией IBM, и некоторые из них доступны сейчас на условиях лицензий Open Source. Так, IBM принимает участие в проекте Samba –файлового сервера для Windows-сетей с открытым кодом, реализующего протоколы CIFS и SMB. Эта разработка, собственно, и легла в основу решения SoFS. Главная задача сервера Samba – преобразование семантики CIFS-протокола (производного от Windows API по работе с файлами) к семантике POSIX-совместимых файловых систем. Для такого корректного преобразования серверу приходится поддерживать несколько баз данных с информацией об открытых файлах, используемых ресурсах, блокировках, пользователях и т.п. Обычная версия Samba, не предназначенная для кластерных систем, использует легковесную базу данных trivial database (TDB) для хранения такой информации. База данных реализуется в виде локального файла, к которому обращаются все процессы файлового сервера, координируя свою работу.

В случае кластерной файловой системы вроде GPFS такая база данных уже не может быть реализована в виде простого файла, расположенного на разделяемом пространстве, – скорость работы базы данных (а значит, и всех файловых операций) очень низка: для кластера из двух узлов скорость падает в 10-100 раз по сравнению с одиночным узлом. Очевидно, что ни о каком масштабировании не может идти и речи. Результатом исследований участников проекта Samba и разработчиков IBM стало создание кластерного хранилища для метаданных сервера – cluster trivial database (CTDB, ctdb.samba.org). Эта система реализует распределенную базу данных, используя протокол обмена сообщениями между серверами в кластере вместо одного общего файла. Результатом этого сотрудничества стало появление кластерной версии Samba, которая запускается на всех узлах кластера SoFS и обеспечивает прозрачный доступ к данным через любой узел кластера из операционных систем семейства Windows.

Протокол NFS, в отличие от CIFS, менее требователен к сохранению состояния сервера, что лучше подходит для кластерной реализации. Семантика блокировок файлов в NFS также значительно отличается от принятой в CIFS, поэтому файловый сервер NFS подвергся лишь небольшим доработкам, чтобы обеспечить высокопроизводительный параллельный доступ к данным, поддержку списков доступа и др.

Важной особенностью SoFS является то, что CTDB используется для реализации межпротокольных блокировок. Таким образом, блокировки файлов на уровне различных протоколов и на уровне операционной системы находятся в соответствии, что гарантирует корректное состояние файлов при одновременном доступе по нескольким протоколам (CIFS, NFS, FTP или HTTP).

Жизненный цикл данных

С помощью GPFS можно объединять множество систем хранения разного класса и скорости в единую виртуальную файловую систему. Так, например, для интеграции ленточных систем хранения и прозрачной миграции данных с дисков используются продукты IBM Tivoli Storage Manager (TSM) и Tivoli Hierarchical Storage Manager (HSM). Это дает возможность комбинировать дисковые и ленточные накопители в требуемом соотношении, включая автоматическую миграцию данных.

На рис. 4 слева показан типичный набор систем NAS с применением индивидуального управления емкостью. Очевидно, что в этом случае средняя утилизация хранилищ будет достаточно низка, а время обращения к большей части данных в среднем будет превышать несколько месяцев.

С другой стороны, используя кластерную систему SoFS, можно настроить несколько уровней хранения данных разной стоимости (включая ленты) и организовать автоматическую миграцию данных между ними в зависимости от частоты обращения к данным и других параметров. Это позволяет значительно повысить степень утилизации и сократить затраты на управление данными. GPFS в связке
с продуктами Tivoli TSM и HSM позволяет настраивать такие политики автоматической миграции данных.

Репликация

Еще одна важная функциональность SoFS и GPFS – возможность репликации данных между несколькими кластерными системами хранения. В SoFS существует несколько возможностей организации доступа к данным из других развернутых кластерных систем. GPFS позволяет организовать кросс-кластерное монтирование – прозрачный доступ к разделам других кластерных систем. Такой подход возможен при достаточной пропускной способности канала связи. Альтернативным решением является синхронная репликация. В этом случае данные систем хранения регулярно синхронизируются (например, раз в сутки), обеспечивая когерентность данных.

В следующей версии решения SoFS планируется реализовать асинхронную репликацию между хранилищами. Это позволит сократить служебный трафик между филиалами компании, а также значительно уменьшить время расхождения между версиями данных в хранилищах.

Аппаратная платформа

Решение SoFS включает в себя стек аппаратного обеспечения IBM. Узлы кластера строятся на базе лезвий IBM BladeCenter или серверов IBM System x. Между собой узлы кластера связываются посредством сетевого интерфейса в 1 Гбит/c или 10 Гбит/с – этой скорости достаточно, чтобы обеспечить нормальную работу кластера GPFS.

Один из узлов кластера SoFS отводится под задачи администрирования и управление кластером, тогда как общее число узлов в кластере задает необходимый уровень производительности системы. Практика использования SoFS показывает, что один узел может гарантировать скорость в несколько сотен мегабайтов в секунду при наличии нескольких адаптеров Fibre Channel и внешних сетевых портов в 10 Гбит/с. Сейчас максимальная конфигурация SoFS насчитывает 20 узлов, но нет никакой принципиальной сложности в создании кластеров большего размера.

В качестве системы хранения поддерживаются системы IBM System Storage DS различных серий. Как правило, системы хранения подключаются к кластеру через Fibre Channel, но возможно также применение гигабитной сети и InfiniBand. Объем системы хранения ограничен только физическим пространством ЦОД, самая большая на данный момент установленная SoFS-система имеет объем 3 петабайт.

Интерфейс администрирования

На рис. 3 представлены основные компоненты решения SoFS: кластерные узлы, распределенная файловая система GPFS, кластерные версии файловых серверов, реализующих сетевые протоколы (CIFS, NFS и др.), коммуникационное оборудование. При желании такие системы можно было бы собрать из представленных компонентов, как часто делают при проектировании суперкомпьютеров и других высокопроизводительных систем. Однако администрирование таких уникальных систем стало бы отдельной сложной задачей, требующей высококвалифицированных специалистов в ряде областей. Применение подобных масштабируемых систем хранения в корпоративных или государственных информационных системах, в таких областях как связь, цифровое телевидение, фармацевтика, подразумевает куда более низкие требования к администрированию. Похожие проблемы возникают при использовании классических сетевых систем хранения: при росте объема данных приходится добавлять новые устройства хранения и распределять данные между ними (например, по отделам или задачам), что в свою очередь повышает расходы на поддержку и администрирование таких систем. Поэтому управление такой сложной инфраструктурой должно осуществляться через единый интерфейс, аналогичный используемому в сетевых системах хранения или маршрутизаторах.

Интерфейс администрирования SoFS разрабатывался именно из таких соображений и потому не уступает классическим сетевым систем хранения. С помощью простого Web-интерфейса можно управлять кластерной системой хранения как на уровне добавления новых узлов или дисковых подсистем, так и на уровне файловых служб и экспорта данных. Можно увидеть статистику использования системы и нагрузку на отдельные ее компоненты, задать ограничения по пользователям и квотирование данных, сформировать необходимые отчеты.

Алексей Федосеев ([email protected] ) – специалист по решениям на Linux компании IBM (Москва).

Автоматизированное ILMупрощает и автоматизирует задачи управления жизненным циклом информации. Дополнительно к службам операционного управления для приложений, информации и хранения вы получите набор служб высокого уровня, названныхмодулями автоматизации ILM . Они выполняют автоматическую классификацию, конфигурирование согласно правилам, анализ изменений конфигурации, оптимизацию ресурсов и управление деловыми процессами. АвтоматизированноеILMпозволяет не только сократить затраты, но и оценить, установить и поддерживать правильный уровень служб управления. Это возможно благодаря интегрированным службам, ориентации на приложения, автоматизации на основе правил, оптимизации ресурсов и осведомленности о деловых процессах.

Интегрированные службы

Несмотря на то что сегодня предлагается много служб, необходимых для управления жизненным циклом информации, интеграция между ними почти или вообще не предусмотрена. Вы можете приобрести службы подготовки ресурсов хранения, резервного копирования и копирования по расписанию, архивирования, репликации и кластеризации, но, к сожалению, их совместная работа оставляет желать лучшего. У каждой из служб своя терминология, метаданные и принцип управления, поэтому на построение законченного ILM-решения уходит много времени и сил.

Рассмотрим для примера файловую систему, для которой внедрены службы резервного копирования, архивирования и репликации. В настоящее время каждая из перечисленных служб - это отдельный продукт, в котором есть собственные объекты для идентификации и управления файловой системой. Кроме того, у каждого продукта обычно собственный пользовательский интерфейс, конфигурационная база данных, средства безопасности, а также процессы инсталляции и лицензирования. Получается, что компоненты процесса ILMподобны отдельным островам.

Автоматизированное управление жизненным циклом информации позволяет объединить эти острова с помощью общей инфраструктуры для отдельных компонентов управления. Таким образом достигается более высокий уровень взаимодействия компонентов, упрощаются многие задачи конфигурирования и управления. Например, для нашей файловой системы в среде автоматизированного ILMвсе три службы будут работать с единым идентификатором информационной группы. То, что объект управления определяют один раз и потом используют во всех службах, ускоряет и упрощает конфигурирование. Одинаковые пользовательские интерфейсы, средства безопасности, сообщения о событиях и процессы лицензирования служб делают управление еще проще и дешевле.

Ориентация на приложения

Одна из проблем при определении правильного уровня управления приложениями и информацией связана с тем, что многие службы не ориентированы на приложения. Например, некоторые службы репликации работают только на уровне томов. Поэтому если данные нескольких различных приложений хранятся на одном и том же томе, их реплицируют вместе, и когда вам потребуется реплицировать данные одного из приложений, придется реплицировать и данные остальных. Такой ориентированный на тома метод вынуждает использовать лишние ресурсы, уходящие на данные, репликация которых не нужна.

Автоматизированное управление жизненным циклом информации дает ориентированное на приложения решение для управления только тем, чем необходимо, и тогда, когда это необходимо. Благодаря технологиям виртуализации томов и устройств хранения и набору служб управления, созданных для работы со специфической информацией приложений, автоматизированное ILMобеспечивает ориентированное на приложения управление на всех стадиях жизненного цикла.

Автоматизация на основе правил

Сегодня администратор, поняв, что для хранения информации того или иного приложения недостаточно места, должен вручную выполнить ряд операций. Он начинает с проверки того, где и как хранится информация этого приложения в настоящий момент, затем находит свободную область памяти и подготавливает ее (при этом обычно приходится останавливать и перезапускать приложение). В сложных средах это может занять у администратора много времени, к тому же, он должен использовать несколько различных интерфейсов управления.

Автоматизированное ILM, напротив, позволяет при выполнении подобных задач почти или совсем ничего не делать вручную. В вашем распоряжении будетменеджер правил, который автоматизирует задачи конфигурирования на основе определяемых пользователями правил подготовки областей хранения информации (с учетом особенностей инфраструктуры и доступных служб управления). Благодаря автоматизации на мониторинг и конфигурирование приложений и ресурсов хранения уходит меньше времени, что сокращает затраты и позволяет администраторам сосредоточиться на стратегических инициативах.

Оптимизация ресурсов

Современные архитектуры хранения информации обычно предназначаются для решения специфических проблем, и на предприятиях не рассматривают возможность их применения в дальнейшем для других целей. Автоматизированное ILMпозволяет интегрировать имеющееся оборудование с передовой технологией и оптимизировать ресурсы, избежав проблем со слишком низким или слишком высоким уровнем их использования.

Кроме того, благодаря автоматизированному ILMадминистраторы, выполняющие сегодня специфические для приложений задачи (подготовка, специальное резервное копирование информации приложения и т.п.), могут забыть о многих из них. Таким образом, автоматизированноеILMконсолидирует и улучшает использование аппаратных и людских ресурсов.

Осведомленность о деловых процессах

При автоматическом конфигурировании не всегда соблюдаются все бизнес-требования. Так, в приведенном выше примере с подготовкой ресурсов хранения, на предприятии могут быть установлены правила, согласно которым стоимость хранения информации в данной области должен сначала проверить менеджер и дать разрешение на ее использование, а любые изменения в конфигурации - утвердить технический специалист. Само по себе автоматизированное решение не знает, как связать выполняемые людьми шаги подготовки области хранения с лежащими поверх деловыми процессами.

В автоматизированном ILMимеется интегрированное с автоматизированными службами управление деловыми процессами, в итоге получается решение, способное учитывать бизнес-правила. Такой метод скрывает детали задач управления низкого уровня и в тоже время дает пользователям необходимый контроль над всем процессом.