Выставление оценок намного проще, когда существует множественный выбор. Но эссе? Презентации? Проекты? Когда субъективность будет добавлена в эту смесь, это задание становится немного сложнее. Научитесь создавать комплексные критерии оценивания для заданий, состоящих из нескольких частей, это поможет вам ориентироваться в процессе аттестации студентов, что также покажет им их слабые места, которым необходимо уделить дополнительное внимание, и то, за что они на самом деле получили данную оценку. Вы можете выбрать ваши критерии классификации, определить выраженный в баллах показатель, и использовать рейтинг успеваемости, чтобы облегчить процесс аттестации. Ознакомьтесь с первым пунктом для получения дополнительной информации.

Шаги

Часть 1

Определите критерии

    Определите цели заданий. Рейтинг успеваемости используется, как правило, для более длительных заданий или проектов, которые состоят из нескольких разделов или частей, требующих определенного количества субъективности в выставлении оценок. Другими словами, вы не будете использовать рейтинг успеваемости для теста с выбором ответов, но вы можете применить его для оценки эссе или презентации. Формулируя конкретные цели проекта, который вы будете оценивать, лучше всего начать с тех вещей за которые вы будете ставить оценки. Рассмотрите следующие вопросы:

    • В чем заключается основная цель вашей аттестации?
    • Что предположительно должны будут изучить учащиеся, выполнив задание?
    • Как вы определите успешно выполненное задание?
    • Что выделяет этот проект?
    • Что можно назвать «достаточно хорошо»?

  1. Составьте список всех компонентов проекта, которые будут оценены. Перед тем как приступить к классификации, рассмотрите оценки, которые охватывают содержание и части тех баллов, которые больше оцениваются. Как правило, существует, две основные категории компонентов, которые вам понадобится определить для завершения полного рейтинга успеваемости, в зависимости от оцениваемого задания: содержание и оформление работы.

    • Содержание компонентов , обратитесь к фактическому содержанию задания и качеству того, что выполнил учащийся. Это включает в себя такие вещи, как:
      • Манера изложения
      • Взаимодействие с темой курса и целью исследования
      • Аргументация или тезисы
      • Структура
      • Творческая изобретательность и выражение
    • Компоненты процесса – отдельные шаги, которые студент должен предпринять, чтобы выполнить задание. К ним относится:
      • Титульный лист, имя и дата
      • Требуемое время и объем
      • Оформление

  2. Пусть рейтинг будет простым. Стоит ли давать баллы за использование учащимися переходных фраз? Владение дыханием во время их речи? Качество используемого переплета? Попробуйте выбрать разумное количество критериев для оценки этапов обучения. Чем проще ваш рейтинг, тем лучше. Он должен быть комплексным, но не чрезмерно объемным, что может оказаться тщетной попыткой для вас и сложным для понимания учащихся. Будьте разумны при выборе критериев и постарайтесь оставить наименьшее количеством возможных категорий.

    • Например, основные критерии оценки эссе могут включать в себя пять разделов, оценивайте соответствующие им знания: тезисы или аргументация, структура текстов и разбивка на абзацы, вступление/заключение, грамматика/словоупотребление/орфография, источники/ссылки/цитаты.

  3. Сосредоточьте ваш рейтинг на том, о чем вы говорите в классе. Не имеет смысла, вносить в рейтинг успеваемости и назначать 50 баллов за изложение тезисов, если вы это еще не объясняли во время занятий. Вам следует использовать содержание ваших уроков для оценки заданий, так что используйте тот же материал и при создании рейтинга успеваемости.

    • Если вы хотите, то вы можете конкретизировать большие и основные разделы в вашем рейтинге. В «тезис или аргументация» можете добавить определенное количество баллов за тематические предложения, изложение мыслей, доводы и приведенные доказательства, в зависимости от года обучения ваших учащихся и конкретного материала, который вы использовали во время уроков.

    Часть 2

    Определите выраженный в баллах показатель

    1. Используйте круглые цифры, чтобы облегчить себе задание. Существует много способов структурировать систему баллов за семестр, но самым простым на сегодняшний день считается оценка выполненных заданий по основной 100 бальной шкале. Легче всего классифицировать оценки в буквенных эквивалентах, формула проста, и студенты уже знакомы с ней. Попробуйте присваивать баллы за каждое задание, которые составляют в общей сложности 100 процентов или баллов.

    2. Присваивайте балл в зависимости от сложности заданий. За некоторые части заданий вы возможно будете выставлять больше баллов, чем за другие, так что вам следует присвоить значения соответствующим образом. Это может быть самая трудная часть оценки, и именно поэтому будет полезно немного поразмышлять о главных целях заданий и обучения студентов. Основные критерии оценки эссе могут выглядеть примерно так:

      • Тезисы и аргументация:_/40
        • Изложение тезисов:_/10
        • Тематические предложения:_/10
        • Утверждения и факты: _/20
      • Организация данных и абзацы: _/30
        • Последовательность абзацев: _/10
        • Плавные переходы: _/20
      • Введение и заключение: _/10
        • Предварительное введение в тему: _ / 5
        • Заключительное обобщение: _ / 5
      • Коррекция ошибок: _/10
        • Пунктуация:_/5
        • Грамматика:_/5
      • Первоисточник и цитаты:_/10
        • Список использованной литературы:_/5
        • Цитаты в тексте: _ / 5
      • В качестве альтернативы, вы можете поровну разделить числовые значения для выполнения отдельных заданий, все компоненты которых могут быть оценены одинаково. Этот вид оценки менее применим для письменных заданий, но отлично подходит для презентаций или других творческих проектов.

    3. Присвойте буквенные значения в зависимости от уровня задания. Обычно удобно иметь устойчивую систему классифицирования на семестр и избегать чрезмерно усложненной системы, так что рекомендуется придерживаться буквенных оценок, основанных на 100 балльной шкале.

      • Если вам не нравятся коннотации с традиционными буквенными оценками, можно использовать такие термины, как «отлично», «хорошо», «удовлетворительно» и «неудовлетворительно» чтобы различать уровень оценки сообщите вашим ученикам об изменении системы.

    4. Определите и опишите обозначение буквенных оценок. Детально распишите каждый уровень, сформулируйте, что «означает» конкретный балл и, как студенты должны интерпретировать полученные оценки. Иногда бывает проще начать с самой высокой оценки, затем определить критерии, которые снижают качество выполненной работы до самого худшего балла. Определить за что именно ставится оценка «С», как правило, намного сложнее, чем объяснить, что обозначает «A». Основная классификация для оценки эссе может выглядеть следующим образом:

      • (100-90) : работа студента соответствует всем критериям задания, и выполнена в творческой и индивидуальной манере. Эта работа даже превышает заданные критерии и показывает, что студент проявил дополнительную инициативу в новом и творчески сформированном содержании, структуре и стиле.
      • В (89-80) : работа студента соответствует основным критериям задания. На данном уровне работа считается довольно успешной, но можно было бы улучшить структуру и стиль.
      • С (79-70) : работа студента соответствует большинству критериям задания. Хотя содержание, структура и стиль немного смешиваются и могут потребовать некоторого пересмотра. Эта работа не демонстрирует высокий уровень оригинальности и творческого подхода студента.
      • D (69-60) : Работа либо не соответствует требованиям задания, либо отвечает им весьма неадекватно. Данная работа требует пересмотра, и в значительной степени неудачна в содержании, структуре и стиле.
      • F (ниже 60) : Работа не соответствует требованиям. В общем, студенты, не приложившие достаточно сил для выполнения задания, получат F.

    5. Упорядочите критерии аттестации успеваемости и баллы в таблицу. Создайте таблицу, которую вы будете заполнять после каждого выполненного задания, так вы оптимизируете процесс классификации и дадите студентам конкретные объяснения полученной ими оценки. Это может оказаться более полезным, т.к. направит их к проблемным темам, которым необходимо уделить больше внимания, чем нацарапанная красными чернилами оценка.

      • Разместите каждое задание или задачу в отдельной строке, оставьте при этом место для выставления оценки в верхней части каждого столбца. Перечислите требования для каждого уровня под каждым заголовком. Заголовки должны начинаться от наименьшего балла до наибольшего или, наоборот, в зависимости от ваших предпочтений.

      Часть 3

      использование рейтинга успеваемости
    6. Вы все еще учитель. Если студенты сходятся во мнении, что за грамматику можно присвоить 99 баллов, прервите упражнение, не закончив его. Но все же используйте его как возможность для обучения. Выберите студента(ку) с плохим правописанием и спросите, действительно ли он(а) хочет, чтобы основная часть его(ее) баллов была вычтена за мелкие ошибки в его(ее) работе. Они поймут, в чем дело.

  4. Оцените задания и разместите их в рейтинге. Если вас ожидает большая партия эссе, и вы понимаете, что что-то несбалансировано и, возможно, нагрузка слишком большая, и то, что вы планировали дать учащимся может исказить положительные оценки, значит это не самое подходящее время для перемен и использования неконтролируемого субъективного оценивания. Придерживайтесь ваших критериев, и пересмотрите их в следующий раз.

    Предупреждения

    • Старайтесь не использовать негативную лексику или описания при обсуждении критериев для каждого уровня качества. Просто констатируйте, какие пункты предполагались, какие были упущены.

В мире существует два наиболее авторитетных рейтинга репутации компаний. Это проекты газеты Financial Times - World"s Most Respected Companies и журнала Fortune - Global Most Admired. При этом оба издания используют принципиально разные методики составления рейтинга.

Financial Times (FT) опрашивает руководителей крупнейших мировых компаний: в прошлом году в ее выборку вошли 914 человек из 65 стран мира. Респондентов сначала просят назвать три наиболее уважаемые в мире компании, затем три фирмы, наиболее уважаемые в их отрасли, и наконец трех лидеров бизнеса с наилучшей репутацией. При этом респонденты должны объяснить причины своего выбора. В прошлом году FT впервые дополнила свое исследование вопросами, касающимися отношений компаний с потребителями, акционерами и защиты окружающей среды. В этом блоке опрашиваются кроме руководителей бизнеса сами потребители (выборка составляет около 6000 человек), менеджеры инвестиционных фондов и эксперты из СМИ и неправительственных организаций. По результатам исследования составляются рейтинги, положение компаний в которых зависит от количества упоминаний.

Fortune, отличие от Financial Times, сначала формирует список компаний, репутация которых исследуется в ходе реализации проекта. Критерий отбора - годовой доход не менее 8 млрд долларов. Фирмы, разделенные на 26 отраслевых групп, оцениваются по девяти критериям: качество менеджмента, качество продукции и услуг, внедрение инноваций, долгосрочные инвестиции, финансовая состоятельность, способность привлекать, развивать и удерживать таланты, ответственность перед сообществом и окружающей средой, разумное использование корпоративных активов, активность на глобальном рынке. Результирующий балл компании определяется путем вычисления среднего арифметического значения оценок по этим критериям.

Заметим, что разница в методике не приводит к радикальным отличиям в конечном рейтинге. В последних исследованиях и FT и Fortune первое место занимает компания General Electric, в первой тройке находится Microsoft. Хотя некоторые отличия, несомненно, имеются: в Top-20 у Fortune нет ни одной неамериканской компании, у FT их пять.

В нашем исследовании мы приняли за основу методику FT. Это решение вызвано рядом причин. Во-первых, однозначного мнения о "слагаемых репутации" в России не существует; нам еще только предстояло определить, что подразумевают под репутацией петербургские бизнесмены. Во-вторых, оценка компаний по отдельным критериям значительно осложняет полевую работу: респонденты во многих случаях затрудняются оценить, допустим, степень финансовой состоятельности фирмы X, резонно замечая, что они обладают недостаточной информацией. В этом случае в рейтинг привносится слишком большая доля оценок, взятых "с потолка", отсеять которые не представляется возможным. В-третьих, критерии попадания компаний в первоначальный список неясны: едва ли в нашем случае это может быть только годовой доход, реальный объем которого не всегда возможно оценить.

Выборка, сформированная для нашего исследования, составила 140 человек. В подавляющем большинстве это первые или вторые лица петербургских и областных компаний (распределение респондентов по должности указано в диаграмме). Кроме того, мы опрашивали представителей "экспертного сообщества": чиновников, сотрудников исследовательских и консалтинговых компаний, редакторов и журналистов петербургских деловых изданий. Мы старались учесть представителей всех отраслей экономики, значимых в городе, при этом особенно важные отрасли получили наибольший вес (распределение респондентов по отраслям указано в диаграмме). Распределение респондентов по полу заранее не задавалось, однако полученный случайно результат (13% женщин в выборке) представляется адекватно отражающим реальное гендерное распределение в деловой элите города и области.

Опрос проводился в октябре и ноябре 2002 года силами журналистов "Эксперта Северо-Запад". Мы обращали особое внимание на личный контакт с респондентом - без посредничества сотрудников пресс-служб, хотя это удавалось и не всегда. Большинство опросов проводилось по телефону, в некоторых случаях - при личной встрече, с помощью электронной почты или факсов.

Респондентам задавали четыре вопроса. Во-первых, они должны были назвать пять компаний Петербурга и Ленинградской области (включая представительства иностранных и московских фирм), обладающих наилучшей репутацией, и объяснить свой выбор. Во втором вопросе мы просили их определить три фирмы, обладающие наилучшей репутацией в их отрасли. В ответе на третий вопрос опрашиваемые должны были указать трех бизнес-лидеров, менеджеров или собственников компаний, обладающих наилучшей репутацией. И наконец в заключение респонденты называли три фактора, в наибольшей степени, на их взгляд, влияющих на репутацию компаний.

В дальнейшем рейтинги составлялись по следующей методике. Для общего рейтинга репутации компаний, рейтинга репутации руководителей бизнеса и рейтинга составляющих репутации подсчитывался индекс репутации (ИР). Количество упоминаний делилось на суммарное количество анкет и умножалось на 100%: таким образом, показатель ИР отражает частоту упоминаний компаний, лидеров бизнеса и составляющих репутации. Поскольку не все респонденты соглашались отвечать на все вопросы анкеты, в общем рейтинге репутации компаний было задействовано 135 анкет, в рейтинге репутации руководителей бизнеса - 126 анкет, в рейтинге составляющих репутации - 139 анкет. По пяти наиболее важным для экономики региона отраслям (пищевая промышленность, строительство и недвижимость, финансы, машиностроение, телекоммуникации и IT) были составлены отдельные, отраслевые рейтинги. Компании и персоналии попадали во все рейтинги при наличии не менее трех упоминаний. При этом в отраслевых рейтингах учитывались лишь упоминания компаний в ответах на второй вопрос, поэтому они независимы от основного рейтинга. В большинстве случаев компании, представленные в общем рейтинге, лидируют и в отраслевых рейтингах, однако есть некоторые исключения. Поскольку выборка, задействованная при составлении отраслевых рейтингов, не может считаться полностью репрезентативной, в данном случае мы не публикуем ИР и приводим результаты для иллюстрации.

Источник диаграмм: соб. инф.

Рейтинги как инструмент систематизации данных, отражающих положение и перспективы предприятия, продукта или персоны в конкурентной среде, становятся все более и более популярными. В то же время именно рейтинги вызывали и продолжают вызывать споры и столкновение мнений.

Введение

Определение рейтинга

Современный словарь иностранных слов определяет рейтинг как «индивидуальный числовой показатель оценки популярности, авторитета, лица, организации, группы их деятельности, программ, планов в определенное время». Под рейтингом также понимают список объектов, упорядоченных по величине одного или нескольких показателей (факторов). Следует заметить, что на западе под рейтингом подразумевают отнесение объектов к определенной категории или типу на основании совокупности характеристик, а список объектов, проранжированных по одному параметру, называют рэнкингом.

Разнообразие рейтингов

По количеству характеристик, на основании которых оценивают ранжируемые объекты, рейтинги можно разделить на однофакторные и многофакторные (рэнкинги и собственно рейтинги).

По источникам информации, на основании которой составляют рейтинги, их также можно отнести к нескольким категориям:

  • составленные по результатам опроса целевой аудитории;
  • построенные на вторичной информации;
  • основанные на данных, полученных непосредственно от ранжируемых объектов.

В зависимости от того, сколько раз был выпущен рейтинговый продукт, выделяют периодические и непериодические рейтинги.

Однако как бы велико ни было разнообразие рейтингов, круг целей, в которых их используют. Спрос на рейтинги создают несколько классов потребителей: инвесторы, коммерческие и некоммерческие организации различного направления, граждане и т.д. Рейтинги необходимы для осуществления корректного выбора в условиях как избыточной, так и неполной информации, поскольку и в том, и в другом случае, людям трудно правильное решение: если данных много, то их сложно обобщить и структурировать, если мало – высока вероятность сделать ошибку, не учтя важные параметры.

Основную роль в создании рейтингов в развитых странах берут на себя рейтинговые агентства, ранжируя различные экономические и не экономические объекты. В настоящее время комплексные рейтинги инвестиционной привлекательности стран мира периодически публикуются такими известными журналами, как «Форчун», «Евромани» и др. Значения показателей определяются экспертным, либо расчетно-аналитическим путем. Инвесторы при принятии решений ориентируются на финансовые и кредитные рейтинги стран. На разработке таких рейтинговых продуктов специализируются международные агентства Moody’s, Standard&Poor’s, Fitch IBCA.

В нашей стране рынок рейтинговых продуктов находится в процессе формирования. Из российских рейтинговых агентств, оценивающих одной из первых начала свою работу рейтинговая служба еженедельника «Эксперт». В настоящее время аналитические обзоры состояний регионов выпускают многие информационные агентства, например «АК&М» или «Росбизнесконсалтинг». Кроме того, различные рейтинги составляются журналами «Профиль», «Компания», «Деньги» и многими другими. Однако признанных авторитетов в этой области все же нет, отдельные задачи решаются различными информационными и рейтинговыми агентствами. До сих пор нет стандартизированных российских методик, а проверенные западные технологии часто не могут быть адаптированы к условиям российского рынка. В результате оценки по большей части ни только не сопоставимы, но и противоречивы.

Несмотря на обилие организаций, предлагающих свои услуги на российском рейтинговом рынке, хороший продукт - большая редкость. Низкое качество многих современных рейтингов вызвано несколькими причинами. Во-первых, ранжируемым объектам часто важно, какое место они займут, поскольку от этого зависит отношение потенциальных инвесторов, партнеров или потребителей. Иметь высокий рейтинг не просто престижно, но и экономически выгодно. Поэтому нередки ситуации, когда результаты исследований подтасовывают с целью вывода на лидирующие позиции заинтересованных компаний. Во-вторых, далеко не всегда составители имеют доступ к информации, необходимой для построения рейтинга. Исходные данные могут быть неполными или недостоверными. Естественно, что составленные на такой основе рейтинги, большой ценности не представляет. Наконец в третьих, низкое качество рейтингового продукта является результатом использования неправильной методики. Ошибочный подход может до неузнаваемости исказить реальную картину. Методики, разработанные на западе, не всегда могут быть адаптированы к российским условиям. В настоящее время сложилась парадоксальная ситуация: разных рейтингов много, а методических рекомендации по их составлению почти нет.

Очевидно, что дать универсальный набор правил, следуя которым любой сможет построить хороший рейтинг, нельзя. (Рейтингов много и они разные). И все же знать основы методологии необходимо и составителям, и людям, которые будут на рейтинги опираться. Первым это поможет избежать многих ошибок при составлении рейтинга, вторым – понять, насколько конкретному рейтинговому продукту можно доверять.

Этапы составления рейтингов.

На рис. представлена обобщенная схема, отражающая основные этапы составления рейтингов.

Рассмотрим каждый из этапов подробнее.

Постановка задачи.

Определение важнейших параметров, характеризующих объект.

Можно оценивать объекты только по одному параметру, например, университеты - по конкурсу на вступительных экзаменах, футболистов - по количеству забитых мячей, дистрибьюторов - по уровню цен и т.д. В результате будет построен однофакторный рейтинг. Такие рейтинги достаточно объективны, ведь точность оценки зависит лишь от того, насколько достоверна исходная информация. Однако объекты редко оценивают на основании одного параметра. К примеру, аптеки, выбирая дистрибьюторов, обращают внимание не только на уровень цен, но и на сервис, возможность покупки в кредит, ассортимент и т.д. Поэтому, несмотря на то, что однофакторный рейтинг имеет свои преимущества, чаще объекты ранжируют на основании нескольких параметров (многофакторный рейтинг).

Один из первых вопросов, который возникает при составлении рейтингов, учитывающих несколько характеристик объекта, заключается в том, сколько этих параметров должно быть. Если критериев, по которым ранжируют объекты, слишком мало, то не будут учтены некоторые важные характеристики, в результате такому рейтингу нельзя будет доверять. Если же выбранных критериев слишком много, то появляется ряд чисто технических проблем, решить которые довольно сложно. Так, возникают трудности со сбором и анализом большого количества информации. В результате адекватность оценки ухудшается.

Почти всегда для того, чтобы понять, сколько критериев учитывать и на каких конкретно характеристиках остановиться, необходимо провести специальное исследование. Существует множество способов, позволяющих получить необходимую информацию, но принципиально их можно разделить на две категории: экспертные оценки и опрос целевой аудитории (людей, являющихся непосредственными потребителями товаров/услуг, предлагаемых объектами рейтинга).

В первом случае сложно избежать субъективности, зато меньше временные и денежные затраты, поскольку в качестве экспертов часто выступают сами составители рейтингов. Нужно, однако, осознавать, что экспертная оценка не может быть основана на мнении одного или нескольких человек (даже если они действительно профессионалы в своей области). Поэтому, если составителей рейтингов и можно привлечь в качестве экспертов, неверно ограничиваться только их точкой зрения – оценка будет слишком субъективной.

Во втором случае исследование зачастую требует больших вложений, но увеличивается вероятность того, что рейтинг будет содержать информацию, действительно полезную в условиях формирующейся рыночной экономики с ее ориентацией на потребителя (маркетинговый подход).

Определение относительной значимости каждого параметра (расстановка весов).

Этот этап в построении рейтингов – один из самых ответственных и требующих высокой квалификации от составителей. Вместе с тем он и самый творческий. После того, как выбраны характеристики, по которым оценивают объект, необходимо выяснить, насколько важен каждый из параметров наиболее, и численно оценить его значимость. При этом часто важность всех факторов берут за единицу, а относительную значимость каждой характеристики выражают в долях единицы.

Как и выделение параметров ранжирования, расстановку весов можно осуществлять либо, исходя из рекомендаций людей, которых в данной области считают авторитетами, либо, опираясь на мнение определенной целевой аудитории.

Например, опрашиваемых людей можно попросить оценить значимость каждой характеристики объекта по пяти- или десятибалльной шкале, затем отдельно для каждого параметра сложить оценки, поставленные всеми опрошенных и, разделив на сумму по всем показателям, получить веса.

При использовании экспертной оценки значимость параметров может быть определена как результат усреднения весов, предложенных каждым из участников.

К сожалению, часто относительную значимость параметров определяют сами составители рейтинга, не желая признавать, что мнение субъективно, а квалификация недостаточна. Лишь в редких случаях правильно расставить веса может человек, опирающийся только на свое мнение и не специализирующийся в области ранжируемых объектов.

Одна из основных трудностей при расстановке весов заключается в том, что сравнивать приходится совершенно не похожие показатели, измеряемые, соответственно, в разных единицах. Чтобы затем не пришлось складывать рубли с километрами или литрами, составители рейтингов предпочитают переходить к безразмерным величинам, есть за единицу брать максимальное или минимальное проявление конкретного параметра, и у всех объектов степень выраженности данного параметра определять относительно максимальной/минимальной величины.

Сбор информации.

После того, как выбраны параметры, по которым будут оценивать объекты, и определена относительная важность критериев, можно переходить непосредственно к сбору необходимой информации. Это один из самых важных и ответственных этапов, ведь точность рейтинга напрямую зависит от полноты и достоверности исходных данных.

Описание всех проблем, которые возникают при сборе информации, выходит за рамки нашей статьи. Поэтому мы остановимся лишь на тех, не упомянуть о которых просто нельзя. В первую очередь это беспристрастность опрашиваемой аудитории, надежность данных и репрезентативность.

Часть рейтингов составляют на основе опросов или анкетирования. Прежде, чем приступать собственно к сбору информации, необходимо определить аудиторию, на мнение которой можно будет опираться в процессе построения рейтинга. Во-первых, опрашиваемые должны иметь достаточную квалификацию для ответа на вопросы. Во-вторых их оценка должна быть беспристрастной. При этом может возникнуть ряд неожиданных сложностей. Например, составляя рейтинг Вузов, часто опрашивают студентов или выпускников этих организаций. Однако некоторые представители сферы образования считают такой подход неверным по следующим причинам. Во-первых, далеко не всегда человек готов признать, что его выбор был ошибочным и что другие университеты лучше того, в который он поступил или который окончил. Во-вторых, студенты редко могут провести сравнительную оценку Вузов, ведь обучение они проходят лишь в одном, редко двух заведениях.

Существует другой способ получить исходные данные – анализ вторичной информации (например, данных Госкомстата). Основная проблема, с которой сталкивается исследователь в этом случае – неполнота информации. Если же рейтинг основывать на данных СМИ, то велика вероятность оценить не сами компании, а работу их PR-отделов.

Часть рейтингов строится только на основании данных, полученных непосредственно от ранжируемых объектов. В этом случае вероятность получения беспристрастной оценки еще ниже. Нередко для того, чтобы занять в рейтинге высокое место, компании завышают свои показатели. Существует проблема и другого характера. Если организация по каким-либо причинам не хочет присутствовать в рейтинге и не предоставляет необходимых данных, то получить нужную информацию практически невозможно. Если же в рейтинге представлены не все компании определенного направления, то рейтинг не будет полным.

Обработка информации.

Если первые три этапа удалось успешно преодолеть и в процессе обойти все сложности (что в действительности происходит крайне редко), то работу по составлению рейтинга можно считать почти завершенной. Осталось систематизировать информацию и с учетом веса каждого параметра суммировать величины, отражающие проявление всех параметров у конкретного объекта.

Оценка и представление результатов.

На последнем этапе следует критически оценить результат и выбрать форму, в которой он будет представлен.

В идеальном варианте, человек, читающий опубликованный рейтинг, должен понимать, на основании чего были выбраны конкретные критерии оценки и расставлены веса, из каких источников получена информация и т.д., то есть методика составления рейтинга должна быть подробно и ясно описана. Отдельно следует привести однофакторные рейтинге по каждому из оцениваемых параметров с численными значениями. (Это позволит понять, за счет какого параметра компания поднялась в рейтинге или наоборот не сумела выйти на высокую позицию). Наконец, должен присутствовать собственно многофакторный рейтинг, также с приведением численных показателей.

Однако идеальный вариант удается реализовать крайне редко. Несмотря на то, что опубликование методики повышает ценность рейтинга, некоторые крупные компании сознательно отказываются от этого шага, стремясь сохранить «know-how».

Иногда методику и результаты не представляют в полном объеме, поскольку это позволяет не привлекать внимания к спорным местам и избежать неприятных вопросов. Например, если составители рейтинга указывают только место, которое занял каждый объект, но не приводят конкретных чисел, то, скорее всего, разница в численных значениях слишком мала, чтобы быть достоверной. Часто бывает, что информация о лидерах рейтинга достаточно надежна, а относительно остальных сложно сказать что-то определенное. В этом случае приводят только верхнюю часть рейтинга. Справедливости ради нужно отметить, что иногда составители рейтингов действительно сделали все, что от них зависело, чтобы объективно оценить ранжируемые объекты, но точность полученного результата все же слишком мала. Однако в некоторых ситуациях даже грубая оценка представляет интерес. Если достоверность численных показателей ненадежна, можно привести объекты, вошедшие в первую десятку или сотню, не указывая их места. Часто точный рейтинг нельзя составить в силу объективных причин, однако важно, чтобы люди, интересующиеся рейтингами, могли понять, насколько последние точны, и не воспринимали их как последнее слово науки.

Стоит обратить внимание и на периодичность составления рейтингов. Однажды построенный рейтинг, конечно, полезен, но если его время от времени обновляют, то появляется возможность отследить динамику изменений, что очень важно. При этом полезность рейтинга непосредственно зависит от периодичности, с которой его выпускают. Однако эта зависимость нелинейная. Существует оптимальный промежуток между выходами периодического рейтингового продукта. Не имеет смысла обновлять рейтинг слишком часто, поскольку в этом случае затраты на работу возрастают непропорционально пользе, приносимой исследованиями. Более того, очень частое обновление периодического рейтинга может иметь даже негативные последствия, поскольку повышается вероятность того, что отслежены будут не характерные тенденции, а локальные флуктуации. Необходимо также иметь ввиду, что большинство рейтингов нужны для принятия решений, поэтому период обновления рейтингового продукта должен быть сопоставим со временем, требующимся для того, чтобы сделать выбор и реализовать задуманное. С другой стороны, рейтинг обновляемый реже, чем необходимо, не позволит отследить направленность изменений и выявить характер тенденций. Продолжительность оптимального периода обновления зависит от множества факторов и должна определяться специально в каждом конкретном случае.

При составлении периодического рейтинга, необходимо сохранять методику, в противном случае нельзя утверждать, что новые места объектов – результат объективного изменения коньюктуры. В этом случае отследить какие-либо тенденции будет нельзя.

Заключение

Обойти все подводные камни при построении рейтинга очень сложно (если не сказать невозможно), однако знание основных правил позволит избежать множества ошибок.

Всевозможные рейтинги востребованы и на фармацевтическом рынке. Так, пресс-рейтинг фармацевтических компаний был опубликован в журнале «Медицина и фармацевтика». Журнал «Карьера» построил рейтинг наиболее влиятельных представителей топ-менеджмента современного фармацевтического бизнеса, основанный на оценках экспертов. Разнообразные рейтинги публикуются в журнале «Фармацевтический вестник». Объектами ранжирования выступают аптечные сети, дистрибьюторы, компании-производители, препараты. Основная часть информации обычно поступает непосредственно от ранжируемых объектов.

Сирма ГОТОВАЦ, Мария ДЕНИСОВА, Андрей БОБРОВ(упраляющий партнер консалтинговой группы MD), RMBC

Рейтинг (от англ, rate - оценивать, определять) - это индивидуальный показатель оценки какого-либо объекта. Чаще всего рейтинг является условным интегральным показателем и базируется на совокупности отдельных признаков. Можно выделить три принципиально разных подхода при расчете рейтинга :

1. Оценка достигнутых показателей по результатам работы.

2. Оценка показателей, характеризующих фактическое состояние организации.

3. Оценка показателей, характеризующих потенциальные возможности организации.

В методике расчета рейтинга вузов, принятой Министерством образования РФ, учитываются элементы всех трех подходов. Часть показателей взяты из первой группы, часть - из второй, часть - из третьей. Для вуза в состав отдельных признаков включены 44 показателя, начиная с качественного состава ППС и заканчивая показателями социальной структуры поддержки студентов. Каждому показателю присвоен порядковый номер (от 1 до 44).

В=15+С1х16+С2х17,

где В - условное количество студентов;

Cl, C2 - весовые коэффициенты, устанавливаемые экспертным путем.

Примеры их значений, принятые Госкомвузом (сейчас - Минобразование РФ) в 1994 г.:

Рейтинг потенциала вуза вычисляется через три группы частных показателей: интеллектуальный потенциал, материальная база и социально-культурная база. Интеллектуальный потенциал вуза вычисляется по следующим показателям:

1.1.1. Квалификация 1 +2 + С4х4 +С5 х (10 + 11)/В.

1.1.2. Перспективность (3 + С6 х 5)/В.

1.1.3. Элитарность (6 + С7 х 7 + С5 х (12 + С7 х 13)/В.

1.1.4. Общественное признание (8 + С5 х 14)/В.

Материальная база вуза характеризуется следующими показателями:

1.2.1. Здания и сооружения (31 - 32)/В.

1.2.2. Оборудование (32 - С8 х 46)/В.

1.2.3. Уровень информатизации (36 + С9 х (35 - 36) - СЮ х 37/В.

1.2.4. Библиотека 38/В.

1.2.5. Бюджетные сметы 30/В.

Социально-культурная база вуза характеризуется следующими показателями:

1.3.1. Общежития 42.

1.3.2. Общепит 43.

1.3.3. Санатории-профилактории 44/В.

1.3.4. Спортивные сооружения 45/В.

Подготовка кадров в вузе характеризуется следующими показателями:

2.1.1. Студенты В.

2.1.2. Аспиранты (18-С 11 х19)/В.

2.1.3. Подготовка докторов наук 23/В.

2.1.4. Подготовка кандидатов наук 24/В.

2.1.5. Подготовка специалистов (40 + S х 41)/В.

Объем научных исследований в вузе и изданий характеризуются следующими показателями:


2.2.1. Объем госбюджетной науки 25/В.

2.2.2. Объем хоздоговорной науки 26/В.

2.2.3. Издания за рубежом 27/В. ,2.2.4. Издания в России 28/В. 2.2.5. Коммерция (39 - 40)/В. Международные связи вуза характеризуются следующими показателями:

2.3.2. Подготовка специалистов в России (21 + С14 х (20 - 21))/В.

2.3.3. Подготовка специалистов для России 29/В.

2.3.4. Экономическая оценка 41/В.

Все показатели, прежде всего, нормируются. Выбранное правило нормирования предусматривает их деление на максимальное соответствующее значение по выборке однотипных показателей. В результате нормирования все показатели имеют значение в интервале от 0 до 1.

После вычисления рейтинга потенциала и активности вычисляется оценка эффективности как деление активности на потенциал. Оценка эффективности вводится мультипликативно в значение рейтинга по интеллектуальному потенциалу, после чего выполняется повторное вычисление рейтинга потенциала вуза и общего рейтинга вуза.

Расчет рейтинга вузов по методике Госкомвуза РФ базируется на 44 показателях, отражающих практическую деятельность вуза, и достаточно полно показывает потенциал вуза и результаты его деятельности. В методике применяются теория ранговой корреляции и математической статистики для приведения локальных показателей к сопоставимым значениям и расчета интегрального показателя общего рейтинга вуза исходя из потенциала и активности вуза. Расчет интегрального показателя можно упростить, если ввести экспертным методом весовые коэффициенты локальных показателей и рассчитывать интегральный показатель по формуле средней взвешенной величины. Однако в методике отсутствует такая составляющая качества образования, как качество подготовки выпускников, которое определяется по результатам итоговой аттестации студентов и опросам работодателей. Таким образом, она более ориентирована на оценку качества обучения и потенциала вуза.

Международные критерии оценки качества образования

Значительный опыт оценки качества образования накоплен в США. Наибольшего внимания заслуживает методика Американской ассоциации университетских школ бизнеса (AACSB), применяемая для общественной аккредитации школ бизнеса университетов. Государственная аккредитация в США отсутствует. В методике предусмотрено 6 групповых критериев оценки качества образования:

1. Миссия и цели.

2. Профессорско-преподавательский состав.

4. Учебно-методическое обеспечение и ответственность за него.

5. Студенты и выпускники учебного заведения.

6. Интеллектуальный продукт учебного заведения.

Отношение количества студентов к персоналу университета;

Объем проводимых научных исследований;

Количество докторов наук;

Затраты на библиотеку;

Обеспеченность общежитием;

Доля окончивших по отношению к поступившим;

Количество принимаемых на первый курс;

Занятость выпускников;

Доля зарубежных студентов;

Оценка преподавателей.

Первые места в этом рейтинге занимают университеты Кембриджа, Оксфорда. Каждый показатель оценивается в баллах при задании максимально возможной оценки. Рейтинговый показатель вычисляется как арифметическая сумма частных показателей.

Приближенность к практике;

Уровень обучения (качества);

Коммуникации (связи);

Теоретический уровень;

Сотрудничество в исследованиях;

Исследовательские достижения;

Деятельность студентов;

Уровень административного управления.

По каждому показателю университеты выстраиваются в порядковую очередь, и рейтинговая оценка вычисляется как сумма порядковых номеров по отдельным показателям

Основной принцип достижения успеха в любой деятельности - ориентация на потребителя. Выявление же потребителей, в свою очередь, является критическим шагом на пути внедрения системы качества во всех организациях. Однако надо осознать, что высшее образование отличается от других отраслей сферы услуг, так как студенты - не просто и не только «потребители товара».

Высшее образование - это долгосрочные инвестиции с множеством лиц, получающих пользу. И хотя студенты - первые, кто получает выгоду, они осознают это позднее - в течение своей дальнейшей производственной деятельности, и их истинное удовлетворение можно будет измерить только тогда.

Прежде чем учебное заведение продвинется вперед по пути качества, оно должно принять реалистичную модель сегодняшнего высшего образования, в которой студент - это продукция, а работодатель - это потребитель.

Каждый вуз выступает в роли поставщика и имеет пять основных «групп субъектов» - заинтересованных лиц:

1) Потребители продукции и/или услуг данной организации (для вуза - это студенты, организации и государство).

2) Поставщики «сырья» (школы, колледжи и тому подобное).

3) Персонал (как профессорско-преподавательский и научный, так и обслуживающий).

4) Вышестоящие организации (в нашем случае - Министерство образования России).

5) Социальная инфраструктура (район, город, республика, страна).

Именно в выявлении и изучении реальных потребностей каждой из перечисленных групп с целью достижения и поддержания равновесия состоит одно из ключевых предназначений системы качества.

Очень многие рейтинги можно описать фразой в духе "Десятка/двадцатка/сотня самых-самых". Нужное подчеркнуть или вставить. В общем, в этом и вся суть рейтингов. Однако непонятно, кто занимается составлением рейтингов и по каким критериям оцениваются люди, компании и страны, в попадающие в списки самых-самых.

Заинтересовавшись темой рейтингов, мы попробовали выяснить, когда же они появились. Оказалось, что в числе самых первых рейтингов, которые когда-либо составлялись в мире, первым может считаться рейтинг, который составляется журналом "Fortune".

Начало было положено в 1955 году: именно тогда редакция журнала опубликовала список из 500 крупнейших американских промышленных компаний. Надо сказать, что первоначально просто шёл сбор материалов, но редактору "Fortune" Эдгар П. Смит предложил полученные данные структурировать.

Опубликованный "ранжир" компаний имел большой успех и на него пришло немало заинтересованных и положительных отзывов. Компании, которые по ряду причин в рейтинг журнала не вошли, тут же пересмотрели свою позицию и подали заявки в редакцию. А редакция, по достоинству оценив перспективность подобных исследований, решила разнообразить тематику составляемых рейтингов.

На сегодняшний день в мире существует несколько сотен различных частных аналитических агентств, которые занимают составлением различных рейтингов, как по собственному почину, так и на заказ.

Крупные издания, а также государственные лаборатории аналитики также занимаются составлением собственных рейтингов. Используют они при этом различные способы получения информации. Используется информация, собранная специализированными рейтинговыми агентствами, средствами массовой информации, интернет-сервисами.


Критерии составления рейтингов также отличаются, в зависимости от того, какова тематика рейтинга. Если говорить о том же рейтинге компаний журнала "Fortune", то главным принципом его составления является величина компаний, а не менее известный рейтинг "Forbes" составляется на основе данных о динамике развития компаний. Рейтинги компаний от газеты "Financial Times" строятся на показателях капитализации, или рыночной стоимости компаний.

Критерии оценки стран

Страны, конечно, не крупные компании и оценивать их значительно сложнее. Однако для составления различных рейтингов и здесь имеются свои критерии. В частности, при составлении списка наиболее благополучных стран для ведения бизнеса учитываются следующие критерии отбора:

  • рост ВВП (%),
  • ВВП на душу населения ($),
  • торговый баланс как % от ВВП,
  • население (млн. чел.),
  • баланс государственного бюджета в % от ВВП.

Рейтинг стран по версии компании "Bloomberg" составляется на основе стоимости открытия бизнеса, расходов на оплату труда, затрат на перевозку товаров, уровня готовности потребителей участвовать в экономической деятельности и других немаловажных факторов.

  • уровень личных свобод граждан,
  • степень защищенности прав собственности и инвестиций,
  • стабильность цен,
  • наличие барьеров для экспорта и импорта товаров и услуг,
  • уровень развития технологий,
  • степень влияния чиновничьего аппарата на бизнес и налоговое бремя,
  • состояние рынка акций.

Лучшие страны для бизнеса

В прошлом году тройку лидеров, по версии журнала "Forbes", составили Новая Зеландия , Дания и Гонконг.

Затем следуют:


  • Сингапур. Страна с очень низким уровнем коррупции. Экономика Сингапура сильно зависит от экспорта, особенно в области бытовой электроники и высоких технологий.
  • Канада. Устройство экономики этой страны во многом схоже с американским. Но для многих Канада привлекательна достаточно высоким уровнем жизни и стабильностью. Для бизнеса эта страна хороша следующим: низкий уровень бюрократии и сильная защита инвестиций.
  • Ирландия. У этой страны лучшие показатели в области защиты личных свобод граждан, а также высокий уровень защиты инвестиций.
  • Швеция. Здесь развитый капитализм сочетается с мощной системой социальной поддержки, благодаря чему в стране один из самых высоких уровней жизни.
  • Норвегия. Ключевые отрасли экономики Норвегии контролируются государством, в том числе и всё, связанное с добычей и переработкой нефти .
  • Финляндия. Экономика этого государства получила оценку, как одна из самых эффективных в странах Евросоюза. Примерно треть ВВП составляют доходы от экспорта. Великобритания . Большая часть ВВП приходится на сектор услуг. Высокие показатели эффективности и у сельского хозяйства страны.
  • Официальный сайт компании Bloomberg
  • Официальный сайт журнала Forbes
  • Свободная электронная энциклопедия Википедия, раздел "Валовой внутренний продукт".