Пусть требуется оценить долю тех объектов заданной генеральной совокупности, которые удовлетворяют некоторому условию – генеральную долю . Для этого из генеральной совокупности выделяют выборку, и по результатам её обследования находят долю тех объектов, которые удовлетворяют условию – выборочную долю . Очевидно, что , где – объем выборки, – число тех её объектов, которые удовлетворяют условию . Выборочная доля в данном случае является той величиной, с помощью которой мы получим информацию о неизвестном значении генеральной доли.

Таким образом, выборочная доля является оценкой генеральной доли .

Пример. – доля бракованных деталей генеральной совокупности, – доля бракованных деталей в выборке. Условие (событие) – деталь, взятая наудачу из генеральной совокупности – бракована.

Простейший способ оценивания – точечное оценивание – подразумевает использование приближенного равенства .

Как и всякая оценка, выборочная доля является случайной величиной. Действительно, выборка из генеральной совокупности выделяется случайным образом. Соответственно то значение, которое примет выборочная доля, будет случайным.

Следующие теоремы характеризуют выборочную долю как случайную величину.

Теорема 1. Математическое ожидание выборочной доли равно генеральной доле:

Среднее квадратическое отклонение () выборочной доли вычисляется по формулам

– в случае повторной выборки и

– в случае бесповторной выборки, где – объем генеральной совокупности.

Напомним, что по определению среднего квадратического отклонения в случае повторной выборки имеем (аналогично в случае бесповторной выборки).

Замечание. При применении формул Теоремы 1 полагают

Теорема 2. Закон распределения выборочной доли неограниченно приближается к нормальному закону при неограниченном увеличении объема выборки.

Подобно тому, как мы это сделали в предыдущем параграфе, как следствие Теоремы 2, получаем формулу доверительной вероятности :

– в случае повторной выборки. Заменяя в последнем равенстве на , получаем формулу доверительной вероятности в случае бесповторной выборки.

По определению, величина , фигурирующая в формуле доверительной вероятности, называется предельной ошибкой выборки . Интервал называется доверительным интервалом.

Выше было указано, в чем состоит точечная оценка генеральной доли. Интервальное оценивание сводится, например, к вычислению значения доверительной вероятности при заданной предельной ошибке выборки.

Теорема 3. В случае повторной выборки выборочная доля является несмещенной и состоятельной оценкой генеральной доли.



Пример. Выборочные данные о надое молока для 100 коров из 1000 представлены таблицей:

1. Найти вероятность того, что доля всех коров с надоем молока более 40 ц отличается от такой доли в выборке не более чем на 0,05 (по абсолютной величине), для случая повторной и бесповторной выборок.

2. Найти границы, в которых с вероятностью 0,9596 заключена доля всех коров с надоем более 40 ц.

3. Сколько коров надо обследовать, чтобы с вероятностью 0,9786 для генеральной доли коров с надоем более 40 ц можно было гарантировать те же границы что и в п.2.

Решение. Число коров с надоем более 40 ц равно 34 (, см. заданный вариационный ряд). Тогда .

Для нахождения доверительной вероятности п. 1 задания воспользуемся одноименной формулой при .

Пусть рассматриваемая выборка – повторная. Тогда по формуле Теоремы 1, учитывая Замечание, получаем

.

Следовательно

Аналогично, в случае бесповторной выборки:

Доверительным в данном случае является интервал . Таким образом, неизвестное значение доли всех коров с надоем более 40 ц (0,29;0,39) с вероятностью 0,7109 в случае повторной выборки и с вероятностью 0,733

В п. 2 задания при заданном значении доверительной вероятности искомым является доверительный интервал. Поскольку значение выборочной доли известно, остается найти предельную ошибку выборки .

Пусть выборка – повторная. По условию, принимая во внимание формулу доверительной вероятности, имеем

.

По таблице значений функции Лапласа найдем такое , что : . Тогда и, используя найденное выше значение , получаем

Соответственно, доверительным будет интервал:

Пусть выборка – бесповторная. Аналогично предыдущему, получаем предельную ошибку выборки

и доверительный интервал:

Таким образом, доля всех коров с надоем молока более 40 ц с вероятностью 0,9596 накрывается доверительным интервалом (0,243; 0,437) в случае повторной выборки и интервалом (0,248; 0,432) в случае бесповторной выборки.

В п. 3 по заданным значениям доверительной вероятности и предельной ошибки выборки найдем необходимый объем выборки. Из начла решения заимствуем значение выборочной доли , найденное по исходному вариационному ряду.

Математическая статистика – раздел математики, посвященный математическим методам систематизации, обработки и использованию статистических данных для научных и практических выводов. При этом статистическими данными называются сведения о числе объектов в какой-либо более или менее обширной совокупности, обладающих теми или иными признаками.

Статистическая совокупность, из которой отбирают часть объектов, называется генеральной совокупностью . Множество объектов, случайно отобранных из генеральной совокупности, называется выборкой . Число объектов N из генеральной совокупности и из выборки n называются соответственно объемом генеральной совокупности N и объемом выборки n .

Статистическое описание и вероятностные модели применяются к физическим, экономическим, социологическим, биологическим процессам, обладающим тем свойством, что хотя результат отдельного измерения физической величины X не может быть предсказан с достаточной точностью, но значение некоторой функции от множества результатов повторных измерений может быть предсказан с существенно лучшей точностью. Такая функция называется статистикой. Часто точность предсказания некоторой статистики возрастает с возрастанием объема выборки.

Наиболее известные статистики – относительная частота, выборочные средние, дисперсия. Когда возрастает объем выборки n , многие выборочные статистики сходятся по вероятности к соответствующим параметрам теоретического распределения величины X . Поэтому каждую выборку рассматривают как выборку из теоретически бесконечной генеральной совокупности, распределение признака в которой совпадает с теоретическим распределением вероятности случайной величины. Во многих случаях теоретическая генеральная совокупность есть идеализация действительной совокупности, из которой получена выборка.

Различные значения наблюдаемого признака, встречающегося в совокупности, называются вариантами. Частоты вариантов выражают доли (удельные веса) элементов совокупности с одинаковыми значениями признака. Вариационным рядом называется ранжированный в порядке возрастания или убывания ряд вариантов с соответствующим им частотами.

Средние значения выборки

Значения, находящиеся в середине вариационного ряда, принято делить на собственно средние и структурные средние. Собственно среднее - это арифметическое среднее. Структурные средние - мода и медиана. Кроме того, чтобы охарактеризовать структуру вариационного ряда, используют квартили, квинтили, децили и процентили. Теперь обо всём по порядку.

Среднее арифметическое значение генеральной совокупности находят по формуле:

Число единиц генеральной совокупности,
- значение j -го наблюдения.

Если величина выборки X может принимать значения с вероятностями соответственно , то средним значением величины X для выборки (её математическим ожиданием E(x) ,будет

или
или же (2)
для негруппированных выборок и

для группированных выборок, где

Число единиц выборки,
- число классов,
- значение i -го класса,
- частота i -го класса.

Пример 1. В таблице даны значения средней температуры воздуха в населённом пункте N в 2014 году:

Месяц
1 -2,3
2 -4,0
3 2,0
4 9,0
5 10,0
6 19,4
7 19,9
8 17,1
9 14,9
10 7,3
11 2,2
12 -0,3

Найти среднюю температуру воздуха.

Решение. Найдём среднюю температуру воздуха как среднее значение для негруппированной выборки:

Пример 2. В таблице – данные о группировке сельских хозяйств по урожайности зерновых:

Урожайность зерновых в центнерах с га

Число сельских хозяйств – абсолютное

Удельный вес сельских хозяйств – в процентах

Найти среднюю урожайность зерновых.

Решение. Так как имеем только группированные данные и неизвестна средняя урожайность каждой группы, как приближенные значения к средней каждой группы примем центры интервалов:

Центры интервалов

Найдём требуемую в условии задачи среднюю урожайности зерновых:

Итак, средняя урожайность по выборке составляет 15,6 центнеров с га.

Модой называют значение, которое в вариационном ряду встречается чаще других. Моду можно найти на гистограмме как самый высокий столбец.

Например, в выборке, значения которой 20, 50, 60, 70, 80, 20, 20, 75, 70, 20, 80, 20, 50, 60, модой является 20.

Медианой называют значение, которое находится в середине вариационного ряда. Первая половина элементов выборки меньше этого значения, а вторая половина - больше.

Если в выборке нечётное число элементов, то за медиану принимают собственно серединное значение. Например, в выборке, значения которой 14, 15, 18, 21, 27, медианой является 18.

Если в выборке чётное число элементов, то медиану находят, выбирая два значения, которые находятся в середине и вычисляя их среднее арифметическое. Например, есть выборка 11, 14, 15, 18, 21, 27. Медиану находят так: (15+18)/2 = 16,5.

По аналогии с медианой, которая делит значения выборки на две части, вводят понятие квартилей , которые делят вариационный ряд на 4 равные части.

Децили делят вариационный ряд уже на 10 одинаковых частей, а квинтили - на 5. Процентили делят вариационный ряд на 100 равных частей.

Дисперсия выборки. Стандартное отклонение

Дисперсией величины называется среднее значение квадрата отклонения величины от её среднего значения. Дисперсию генеральной совокупности рассчитывают по формуле:

(4)

Дисперсию выборки рассчитывают по формуле:

(5)

для негруппированных выборок и

(6)

для группированных выборок.

Пример 3. В таблице – данные о возрасте жителей административной территории Т в 2013 году. Не будем приводить эту таблицу из-за её громоздкости. Отметим лишь, что в таблице дана численность каждого из возрастов (по одному году, например, 33 года, 40 лет, 65 лет и т.д.) в группах от 0 лет по 94 года (включительно) и численность всей возрастной группы в интервале 95-99 лет, а также численность жителей старше 100 лет.

Требуется найти средний возраст жителей административной территории и дисперсию среднего возраста.

Решение. Найдём средний возраст. Так как данные в таблице являются данными генеральной совокупности, находим средний возраст генеральной совокупности:

В таблице – данные о числе жителей каждого возраста, исключение же – жители в возрасте 95-99 лет и старше 100 лет. Поэтому рассчитали центр интервала возрастной группы 95-99 лет: 97 лет и в расчётах использовали его.

Так как число жителей старше 100 лет относительно небольшое, чтобы упростить расчёты, нижнюю границу интервала приняли за значение признака.

Итак, средний возраст жителей административной территории Т – 38,2 года

Найдём теперь его дисперсию:

Пример 4. Найти дисперсию урожайности зерновых в сельских хозяйствах, используя данные примера 2.

Решение. Средняя урожайность по выборке составляет 15,6 центнеров с га. Чтобы найти дисперсию, создадим дополнительную таблицу.

Центры интервалов

Число хозяйств

4244

13,1

172,1

730412,3

10446

65,9

688558,6

12,5

18956

184391,3

17,5

20207

71505,7

22,5

8159

47,3

386328,5

27,5

4165

11,9

141,2

585113,6

32,5

1316

16,9

285,0

375024,0

Определение. Точечной называют оценку, которая определяется одним числом.

Пусть требуется изучить количественный признак генеральной совокупности. Предположим из теоретических соображений мы установили, какое распределение имеет этот признак. Наша задача – оценить параметры, которыми определяется это распределение.

Например, если известно, что изучаемый признак распределён в генеральной совокупности по нормальному закону, то необходимо оценить математическое ожидание и среднеквадратическое отклонение, так как эти два параметра полностью определяют нормальное распределение.

Обычно имеются лишь данные выборки. Через эти данные и выражаются оцениваемые параметры.

Для того, чтобы статистические оценки давали «хорошие» приближения оцениваемых параметров, они должны удовлетворять определённым требованиям:

1) статистическая оценка должна быть несмещённой,

2) статистическая оценка должна быть эффективной,

3) статистическая оценка должна быть состоятельной.

Определение. Статистическая оценкапараметраназываетсянесмещённой , если её математическое ожидание равно оцениваемому параметру
. В противном случае оценка называется смещённой.

Определение. эффективной , если она имеет наименьшую дисперсию среди всех возможных при заданном объёме выборки.

Определение. Статистическая оценка называетсясостоятельной , если при выборке большого объёма
статистическая оценка стремится по вероятности к оцениваемому параметру.

Приведём некоторые теоремы об оценках:

Теорема. Выборочная доля
- есть несмещенная, эффективная и состоятельная оценка генеральной доли
.

Теорема. Выборочная средняя - есть несмещенная, эффективная и состоятельная оценка генеральной средней .

Теорема. Выборочная дисперсия
- есть смещённая и состоятельная оценка генеральной дисперсии
.

То есть математическое ожидание выборочной дисперсии не равно оцениваемой генеральной дисперсии, а равно
.

Поэтому, чтобы «исправить» выборочную дисперсию до несмещённой оценки достаточно умножить
на дробь. Сделав это, получим исправленную дисперсию, которую обозначают через
.

Определение. Исправленной выборочной дисперсией
называется величина

.

- исправленное среднеквадратическое отклонение .

Исправленная дисперсия является несмещенной оценкой генеральной дисперсии, так как .

Если
, то
, то есть
.

Следовательно, выборочная и исправленная дисперсия приблизительно равны
.

    1. Интервальная оценка параметров

Определение. Интервальной называют оценку, которая определяется двумя числами – концами интервала.

Интервальные оценки позволяют установить точность и надёжность оценок. Пусть найденная по результатам выборки статистическая характеристика служит оценкой неизвестного параметра. Ясно, что чем меньше
, тем точнее оценка. Другими словами, если
(
), то чем меньше, тем оценка точнее. Таким образомхарактеризует точность оценки. Однако, мы не можем категорически утверждать, что оценкаудовлетворяет неравенству
. Мы можем лишь говорить о вероятности, с которой это неравенство осуществляется.

Определение. Надёжностью (доверительной вероятностью ) оценки параметрапоназывается вероятность, с которой осуществляется неравенство
.

Обычно надёжность задаётся наперед, причём чаще всего близка к единице.

Например, =.

Пусть вероятность того, что
равна:

или

Данное соотношение понимают так: вероятность того, что интервал
заключает в себе (покрывает) неизвестный параметр, равна.

Интервал
называетсядоверительным .

Величина доверительного интервала существенно зависит от объёма выборки (уменьшается с ростом) и от значения доверительной вероятности(увеличивается с приближениемк единице).

Определение. Наибольшее отклонениевыборочной средней (или выборочной доли) от генеральной средней (или генеральной доли), которое возможно с заданной доверительной вероятностью, называетсяпредельной ошибкой выборки (точность оценки ).

Эту ошибку называют случайной ошибкой репрезентативности .Систематическая ошибка репрезентативности появляется в результате нарушения принципа случайности при отборе элементов в выборку.

Основные характеристики параметров генеральной и выборочной совокупностей обозначаются символами: N - объем генеральной совокупности (число входящих в нее единиц); n - объем выборки (число обследованных единиц); - генеральная средняя (среднее значение признака в генеральной совокупности); - выборочная средняя; p - генеральная доля (доля единиц, обладающих данным значением признака в общем числе единиц генеральной совокупности); w - выборочная доля. Доля выборки есть отношение числа единиц выборочной совокупности к числу единиц генеральной совокупности: . Применяя выборочный метод в статистике, обычно используют два основных вида обобщающих показателя: среднюю величину количественного признака и относительную величину альтернативного признака (долю или удельный вес единиц в статистической совокупности, которые отличаются от всех других единиц этой совокупности только наличием изучаемого признака). Выборочная доля (w), или частость, определяется отношением числа единиц, обладающих изучаемым признаком т, к общему числу единиц выборочной совокупности п: w = т / п. Для характеристики надежности выборочных показателей различают среднюю и предельную ошибки выборки. Ошибка выборки или, иначе говоря, ошибка репрезентативности представляет собой разность соответствующих выборочных и генеральных характеристик: для средней количественного признака; для доли (альтернативного признака) . Выборочная средняя и выборочная доля являются случайными величинами, которые могут принимать различные значения в зависимости от того, какие единицы совокупности попали в выборку. Поэтому определяют среднюю из возможных ошибок - среднюю ошибку выборки.

Средняя ошибка выборки при повторном отборе рассчитывается по следующим формулам: для средней количественного признака: ; для доли (альтернативного признака): . Средняя ошибка выборки при бесповторном отборе рассчитывается по следующим формулам: для средней качественного признака; для доли (альтернативного признака) . В каждой конкретной выборке расхождение между выборочной средней и генеральной может быть меньше средней ошибки, равно ей или больше ее. Причем каждое из этих расхождений имеет различную вероятность. Поэтому фактические расхождения между выборочной средней и генеральной можно рассматривать как некую предельную ошибку, связанную со средней ошибкой и гарантируемую с определенной вероятностью Р. Предельную ошибку выборки можно рассчитать по следующим формулам: при повторном отборе: для средней, где t - нормированное отклонение - «коэффициент доверия», зависящий от вероятности, с которой гарантируется предельная ошибка выборки; - средняя ошибка выборки; для доли; при бесповторном отборе: для средней; для доли. При вероятности 0,683 коэффициент t = 1; при вероятности 0,954 коэффициент t = 2; при вероятности 0,997 коэффициент t = 3. Предельная ошибка выборки позволяет определить предельные значения характеристик генеральной совокупности и их доверительные интервалы: для средней; ; для доли; . Наряду с абсолютным значением предельной ошибки выборки рассчитывается также и предельная относительная ошибка выборки, которая определяется как процентное отношение предельной ошибки выборки к соответствующей характеристике выборочной совокупности: для средней, %: ; для доли, %: .

Проверка гипотез о различиях между долями респондентов. Часто исследователю приходится решать следующую проблему. Предположим, все опрошенные подразделяются на две подгруппы. (Это могут быть представители двух независимо построенных выборок, например выборка из жителей Москвы и выборка из жителей Санкт-Петербурга, а могут - лица, различия между которыми выявились в ходе анкетирования представителей одной и той же выборки респондентов, например те, у кого есть, и те, у кого нет высшего образования.) Исследователь должен выяснить, одинаково или по-разному распределились ответы представителей этих двух подгрупп на какой-либо определенный вопрос анкеты.

Пример 12.6

Исследование предпочтений в одежде (данные условны)

Пусть, например, нас интересует, различаются ли доли тех, кто носит джинсы, в Москве и Санкт-Петербурге. Пусть в каждом из этих городов были построены репрезентативные выборки и проведены опросы. Предположим, были получены следующие результаты (табл. 12.21).

Таблица 12.21. Респонденты, которые носят и не носят джинсы, по данным опросов лиц в возрасте до 35 лет в Москве и Санкт-Петербурге, человек

Мы видим, что в Москве носят джинсы 80% опрошенных, а в Санкт-Петербурге - лишь 60%. Но достаточно ли разницы в 20%, чтобы утверждать, что это не случайность, что вообще москвичи чаще склонны носить джинсы, чем петербуржцы?

Для ответа на этот вопрос воспользуемся знакомой нам статистикой z, имеющей стандартизованное нормальное распределение, которая помогла нам установить, что определенная в ходе другого опроса доля респондентов, осведомленных о новом продукте, значимо отличается от намеченного исследователем фиксированного значения.

Статистика для данного случая имеет следующий вид:

где p1 и р2 - доли носящих джинсы от числа опрошенных в Москве и Санкт-Петербурге (0,8 и 0,6 соответственно); - оценка стандартного отклонения разности долей р1 и р2.

Оценка стандартного отклонения разности долей рассчитывается по формуле

(12.17)

где р - доля пользующихся джинсами среди всех опрошенных в двух выборках; n1 и n2 - число опрошенных в Москве и Санкт-Петербурге соответственно.

Величина р рассчитывается по формуле

В нашем примере имеем:

Поскольку нас интересует сам факт различия долей носящих джинсы в этих городах, а не превышения доли носящих джинсы в Москве по сравнению с такой долей в Санкт-Петербурге, нулевая и альтернативная гипотезы имеют вид:

Поэтому при прежней доверительной вероятности 0,95 пороговое значение на кривой нормального распределения равно 1,96.

А поскольку 4,36 > 1,96, нулевая гипотеза отвергается, т.е. данные опросов не противоречат утверждению, что доли носящих джинсы в Москве и Санкт-Петербурге различны.

Проверка гипотез о различиях между средними значениями. Часто требуется определить, являются ли случайными различия между средними значениями некоторой величины, рассчитанными по ответам представителей двух разных подвыборок респондентов. Например, исследователя может интересовать, действительно ли жители Москвы оценивают некоторый товар выше, чем жители Санкт-Петербурга, если средняя оценка этого товара по пятибалльной шкале респондентами-москвичами выше, чем респондентами-петербуржцами.

Для проверки такого рода гипотез используется статистика Стьюдента с числом степеней свободы (n1 + n0 - 1), где п1 и n2 - число объектов (в данном случае - респондентов) в каждой из двух выборок:

где и - средние значения оценок товара по данным опросов в Москве и в Санкт-Петербурге; - оценка стандартного отклонения разности интересующих нас средних значений между этими городами.

Последняя величина рассчитывается по формуле

где s - средневзвешенное среднеквадратическое отклонение оценок от соответствующих средних значений в каждой из выборок.

В свою очередь, величина s рассчитывается по формуле

(12.21)

где x1,i и x2,j - оценки, полученные на i-м объекте из первой выборки и j-м объекте из второй выборки.

Такие проверки проводятся с помощью программного пакета SPSS (меню Analyze - Compare Means - Independent Samples T-test ).

Зависимые выборки

Обсуждавшаяся выше проблема касалась случая, когда сравниваются доли или средние значения определенным образом ответивших на интересующий нас вопрос в двух разных группах респондентов. Нередко, однако, нужно сравнить между собой не реакции разных респондентов (например, живущих в разных городах), а две реакции у одних и тех же респондентов. Так бывает, когда информация собирается дважды на одной и той же выборке из n объектов. Например, дважды опрашиваются одни и те же респонденты и нужно проверить гипотезу, что за время, прошедшее между опросами, их оценки изменились. Скажем, надо узнать, действительно ли повысилась после рекламной кампании доля участников панели, знающих о существовании некоторого товара. Или узнать, действительно ли о существовании товара А знают больше респондентов, чем о товаре В, или наблюдаемое по данным опроса различие - просто случайность.

В случае зависимых выборок для проверки гипотезы об отсутствии различий в средних значениях применяется следующая тестовая статистика с (n - 1) степенями свободы:

где и - средние значения оценок в первом и втором замерах соответственно;- стандартное отклонение определения различий в средних значениях оценок в двух замерах, рассчитываемое по формуле

Здесь - стандартное отклонение различий между оценками в двух замерах, которое, в свою очередь, рассчитывается по формуле

(12.24)

где и - оценки на объектах в первом и втором замерах соответственно.

Отметим, что эти проверки можно провести с помощью программного пакета SPSS (меню Analyze - Compare Means - Pared Samples T-test ).

Обзор других задач анализа данных

Перед нами не было цели обсудить методы решения всего круга проблем, которые приходится время от времени решать при базовом анализе маркетинговых данных. Мы рассмотрели лишь те из них, которые используются чаще других.

В заключение раздела подчеркнем следующее. Как уже отмечалось, основной материал для отчета о маркетинговом исследовании дают таблицы частотных распределений и кросстабуляции. Структура этих таблиц может быть намечена заранее в той мере, в которой она связана с задачами исследования и выбранными подходами к их решению, т.е. исследователь сам назначает интересующие его группы респондентов и располагает их в столбцах таблиц сопряженности.

Однако нередко форма некоторых отчетных таблиц может быть окончательно установлена лишь на стадии углубленного анализа данных. Так, лишь на этой стадии можно провести сегментирование исследуемой совокупности и найти сегменты, наиболее резко отличающиеся друг от друга по реакции их представителей на маркетинговые действия фирмы. Построив затем соответствующие таблицы кросс-табуляции, можно детально изучить особенности каждого из сегментов, что позволит разработать набор эффективных маркетинговых комплексов.

Есть много методов углубленного анализа данных. Основное назначение большинства из них - подсказать исследователю, какой принцип сегментирования окажется наиболее удачным в том смысле, что построенные затем таблицы кросс-табуляции продемонстрируют наиболее яркие контрасты. Интересно, что многие исследователи, стремясь добиться краткости и ясности изложения материалов, а также не спеша раскрывать секреты своего мастерства, оставляют за рамками отчета примененный ими способ отыскания этой наиболее удачной формы таблиц. Мы рассмотрим два метода, дающих такие "подсказки", - методы кластерного и факторного анализов. Эти методы приспособлены для работы с часто встречающимися в маркетинговых исследованиях бинарными и метрическими шкалами.

Есть в арсенале исследователей и методы, позволяющие выяснить, как отнесутся потребители к тому или иному сочетанию свойств товара, насколько они ценят то или иное свойство товара. Это дает менеджерам рынка богатую пищу для размышлений при разработке маркетингового комплекса. Один из таких методов - совместный анализ (conjoint analysis ) - тоже будет рассмотрен нами в дальнейшем.

© 2024 valvas.ru. Бухгалтеру о налогах и кадрах. Налоги, бухгалтерия, отчетность, ККМ