реальная производительность Postgresql

все о нагрузочном тестирвоании

Модератор: Дмитрий Юхтимовский

реальная производительность Postgresql

Сообщение akmide » 04 апр 2014, 20:19

Всем доброго времени суток!!!!
Скачал тестовую конфигурацию TPC+G1C запустил у себя, и не могу понять в чем дело:Изображение мой сервер постгреса вообще не определяется, да и в целом тестовая конфа не видит мое железо, результат тестирования сначало был 15,73 через 5 минут стал 14,2 при том что у меня работают почти 300 пользователей и в общем-то проблем со скоростью нет, просто интересно почему у меня не работает корректно данное тестирование????
на сервере постгреса 128 гб, оперативки, 2 x 16 ядерник AMD, на сервере 1с 32 гига оперативки, xeon 6 ядерник, на терминале 64 гига оперативки и 2 x 16 ядерных AMD......
хотелось бы всетаки увидеть реальную максимальную производительность системы, поможите ее протестировать, либо направите как реально это можно сделать???

Заранее спасибо.....
akmide
 
Сообщений: 2
Зарегистрирован: 04 апр 2014, 19:44

Re: реальная производительность Postgresql

Сообщение Гилёв Вячеслав » 17 апр 2014, 17:38

akmide писал(а):Всем доброго времени суток!!!!
Скачал тестовую конфигурацию TPC+G1C запустил у себя, и не могу понять в чем дело:Изображение мой сервер постгреса вообще не определяется, да и в целом тестовая конфа не видит мое железо, результат тестирования сначало был 15,73 через 5 минут стал 14,2 при том что у меня работают почти 300 пользователей и в общем-то проблем со скоростью нет, просто интересно почему у меня не работает корректно данное тестирование????
на сервере постгреса 128 гб, оперативки, 2 x 16 ядерник AMD, на сервере 1с 32 гига оперативки, xeon 6 ядерник, на терминале 64 гига оперативки и 2 x 16 ядерных AMD......
хотелось бы всетаки увидеть реальную максимальную производительность системы, поможите ее протестировать, либо направите как реально это можно сделать???

Заранее спасибо.....

Наибольшую детализацию информации тест дает на MS SQL Server в силу особенностей субд.
Погрешность в пару балов допустима и связана с микроизменениями ситуации нагрузки, среды и т.п.
Кроме того, тест синтетически со всеми вытекающими отсюда обстоятельствами.
Гилёв Вячеслав
 
Сообщений: 2436
Зарегистрирован: 11 фев 2013, 15:40
Откуда: Россия, Москва

Re: реальная производительность Postgresql

Сообщение akmide » 18 апр 2014, 06:50

Понятно, ладно, будем дальше копать сервер.....
akmide
 
Сообщений: 2
Зарегистрирован: 04 апр 2014, 19:44

Re: реальная производительность Postgresql

Сообщение alex_shkut » 03 июн 2014, 16:34

Такая же ситуация. Файловая БД показала 41 бал, но все тормозило. Постгри показал сначала 5,4 бала, потом 4,95. Но реально - Постгри работает намного быстрее и это при том, что управляемые блокировки еще не прописаны, все еще впереди. Хотел подправить тест на предмет "управляемых блокировок" - так исходные модули не поставляются...
Кстати, в этом контексте заявлениям о том, что никакая личная информация не передается - просто на веру и порядочность. Или сниффером пакетов проверять :).
Можно ли получить коды модулей? Хотя бы тех, которые непосредственно тестируют скорость БД. Я бы попытался оптимизировать тест под Постгри на предмет управляемых блокировок. Соответственно, готов вернуть модули для включения в базовую версию теста.
Имхо, без оптимизации всегда будет рулить MSSQL.
alex_shkut
 
Сообщений: 2
Зарегистрирован: 03 июн 2014, 16:21
Откуда: Сумы, Украина

закрыли код не от хорошей жизни, более 7 лет он был открытый

Сообщение Гилёв Вячеслав » 03 июн 2014, 19:16

alex_shkut писал(а):Кстати, в этом контексте заявлениям о том, что никакая личная информация не передается - просто на веру и порядочность. Или сниффером пакетов проверять :).

цели закрытия кода вынужденные - мы хотим уменьшить возможность модификации результатов теста - раньше их легко можно было исказать изменив алгоритм теста, у нас заливались на сервер явно нереальные цифры, превышающие в сотни раз реально возможные значения, вручную возится с этим каждый раз - увольте
еще одно соображение - это сохранение авторского права на идею подхода к тестированию, нам надоело спорить о достоверности наших идей - кому нравится тот пользуется

доказать безопасность кода мы готовы (в тимвьювере пустить на наш сервер, где показать код) , мы работаем максимально прозрачно

стучитесь в скайп gilev_slava
Гилёв Вячеслав
 
Сообщений: 2436
Зарегистрирован: 11 фев 2013, 15:40
Откуда: Россия, Москва

а тем временем на сайте...

Сообщение Гилёв Вячеслав » 03 июн 2014, 19:17

общее заявление о сохранении приватности и безопасности http://www.gilev.ru/privacystatement/
Гилёв Вячеслав
 
Сообщений: 2436
Зарегистрирован: 11 фев 2013, 15:40
Откуда: Россия, Москва

скорость и параллельность не одно и тоже

Сообщение Гилёв Вячеслав » 03 июн 2014, 19:19

alex_shkut писал(а):Такая же ситуация. Файловая БД показала 41 бал, но все тормозило.
Можно поконкретней, документы параллельно не проводились? Ознакомьтесь перед дискуссией пожалуйста с http://www.gilev.ru/mssqlvsfile/
Гилёв Вячеслав
 
Сообщений: 2436
Зарегистрирован: 11 фев 2013, 15:40
Откуда: Россия, Москва

заблуждение на счет блокировок в однопоточном тесте

Сообщение Гилёв Вячеслав » 03 июн 2014, 19:23

alex_shkut писал(а):Постгри показал сначала 5,4 бала, потом 4,95. Но реально - Постгре работает намного быстрее и это при том, что управляемые блокировки еще не прописаны, все еще впереди. Хотел подправить тест на предмет "управляемых блокировок" - так исходные модули не поставляются...

Вы не очень понимаете суть однопоточного теста - там управляемые блокировки создадут наоборот замедление за счет дополнительной нагрузки на сервер 1с, а при этом их функционал не будет востребован, так как в одном потоке не зачем что то блокировать на сервере 1с.
Что же касается второго теста G1C на многопоточную запись там управляемые блокировки есть. Опять таки у скуля под временные таблицы есть база tempdb и ресурсы на нее в явном виде локализованы. В постгре с временными таблицами схема работы соврешенно другая.

Если у вас есть проблемы не с тестом, а с реальной работой пользователей по блокировкам на постгре, то давайте обсуждать это а не коня в сферическом вакууме....
Гилёв Вячеслав
 
Сообщений: 2436
Зарегистрирован: 11 фев 2013, 15:40
Откуда: Россия, Москва

Re: реальная производительность Postgresql

Сообщение alex_shkut » 04 июн 2014, 12:24

Спасибо за ответ. При 41 балле, на файловом варианте у 21 пользователя постоянно возникали конфликты блокировок. Визуально - все медленно работало.
После перехода на Постгре я получил 4,95 балла, но при этом объективные ощущения от работы намного лучше. Даже при непрописанных управляемых блокировках взаимоблокировок (ожиданий) стало меньше, точнее пока не наблюдаются.
Я вот к чему: 41 - плохо, 4,95 - лучше. Вот и вопрос, почему?

ПС Все тесты, как на файловой, так и на Постгре отработали без проблем. Я пытался предположить, что параллельная запись непересекающихся измерений ускорит многопоточность.
alex_shkut
 
Сообщений: 2
Зарегистрирован: 03 июн 2014, 16:21
Откуда: Сумы, Украина

Re: реальная производительность Postgresql

Сообщение Гилёв Вячеслав » 04 июн 2014, 18:20

alex_shkut писал(а):Спасибо за ответ. При 41 балле, на файловом варианте у 21 пользователя постоянно возникали конфликты блокировок.

вы точно не читали статью, потому что бы сейчас понимали что первый оценивает скорость одного потока, а не способность коллективной одновременной работы потоков

конфликты блокировок относятся к параллельности работы, а не к скорости работы
Гилёв Вячеслав
 
Сообщений: 2436
Зарегистрирован: 11 фев 2013, 15:40
Откуда: Россия, Москва

Re: реальная производительность Postgresql

Сообщение Гилёв Вячеслав » 04 июн 2014, 18:23

alex_shkut писал(а):После перехода на Постгре я получил 4,95 балла, но при этом объективные ощущения от работы намного лучше.


Все по той же причине. Баллы первого теста TPC не измеряют параллельность. Файловый вариант накладывает блокировки целиком на таблицу. Клиент-серверный накладывает блокировки на строку и тем самым позволяет работать параллельно пользователям. Файловый вариант существенно хуже позволяет работать параллельно пользователям по причине блокировок накладываемых избыточно целиком на таблицу.
Гилёв Вячеслав
 
Сообщений: 2436
Зарегистрирован: 11 фев 2013, 15:40
Откуда: Россия, Москва

Re: реальная производительность Postgresql

Сообщение Гилёв Вячеслав » 04 июн 2014, 18:26

alex_shkut писал(а):Я вот к чему: 41 - плохо, 4,95 - лучше. Вот и вопрос, почему?


Потому что берете шкалу измерения скорости теста TPC а применяете к параллельности. Правильно 41 - хорошо. 4.95 - хуже. А оценку параллельности вообще можно получить только в тесте G1C. Файловый вариант настолько плох, что мы его не включили в тест G1C.
Гилёв Вячеслав
 
Сообщений: 2436
Зарегистрирован: 11 фев 2013, 15:40
Откуда: Россия, Москва

Re: реальная производительность Postgresql

Сообщение Гилёв Вячеслав » 04 июн 2014, 18:27

alex_shkut писал(а):Я пытался предположить, что параллельная запись непересекающихся измерений ускорит многопоточность.


у вас нет достаточной теоретической базы знаний чтобы делать предположения, сейчас вы просто фантазируете
Гилёв Вячеслав
 
Сообщений: 2436
Зарегистрирован: 11 фев 2013, 15:40
Откуда: Россия, Москва


Вернуться в Нагрузочное тестирование

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1