Некоторые принципы оптимизации запросов 1С (+SQL)

Публикация № 562352

Разработка - Математика и алгоритмы

115
Разработка нового функционала часто связана с созданием новых таблиц в базе и написанием запросов. Собственно, размышляя о запросах, мы и формируем в голове содержание таблиц, индексы и количество таблиц и индексов. Заранее можно уверенно рассуждать о том, какая нужна архитектура, если задачу удалось понять. На этом этапе важно привлекать свой опыт. Что же делать, если его нет? Как рассуждать о запросах и формате хранения?

Сразу к делу.

Я надеюсь, к концу чтения этой публикации у Вас появятся некоторые представления, а если у Вас они есть, то Вы можете не читать дальше, т.к. это весьма субъективный вопрос.

Держите в своей голове несколько принципов написания запросов:

- В маленьких табличках нечего оптимизировать, т.к. SQL сервер в любом случае будет просматривать всю табличку, а 1С не забывает делать один кластеризованный индекс.

- Если вы намерены получить ограниченное количество строк (одну или две), то не забывайте сообщить об этом заранее, добавляя «первые K» и сортировку вдоль отсортированного поля.

- Поиск в отсортированном поле выполняется быстрее, чем в любом другом. Вам нужно соединять таблицы или выбирать из них строки по отсортированным полям (в 1С есть свойство индексирования у реквизитов).

- Старайтесь обходиться левыми соединениями и поднимать вверх таблички с наименьшим количеством строк (оптимизатор SQL сервера будет стараться делать это за Вас, опираясь на статистику, и, конечно, может ухудшить ожидаемое время, если соединений слишком много, ну, скажем, 7 и более).

- Если условий много, то складывайте во временную таблицу небольшой объем нужных строк, отбирая их по индексу. А потом используйте этот небольшой набор, чтобы добавить прочие условия или левые соединения. (Оптимизатор SQL вполне может «напутать» с порядком формирования таких начальных наборов, и ждать придется долго).

- Если есть вложенные запросы и много вычисляемых полей, то старайтесь отложить вычисления на позднее время, когда количество отобранных строк максимально сократится.

- Добавляйте требуемые индексы к реквизитам, значения которых редко повторяются. Поиск хорошо «разгоняется» по таким полям.

Пути оптимизации запросов:

- Добавление и удаление индексов. Это позволит ускорить поиск и отбор нужных строк.

- Изменение текста запросов. Это позволит изменить стратегию отбора нужных строк из таблиц.

Модель поведения программиста при оптимизации запросов.

Обычно проблема появляется резко и без подсказок. А нам нужно быстро собрать сведения.

1) Работа не клеится, когда кто-то стоит над душой. Поэтому открываем Management Studio, подключаемся к нашей базе и нажимаем волшебную комбинацию <Ctrl>+<Alt>+A. В результате откроется окно, где мы для виду будем тыкать на кнопочки с умным видом, пока нас не оставят в покое, решив, что мы уже работаем. Это лучше потренировать заранее.

2) Проверим для начала, не ждут ли пользователи друг друга:

/*Кто кого блокирует */
SELECT
         pr1.status,
         pr1.waittime                    as [Сколько ждем?],
         pr1.waitresource         as [Что ждем?],
         pr1.waittype                    as [Тип ожидания],   
         DB_NAME(pr1.dbid)        AS [DB],
      pr1.spid                          AS [spID ждущего],
      RTRIM(pr1.loginame)  AS [Login ждущего],
         RTRIM(pr1.hostname)      AS [Компьютер ждущего],
         pr1.program_name         AS [программа ждущего],
      pr2.spid                          AS [spID виновника],
      RTRIM(pr2.loginame)  AS [Login виновника],
          RTRIM(pr2.hostname)     AS [Компьютер виновника],
      pr2.program_name            AS [программа виновника],
      txt.[text]                  AS [Запрос виновника],
         pr1.*

FROM   MASTER.dbo.sysprocesses as pr1(NOLOCK)

          left JOIN MASTER.dbo.sysprocesses as pr2(NOLOCK) ON  (pr2.spid = pr1.blocked)

          OUTER APPLY MASTER.sys.dm_exec_sql_text(pr2.[sql_handle]) AS txt

WHERE  pr1.blocked <> 0
--or pr1.hostname='ws-msk-a1573'
--or pr1.spid in (87)

Скажу честно, я давно не сталкиваюсь с блокировками, поэтому не буду касаться здесь деталей.

3) Проверим, не ждут ли пользователи долгие запросы:

/* Список тяжелых запросов */

SELECT TOP 555
       execution_count,
       total_worker_time/(execution_count*1000) AS [Avg CPU Time],
    SUBSTRING(st.text, (qs.statement_start_offset/2)+1,
        ((CASE qs.statement_end_offset
          WHEN -1 THEN DATALENGTH(st.text)
         ELSE qs.statement_end_offset
         END - qs.statement_start_offset)/2) + 1) AS statement_text,
       pt.query_plan
FROM
       sys.dm_exec_query_stats AS qs

       CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS st

          CROSS APPLY sys.dm_exec_query_plan(qs.plan_handle) AS pt

--where st.text like '%dnprefix%Docno>%'

ORDER BY  2 DESC

Этот запрос (в отличие от предыдущего) всегда что-то возвращает. В первой колонке количество запросов, а во второй длительность выполнения (смело округляйте до тысяч, и это будут секунды). Найдите строки с большим количеством в первой колонке и подумайте, могут ли на это жаловаться пользователи, взглянув на время выполнения. Имеет смысл анализировать запросы длительностью большей и близкой к 1 секунде. Третья колонка содержит текст запроса (и его придется искать в 1С, связав имена таблиц в запросе с привычными именами 1С). Четвертая колонка содержит план выполнения запроса, и если Вы его откроете, то узнаете, из каких источников и в каком порядке выбираются данные (есть даже совет, какого индекса не хватает).

3) Разработчиком был программист (хочется об этом мечтать), а пользоваться готовым функционалом дали пользователям, которые преследуют какие-то свои цели. Поэтому часть имеющихся индексов может просто тормозить базу. Это, в первую очередь, индексы на полях, значения которых часто повторяются, или не используемые в запросах индексы:

/* Index Read/Write stats (all tables in current DB) */

SELECT
       OBJECT_NAME(s.[object_id]) AS [ObjectName],
       i.name AS [IndexName],
       i.index_id,
       user_seeks + user_scans + user_lookups AS [Reads],
       user_updates AS [Writes],
       i.type_desc AS [IndexType],
       i.fill_factor AS [FillFactor]
FROM
       sys.dm_db_index_usage_stats AS s

       INNER JOIN sys.indexes AS i ON s.[object_id] = i.[object_id]

WHERE
       OBJECTPROPERTY(s.[object_id], 'IsUserTable') = 1
       AND i.index_id = s.index_id
       AND s.database_id = DB_ID()

       --Укажите анализируемую таблицу (Комментарий в SQL –это «--«)
       --and OBJECT_NAME(s.[object_id]) like '_Reference44'

ORDER BY
       OBJECT_NAME(s.[object_id]),
       writes DESC,
       reads DESC;

Если в поле Read стоит ноль или число значительно меньшее числа в поле Write, то индекс скорее мешает и его лучше убрать. Если Вы сами не можете принять такое решение, то спросите:

/*Возможно не нужные индексы*/
SELECT
       OBJECT_NAME(s.[object_id]) AS [Table Name] ,
       i.name AS [Index Name] ,
       i.index_id ,
       user_updates AS [Total Writes] ,
       user_seeks + user_scans + user_lookups AS [Total Reads] ,
       user_updates - ( user_seeks + user_scans + user_lookups ) AS [Difference]

FROM sys.dm_db_index_usage_stats AS s WITH ( NOLOCK )

       INNER JOIN sys.indexes AS i WITH ( NOLOCK ) ON s.[object_id] = i.[object_id] AND i.index_id = s.index_id

WHERE
       OBJECTPROPERTY(s.[object_id], 'IsUserTable') = 1
       AND s.database_id = DB_ID()
       AND user_updates > ( user_seeks + user_scans + user_lookups )
       AND i.index_id > 1

ORDER BY
       [Difference] DESC ,
       [Total Writes] DESC ,
       [Total Reads] ASC ;

А если не верите мне, то сходите https://technet.microsoft.com/ru-ru/library/jj128029.aspx

 

Очевидные вопросы:

1) Кластеризованный индекс – это отсортированная по каким-то полям сама таблица (а таблица может быть только одна).

2) Дополнительный индекс содержит индексируемые поля и поле кластеризованного индекса. Поиск в таком индексе сводится к отбору значений, по которым будет выполняться поиск в кластеризованном индексе, если требуется информация из других полей (реквизитов).

3) У регистров кластеризованный индекс содержит все измерения в порядке, указанном в конфигурации. А обычный индекс включает реквизит (с сортировкой) и все измерения, т.е. измерения всегда будут задвоены (что увеличивает объем).

4) Поиск в индексе возможен, если указаны все входящие в него поля (и желательно без условий, т.к. SQL допускает только простейшие сравнения в индексах).

5) В плане запроса указано относительное время выполнения операции и сравнительный объем отбираемых данных из источника.

6) Т.к. все отсортировано, то частые изменения предполагают периодическую дефрагментацию. Иначе статистика, накапливаемая сервером, начнет жить своей жизнью, меняя стратегию выборки данных по запросам.

Примечание:

Несмотря на кажущуюся простоту, скоро Вы поймете, что можно оптимизировать бесконечно и бесконечно зарабатывать большие деньги только этим. Удачи!

115

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. tormozit 5635 18.11.16 09:38 Сейчас в теме
"Поиск в индексе возможен, если указаны все входящие в него поля".
Точнее все таки будет "Поиск в индексе возможен по набору полей, если они расположены в начале структуры индекса".
sorb; brr; RealEscander; Dem1urg; bulpi; CyberCerber; корум; ture; +8 Ответить
2. Gilev.Vyacheslav 1839 18.11.16 13:28 Сейчас в теме
(0) а можно просто запустить консоль http://infostart.ru/public/556589/ которая сделает весь этот анализ более точно и глубоко
3. Gilev.Vyacheslav 1839 18.11.16 13:30 Сейчас в теме
А если не верите мне, то сходите https://technet.microsoft.com/ru-ru/library/jj128029.aspx

не поверил, сходил по ссылке, не поленился, а там написано:
Не забудьте об периодическом создании отчетов — эта операция может отсутствовать в ежедневной нагрузке. Хотя используемы для отчетности индексы и используются нечасто, их наличие может быть критически необходимым
4. Gilev.Vyacheslav 1839 18.11.16 13:31 Сейчас в теме
- В маленьких табличках нечего оптимизировать, т.к. SQL сервер в любом случае будет просматривать всю табличку, а 1С не забывает делать один кластеризованный индекс.

привет блокировки, сегодня вы все будете ждать маленькую табличку, потому что там скан и нам посоветовали ее не трогать
myjob1c; user596640_Atarasyuk; корум; tormozit; +4 Ответить
5. Gilev.Vyacheslav 1839 18.11.16 13:34 Сейчас в теме
то складывайте во временную таблицу

отличный доклад был на инфостарте про проблемы с временными таблицами на пострессе, можно переосмыслить подход к написанию запросов )
7. starik-2005 1979 18.11.16 15:08 Сейчас в теме
(5) Gilev.Vyacheslav, на "пост стрессе" или "на постгресе"? Как бы вроде одна буква, но столько смыслов разных...

На курсах подготовки к эксперту помимо многого всего (обычно нехорошего) о гилевах, рассказывают еще о том, почему 1С в плане оптимизации запросов учит выносить соединения с подзапросами во временные таблицы - типа 1С-неги тупые и иначе им сложно что-то объяснить. Но 1С-неги помимо соединений с подзапросами как-то автоматически выносят во временные таблицы и все остальное - т.е. даже такую примитивную вещь не в силах освоить. В итоге у чуть более продвинутых товарищей так много интересной работы.
8. Gilev.Vyacheslav 1839 18.11.16 19:55 Сейчас в теме
(7) starik-2005,
На курсах подготовки к эксперту помимо многого всего (обычно нехорошего) о гилевах

тем не менее факты:
фирма 1С купила разработку дизайна 8ки у Егора Гилева https://habrahabr.ru/company/turbomilk/blog/74806/
Евгений Гилев известен обучением
фирма 1С не раз обращалась ко мне (Вячеславу Гилеву) за услугами ЗА ДЕНЬГИ
по производительности у моей команды отзывов по производительности больше чем у подразделения 1С:ЦКТП со всеми франчайзами вместе взятыми

что там себе позволяют отдельные представители 1С на тренингах пусть останется на их совести

1С-неги тупые
если бы это было так, 1С:Предприятие не вытеснило другие другие учетные системы
я знаю очень много талантливых программистов 1С

им сложно что-то объяснить
это скорее больше говорит о том, кто и как обучает
если "зубриловку" 1С:Профессионал заменить практическим экзаменом, проверяющим практические навыки, то гляди и доверия больше было бы )
сами же породили лозунг "Доступно и всерьез"...


Новиков; +1 1 Ответить
9. starik-2005 1979 18.11.16 23:06 Сейчас в теме
(8) да мне, собственно, и так ясно, что кто-то что-то у кого-то покупает. Отрицательно высказывался некий Бурмистров - может ему завидно - не знаю.

По поводу того, что 1С-неги - тупые (разумеется, не все - просто порог входа вроде бы как весьма маленький) - это вполне обоснованное мнение, с другой стороны кодеры на JS не менее тупые (опять же не все, но их в принципе больше на порядок), но они хотя бы ООП осваивают.

Ну и основной месседж, который Вы так и не уловили (видимо, Бурмистров в чем-то тут прав) - это то, что проблема оптимизации запросов решается 1С-негами в большинстве случаев просто через вынесение всего и вся во временные таблицы без какой-либо задней мысли на тему, зачем это вообще надо и какой эффект это дает. Один товарищ - эксперт по скулу - на какой-то международной конфе по скулу сказал, что есть в России программа такая - 1С. Так вот она такое (Т-А-А-А-КОЕ!!!) количество временных таблиц генерит в своих запросах, что он такого нигде и никогда не видел. И что, это программа плохая или 1С-неги? Или вендор из-за тупизны 1С-негов кроме как научить их оптимизировать запросы через временные таблицы ничему не могут? Тогда и вендор - тупой, ибо не может научить, т.е. качественно оказать образовательную услугу?

Ну а экзамены - это в принципе отстой. Всегда можно за сто попыток примелькаться экзаменаторам, и они пожалеют потраченных тобой денег и дадут заветную корочку.
10. Gilev.Vyacheslav 1839 19.11.16 14:47 Сейчас в теме
(9) starik-2005,
Отрицательно высказывался некий Бурмистров
очень сильно сомневаюсь -
он не работает в 1С, не ведет курсы 1С:Эксперт

Ну и основной месседж, который Вы так и не уловили (видимо, Бурмистров в чем-то тут прав) - это то, что проблема оптимизации запросов решается 1С-негами в большинстве случаев просто через вынесение всего и вся во временные таблицы без какой-либо задней мысли на тему, зачем это вообще надо и какой эффект это дает.


наша консоль запросов http://infostart.ru/public/556589/ при вставке во временную таблицу оценивает разумность объема строк и рациональность такого приема и любой программист может проверить свой код
все кто проходит курсы на сайте изучают нашу консоль и учатся ее использовать

что за касается мотивации писать хорошо я уже в (6) ответил, так что это Вы не уловили

Один товарищ - эксперт по скулу - на какой-то международной конфе по скулу сказал, что есть в России программа такая - 1С. Так вот она такое (Т-А-А-А-КОЕ!!!) количество временных таблиц генерит в своих запросах, что он такого нигде и никогда не видел. И что, это программа плохая или 1С-неги?
видать эксперт не до конца эксперт )

Или вендор из-за тупизны 1С-негов кроме как научить их оптимизировать запросы через временные таблицы ничему не могут?

Платформа тоже генерирует временные таблицы не спрашивая программиста 1С. И тут скорее можно говорить что надо те кто судят - делают это поверхностно. Не стоит обсуждать эту тему абстрактно без конкретных примеров.
Даже ms sql server может в плане запроса сделать Table Spool, который просматривает входную таблицу и помещает копию каждой строки в скрытую буферную таблицу, которая находится в базе данных tempdb и существует только в течение времени жизни запроса. Скуль у Вас тоже плохой получается!

Если нужно, создайте отдельную ветку форуме. Не надо автору публикации забивать ветку совсем сторонним.

13. jaroslav.h 19.11.16 22:31 Сейчас в теме
(10) Gilev.Vyacheslav, как ты меня уже достал своей рекламой во многих комментах на разных публикациях, угомонись уже наконец-то
artfa; alest; user596640_Atarasyuk; Новиков; kuzyara; Solovyeff; корум; ture; bpc222; JohnyDeath; starik-2005; +11 Ответить
38. ineshyk 25.11.16 23:34 Сейчас в теме
(10) интересно, как Ваша консоль предугадает план запроса без статистики и решит, оптимальный запрос или нет.


17. Silenser 511 21.11.16 11:23 Сейчас в теме
(8) Gilev.Vyacheslav, В конце прошлого года проходил курс подготовки к эксперту, ни одного плохого слова в ваш адрес не было. Уточню, в рамках официально части курса о ваших инструментах вообще молчали (что понятно, им нужно ЦУП по 80к продавать), а в неофициальной части отзывались нейтрально, как об еще одном инструменте, который не лучше и не хуже, все больше зависит от головы того, кто инструмент применяет.
Gilev.Vyacheslav; +1 Ответить
18. Gilev.Vyacheslav 1839 21.11.16 13:30 Сейчас в теме
(17) Silenser, да, у меня тоже возникли сомнения в достоверности утверждений товарища Sergey Andreev
(11) ture, посты (3) и (4) не по теме? а ну тогда конечно
21. ture 559 21.11.16 13:48 Сейчас в теме
(18) Gilev.Vyacheslav, указанные посты не грамотные. Я не могу закрыть Вам рот, но рекомендую воздержаться от дальнейших высказываний, т.к. они не делают Вам чести как специалисту.
22. Gilev.Vyacheslav 1839 21.11.16 14:08 Сейчас в теме
(21) ture,
указанные посты не грамотные.
а можете раскрыть техническую часть, например для поста 4?
в 1С очень много таблиц с небольшим количеством строк (<1000)
Вы учите:
- В маленьких табличках нечего оптимизировать, т.к. SQL сервер в любом случае будет просматривать всю табличку, а 1С не забывает делать один кластеризованный индекс.

Если взять ЗУП, там практически все таблички "маленькие". Но нам приходится очень часто бороться с не параллельностью расчета ЗП для нескольких организаций.
Тут может быть несколько вариантов: Вы правы, что
(18) Gilev.Vyacheslav, указанные посты не грамотные

а может быть что стоит повнимательней изучить другую точку зрения, вдруг за ней реальный опыт.

Ваш совет хорош для "однопоточных" монопольных сеансов, когда про параллельность думать не надо. Но в реальной жизни все сложнее. Иногда нужно пожертвовать потоковой скоростью ради параллельности.

24. ture 559 21.11.16 15:12 Сейчас в теме
(22) Gilev.Vyacheslav, Если я Вас задел, прошу прощение. Давайте больше не будем так рассуждать.
26. Gilev.Vyacheslav 1839 21.11.16 17:16 Сейчас в теме
(24) ture, т.е. сказать по делу нечего
25. starik-2005 1979 21.11.16 15:22 Сейчас в теме
(17) времена меняются, да и профессионала по тех.вопросам в прошлом году не было - сдавали сразу эксперта. Теперь все иначе: http://1c.ru/rus/partners/training/uc1/course.jsp?id=436

А по поводу продуктов от Гилева, то мне лично вполне по душе тес, остальными не пользуюсь - необходимости нет. Простота теста Гилева и возможность посмотреть табличку результатов, сравнив ее с другими тестируемыми конфигурациями, вполне помогает оценить уровень в цепочке производительности одного потока (сервер 1С - сервер СУБД). Но вот какие-то выводы сделать, куда копать - увы и ах.
27. ture 559 21.11.16 17:27 Сейчас в теме
(25) starik-2005, я вот сейчас вникаю в межпроцессорное взаимодействие (Windows API), пытаясь разобраться на основе аналогий с Posix. И вдруг такой "трёп" не простительный. Если б все программисты вели себя так словно ЧСВ важнее всего остального, то мы не увидели бы ни одной операционной системы. Нет, я знаю, что программист 1С - это халява при больших деньгах, по все же я не предполагал, что кто-то всерьёз считает, что общается с отбросами.

Мне его консоль бесполезна во всех смыслах. Объясню почему в двух словах:
1) найдя запрос в статистике SQL, я долго соображаю откуда он мог прилететь (родной 1с-ный или кто-то умный, что-то прикинул в студии)
2) видя запрос 1С, мне нужно переписать его "голыми руками" на t-sql, чтоб увидеть план (здесь меня спасают только view-хи и предположения о том, как это сделает 1С)
3) в реали, я даже не имею права включать трассировки на SQL или как-то еще тормозить продакшен
4) конечно мне не нужны советы о том, что я сделал не так в запросе, т.к. мне нужен план запроса вместо них

Мне, разумеется, приятно читать замечания, т.к. каждое из них раскрывает моё невежество или напоминает, что не бывает мелочей (хоть и хочется говорить об обратном с замыленными-то глазами). Особенно ценно, когда человек разобрался в причинах и упоминает их.

В конечном счете сообщество программистов 1С смогло организоваться и собирать знания по крупицам. Уже за это нельзя обидно обзываться. Политика 1С носит защитный характер (разработчики прямо-таки охраняют свою платформу от расширений и контролируют способы интеграции). В результате программист 1С оказывается замкнут в рамках дозволенного 1С, но это дозволенное такой программист изучает весьма усердно.

Когда 1С искажает понятия и ограничивает интерфейс, вдруг находится кто-то, кто выделяется своим знанием и волшебным умением. Он просто знает детали об изначальном API, которые собрал своим трудом. И лучшее - это поделиться этим, а не набивать себе цену и баловать своё ЧСВ. Любой серьёзный проект - это дело рук не одного человека, и когда находится один крутой и замкнутый на себе, то это просто лошадь, для тяжелой работы, а не игрок для сложного проекта.


34. starik-2005 1979 25.11.16 17:00 Сейчас в теме
(27) а к чему столь много строк-то (пафосу)? К тому, что я сказал о том, что 1С-неги (как и прочие) могут оказаться не на столько умными, чтобы понять, что все во временные таблицы тащить не стоит? И всего-то?
36. ture 559 25.11.16 18:59 Сейчас в теме
(34) не знаю, сам подумай, а я пока скорректирую своё восприятие.
37. starik-2005 1979 25.11.16 22:47 Сейчас в теме
(36) ну довай, корректируй. Токмо поменьше химии )))
39. корум 311 28.11.16 10:10 Сейчас в теме
28. BorovikSV 1336 22.11.16 22:22 Сейчас в теме
(5) Gilev.Vyacheslav,
отличный доклад был на инфостарте про проблемы с временными таблицами на пострессе, можно переосмыслить подход к написанию запросов
. О каком докладе речь?
29. Gilev.Vyacheslav 1839 23.11.16 16:26 Сейчас в теме
(28) BorovikSV, http://event.infostart.ru/2016/video/ 03 МАЛЫЙ ЗАЛ МАСТЕР КЛАСС РЕШЕНИЕ ТИПОВЫХ ПРОБЛЕМ ПРИ ПЕРЕХОДЕ НА POSTGRESQL СМОЛКИН ГРИГОРИЙ
30. ture 559 23.11.16 18:44 Сейчас в теме
(29) в памятку:
Есть такая кнопка CapsLock. Если она нажата, то все буквы в верхнем регистре вводятся. Слова написанные таким образом означают крик и воспринимаются в цивилизованном обществе как невежество. На профессиональных форумах не принято писать в верхнем регистре.
32. корум 311 25.11.16 09:10 Сейчас в теме
(30)
копипаст рУками перебивать никто не заморачивается.
Вопросы к составителю расписания мероприятий, походу.
33. Gilev.Vyacheslav 1839 25.11.16 12:39 Сейчас в теме
(32) можно объяснить всё, но не всем )
когда чел создает свою "виртуальную реальность" и она ему "удобна", то она его защищает его психику от фрустраций, но она же его и "держит"
не надо его "шевелить палкой" - захочет, сам вылезет из "домика"
35. starik-2005 1979 25.11.16 17:00 Сейчас в теме
(33)
можно объяснить всё, но не всем )
ну вот и я о том же. Токмо я к тому, что если важен результат, то некоторые (1С, например) понимая, что не всем можно что-то объяснить достоверно, объясняет так, чтобы дошло до большинства. А до большинства может дойти только что-то простое, например вынести все подзапросы во временные таблицы.
6. Gilev.Vyacheslav 1839 18.11.16 13:40 Сейчас в теме
не проходит и недели как на инфостарте люди пытаются расковырять тайные техники оптимизации, наполнить себя эзотерическими сведениями
а проблема банальна - люди при написании кода не получают денег за то чтобы он работал быстро, только за то чтобы функционал успеть к дедлайну

напишите статью чтобы платить шеф начал за оптимизацию и оно "как попрет"... )
sorb; tormozit; jurix; sevushka; Irwin; bydk; dark_wolf; Gorus; Trancer64; klmop; GarfildOLD; baton_pk; Silenser; taurus__; sigmov; Dem1urg; Dach; Yashazz; bulpi; c1nil; корум; Aspirant; Designer1C; 1cWin; +24 Ответить
16. sigmov 21.11.16 10:36 Сейчас в теме
(6) Gilev.Vyacheslav,
Ну собственно в итоге платить приходиться (проходит оптимизация) или мириться с медленной работой.
Большинство в мире работает по PainDD (пока не заболит - фиг с ним, заболело - лечим)
Silenser; Gilev.Vyacheslav; +2 Ответить
11. ture 559 19.11.16 17:43 Сейчас в теме
Давайте ближе к теме публикации. Сколько можно себя нахваливать? и подкладывать ссылки на бесполезные поделки?
Мне было бы приятно обойтись без уличного базара. Я внимательно прочитал Ваши комментарии, но не нашел, что из этого достойно добавления к статье.
В этой публикации я себя не рекламирую. Идея написать статью у меня возникла после ознакомления с рядом подобных статей. Я захотел, с одной сторон, изложить все максимально сжатно и приближено к 1с-практике, а, с другой, оставить поле деятельности, для самостоятельного размышления. Ряд приведенных запросов вполне рабочий и используется мной на предприятии (где обслуживает нагруженную систему). Перечисленные мной принципы оптимизации тоже рабочие (ими я руководствуюсь, можно считать из заметками на полях).
Прошу в комментариях придерживаться теории СУБД, чтоб была общая платформа, для рассуждений или спора.
sorb; artfa; eskor; Solovyeff; JohnyDeath; +5 Ответить
12. fishca 1163 19.11.16 19:17 Сейчас в теме
тем не менее факты:
фирма 1С купила разработку дизайна 8ки у Егора Гилева https://habrahabr.ru/company/turbomilk/blog/74806/

уж лучше бы и не покупала
artfa; user610297_agsh; ture; wolfsoft; Solovyeff; +5 Ответить
14. starik-2005 1979 19.11.16 23:21 Сейчас в теме
Гыгы, Славу стало плющить)))

Был месяц назад на курсах подготовки к проф. и эксперту по тех. вопросам - вели Бурмистров и Филиппов (который книжку написал).

Да и вообще сообщения должны смысл нести,но у некотопых только реклама. Может не взлетел продукт и от такой вот невеселой жизни хочется рвать и метать икру? Бывает. И это пройдет.
MRAK; ЗС1; Dach; +3 3 Ответить
15. Dach 284 20.11.16 14:27 Сейчас в теме
Статья хорошая.

А меня вот интересует вопрос. В запросах 1С, к сожалению, нельзя писать скульные хинты. Может есть какие-то ловкие ходы, чтобы заставить запрос выполниться с нужным мне хинтом? Например, отсортировав две таблицы и джойня их между собой в 1С - хочу чтобы вместо нестед лупс использовался мердж. Можно как-то схитрить и заставить план построиться именно так?

Кстати, вот еще один пример весьма очевидной оптимизации, о которой, к сожалению не только лишь все знают, точнее мало кто вообще )))

Если параметры в запрос передавать не в явном виде, а динамически формируя текст запроса - то вы заставляете оптимизатор запросов СУБД каждый раз строить новый план.

N-е количество запросов вида, текст которых собирается динамически:

ВЫБРАТЬ * ИЗ Документ.МойДокумент ГДЕ Документ.Реквизит В "%СтрокаМассиваОтбор%"
СтрокаМассиваОтбор = "(1,2,3)"


выполнится в разы медленнее, чем если написать
ВЫБРАТЬ * ИЗ Документ.МойДокумент ГДЕ Документ.Реквизит В (&МассивОтбор)


А по поводу В (&СписокОтбора) - тоже еще один пласт для ускорения. Порой, значительного прироста можно добиться, передав отбор в запрос, поместив его во временную таблицу и отсортировав, а также ЯВНО написать вместо "В (&СписокОтбора)" - "ВНУТРЕННЕЕ СОЕДИНЕНИЕ".


19. Yashazz 2905 21.11.16 13:32 Сейчас в теме
(15) Dach, да ладно. Это что, получается, что интерпретатор 1С вообще ни при чём, и собирая запрос конкатенацией с заменами (я уж молчу про новомодную объектную технику) я имею более медленное исполнение итогового запроса? Чё-то или я не понял, или вы странные вещи пишете. Вы о "динамическом формировании текста запроса" - где и в какой момент?
23. Dach 284 21.11.16 14:38 Сейчас в теме
(19) Yashazz, если на вход интерпретатора СУБД подать различные запросы, где отборы "написаны руками", вместо параметров запроса - для запроса, где отбор написан "вручную" - СУБД будет каждый раз анализировать и заново строить план, вместо того, чтобы использовать кэш. Я не про динамическую сборку целиком, а про параметры.
20. Gilev.Vyacheslav 1839 21.11.16 13:34 Сейчас в теме
(15) Dach, неоднократно обсуждалось на партнерском, фирма 1С считает что это "усложнение" может принести больше зла в неумелых руках
31. lustin 24.11.16 23:07 Сейчас в теме
увидел знакомое ```ws-msk-a1573``` и думаю где то я уже этот формат имени компьютера видел ;-)

(0) Жень - ссылка https://github.com/BrentOzarULTD/SQL-Server-First-Responder-Kit

такие вещи как "Кто кого блокирует", спрашивают у Брента https://www.brentozar.com/askbrent/
ildarovich; +1 Ответить
40. dgolovanov 04.01.17 02:00 Сейчас в теме
Мальчики выросли, и пиписки нет? Что за клоунада в комментах.
Zhilyakovdr; ture; IgorS; +3 Ответить
Оставьте свое сообщение

См. также

Перенос документов и справочников ERP 2 / КА 2 / УТ 11 => БП 3.0 Промо

Перенос позволяет настроить собственный обмен данными между указанными программами, альтернативный предлагаемому фирмой 1С. Предоставляем техподдержку по всем вопросам данного обмена. Можем подключиться к вам удаленно для разбора ситуаций. Оперативно обновляем при выходе новых релизов 1С. Бесплатные обновления в течение полугода.

19700 руб.

"Хочу универсально!" [Часть 1] 67

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Математика и алгоритмы Практика программирования Разработка

Сентябрьская серия статей про то, как начинающий разработчик Вася проходит путь от простой задачки к созданию своего механизма. На этот раз - открытие значения из текущей колонки.

02.09.2019    5816    SeiOkami    35       

Иерархия без "В ИЕРАРХИИ" 120

Статья Программист Нет файла v8 Бесплатно (free) Математика и алгоритмы

Говорится о том, как эффективно представлять иерархию в СУБД, как получать и использовать эти представления при решении задач в запросной технике. Уточняются и дополняются запросы из статьи "Уровни, глубина, прародители, циклы и аналоги запросом" [https://infostart.ru/public/160707/].

22.08.2019    5445    ildarovich    17       

Готовые переносы данных из различных конфигураций 1C Промо

Рекомендуем готовые решения для переноса данных из различных конфигураций 1C. C техподдержкой от разработчиков и гарантией от Инфостарт.

EnterpriseData – часть 3. Загрузка данных, идентификация объектов 64

Статья Программист Нет файла v8 v8::УФ 1cv8.cf ОС Бесплатно (free) Практика программирования Математика и алгоритмы Перенос данных из 1C8 в 1C8 Разработка

Основные этапы загрузки данных через EnterpriseData. Идентификация объектов загружаемых полностью и по ссылке. Приведены схемы процессов загрузки данных. Описание основных операций и обработчиков. Перечень процедур БСП, используемых при загрузке данных, структура «КомпонентыОбмена».

22.08.2019    5114    ids79    7       

Обработчики событий при записи объектов. Зачем и что за чем? 210

Статья Программист Нет файла v8 Бесплатно (free) Математика и алгоритмы

Программисту, имеющему немного опыта на платформе 1С 8.3, бывает сложно разобраться: ПередЗаписью, ПриЗаписи, ПослеЗаписи, на сервере, на клиенте, в модуле формы, в модуле объекта.... Эта шпаргалка была создана в процессе обучения и реального опыта с целью разложить всё по полочкам, чтобы было четкое понимание в каком случае какой обработчик нужно использовать и в какой последовательности они запускаются при записи и проведении документов. Данная статья будет полезна в большей степени начинающим разработчикам. Но и опытным позволит освежить информацию, упорядочить её.

25.07.2019    14890    4    AlbinaAAA    24       

Программы для исполнения 54-ФЗ Промо

С 01.02.2017 контрольно-кассовая техника должна отправлять электронные версии чеков оператору фискальных данных - правила установлены в 54-ФЗ ст.2 п.2. Инфостарт предлагает подборку программ, связанных с применением 54-ФЗ, ККТ и электронных чеков.

Как проводятся документы в типовых конфигурациях от 1С 138

Статья Программист Нет файла v8::ОУ ERP2 УТ11 Россия УУ Windows Бесплатно (free) Математика и алгоритмы Практика программирования Разработка

В свое время, когда только начинал шаги в 1С и изучал, как проводятся документы в конфигурациях на платформе 1С по книге "Разработка управляемого интерфейса" (Хрусталева Е.Ю.), и там были представлены примеры совсем далекие от того, как сейчас проводятся документы в современных конфигурациях от 1С.

24.07.2019    16899    skv_79    32       

FizzBuzz на 1С. Чем короче, тем веселее. Варианты принимаются... 8

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Математика и алгоритмы Разработка

Мне было скучно, я не мог себя заставить написать ничего полезного. И читал статью на Хабре. Потом я читал комментарии, а потом... нет я не ушел смотреть котиков на ютюбе. Я решил сделать несколько решений задачки FizzBuzz на 1С, с целью "чем короче, тем лучше". Прошу сильно не пинать, это просто развлечение для вечера.

24.07.2019    3132    vandalsvq    16       

1СПАРК РИСКИ. Сервис оценки благонадежности контрагентов. Промо

СПАРК помогает предотвратить мошенничество со стороны компаний и предпринимателей, благодаря актуальным сведениям о компаниях и системе выявления факторов риска.Сервис позволяет управлять налоговыми рисками и комплексно оценивать благонадежность контрагентов.

Управление качеством кода 140

Статья Программист Руководитель проекта Нет файла v8 Бесплатно (free) Математика и алгоритмы Рефакторинг и качество кода

О SonarQube, АПК, EDT. Какие преимущества дает их использование. Для каких команд подходит.

22.07.2019    9278    Stepa86    33       

Что делает "В ИЕРАРХИИ" в запросе? 101

Статья Программист Нет файла v8 Бесплатно (free) Математика и алгоритмы

Описание действий платформы 1С при использовании конструкции "В ИЕРАРХИИ" в запросах.

16.07.2019    9682    YPermitin    34       

Перенос данных КА 1.1 => ERP 2 (ЕРП) (обработка переноса документов, остатков и справочной информации из "1С:Комплексная автоматизация, ред. 1.1" в "1С:ERP Управление предприятием, ред 2"). Обновлен до КА 1.1.115.х и ERP 2.4.10.х Промо

Обработка позволяет переносить из КА 1.1 в ERP 2 документы за выбранный период и остатки. Типовая обработка от фирмы 1С документы не переносит. Также исправлены ошибки типовой обработки. При выходе новых релизов обновление высылается бесплатно в течение года. Разработка будет полезна фирмам-франчайзи, которые периодически выполняют такой перенос данных для заказчиков. Вы можете один раз приобрести обработку переноса, и потом бесплатно получать обновления в случае выхода новых релизов конфигураций 1С.

29700 руб.

Создание отчетов с помощью СКД - основные понятия и элементы 217

Статья Программист Нет файла v8 v8::СКД Бесплатно (free) Практика программирования Математика и алгоритмы

Основные принципы работы СКД. Понятия схемы компоновки и макета компоновки. Описание основных элементов схемы компоновки: наборы данных, поля, вычисляемые поля, ресурсы, параметры.

25.06.2019    23856    ids79    17       

Реализуем Стек, Очередь и Приоритетную очередь в 1С 52

Статья Программист Нет файла v8 1cv8.cf Россия Бесплатно (free) Практика программирования Математика и алгоритмы Разработка

В статье рассматриваются способы реализации таких абстрактных структур данных, как стек, очередь и приоритетная очередь, используя готовые типы данных 1С. Выявляются "узкие" места, сложные моменты в реализации и сравнивается скорость работы.

24.06.2019    8208    RonX01    63       

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.

Организация хранения промежуточных данных 3

Статья Программист Нет файла v8 Бесплатно (free) Математика и алгоритмы

Организация хранения промежуточных данных в процедуре сверки.

29.05.2019    2176    scientes    1       

Вычисление 200 тысяч знаков числа pi 73

Статья Программист Нет файла v8 Россия Бесплатно (free) Математика и алгоритмы

В статье рассматриваются возможности платформы выполнять сверхточные вычисления без использования сложных алгоритмов и внешних компонент на примере вычисления числа pi.

28.05.2019    4239    Oleg_nsk    93       

Подборка программ для взаимодействия с ЕГАИС Промо

ЕГАИС (Единая государственная автоматизированная информационная система) - автоматизированная система, предназначенная для государственного контроля за объёмом производства и оборота этилового спирта, алкогольной и спиртосодержащей продукции. Инфостарт рекомендует подборку проверенных решений для взаимодействия с системой.

Регистры накопления. Виртуальные таблицы. Часть №1: Обороты 86

Статья Программист Нет файла v8 1cv8.cf Бесплатно (free) Практика программирования Математика и алгоритмы Разработка

Описание работы платформы 1С:Предприятие 8.2 с виртуальной таблицей "Обороты" регистров накопления.

20.05.2019    12683    YPermitin    5       

Даем названия переменным: как префиксы экономят наше время 10

Статья Программист Стажер Внешняя обработка (ert,epf) v8 Бесплатно (free) Практика программирования Математика и алгоритмы Разработка

Понятные названия переменных экономят время и силы разработчика : в начале, когда мы даём названия переменным, в процессе развития разработки, когда мы "на лету" понимаем назначение той или иной переменной, в конце, когда мы передаём разработку на поддержку других программистов, сами переходя к новым разработкам

06.05.2019    3554    Designer1C    69       

Подборка решений для взаимодействия со ФГИС «Меркурий» Промо

С 1 июля 2019 года все компании, участвующие в обороте товаров животного происхождения, должны перейти на электронную ветеринарную сертификацию (ЭВС) через ФГИС «Меркурий». Инфостарт предлагает подборку программ, связанных с этим изменением.

Заметки по SQL: Срез последних - аналог запроса 16

Статья Программист Нет файла v8 1cv8.cf Россия Бесплатно (free) Математика и алгоритмы Практика программирования

В статье описывается создание среза последних данных средствами классического языка запросов. Причем метод построения запроса был разработан еще во времена, когда автор работал с СУБД Oracle 9i и программировал на PL SQL. Основная идея заключается преобразовании запроса с подзапросом, в запрос без подзапроса (в примерах описывается преобразование до двух вложенных подзапросов). Запросы тестировались на реальных базах данных. Платформа - 1С:Предприятие 8.3 (8.3.10.2561).

15.01.2019    6685    IVC_goal    5       

С 2020 года сервис «Продление поддержки конфигурации 1С:УПП» подорожает вдвое Промо

Успейте продлить поддержку УПП до повышения цен! Фирма «1С» предупредила об изменении цен на сервис «Продление поддержки конфигурации "1С:Управление производственным предприятием"». С 1 января 2020 года сервис подорожает в два раза.

Автоматические и управляемые блокировки применительно к типовым конфигурациям 1С 129

Статья Программист Нет файла v8 v8::blocking 1cv8.cf Бесплатно (free) Математика и алгоритмы Практика программирования

Основные принципы работы с режимами автоматических и управляемых блокировок в 1С Предприятие 8. Теория и применение в типовых конфигурациях: БП, УТ, ЕРП

10.11.2018    23638    ids79    40       

Перенос данных УПП 1.3 => ERP 2 (ЕРП) / УТ 11 / КА 2.х (обработка переноса документов, остатков и справочников из "1С:Управление производственным предприятием, ред. 1.3" в ERP / УТ 11 / КА 2). Обновлен до УПП 1.3.127.х, КА 2.4.10.х и ERP 2.4.10.х! Промо

Обработка позволяет переносить из УПП 1.3 в ERP 2 документы за выбранный период и остатки. Типовая обработка от фирмы 1С документы не переносит. Также исправлены ошибки типовой обработки. При выходе новых релизов обновление высылается бесплатно в течение года. Разработка будет полезна фирмам-франчайзи, которые периодически выполняют такой перенос данных для заказчиков. Вы можете один раз приобрести обработку переноса, и потом бесплатно получать обновления при выходе новых релизов конфигураций 1С.

29700 руб.

Основные понятия и механизмы оптимизации клиент-серверного взаимодействия в 1C 147

Статья Программист Нет файла v8 Россия Бесплатно (free) Математика и алгоритмы Практика программирования

У многих начинающих 1С программистов часто возникают вопросы про клиент-серверное взаимодействие в 1С и чтобы разобраться в непростых механизмах платформы, необходимо понять, что же такое контекст, для чего предназначены директивы компиляции, что представляют собой контекстные/внеконтекстные вызовы и как наиболее оптимально описывать прикладные задачи в модулях управляемых форм.

23.08.2018    24421    Rain88    42       

Теорема номер тринадцать 15

Статья Программист Нет файла v8 Бесплатно (free) Математика и алгоритмы

Использование математических методов для языка запросов.

15.03.2018    9657    vasilev2015    24       

Вакансия Автор новостных обзоров на тему 1С и бухучета, По совместительству Промо

Редакция Infostart.ru будет рада сотрудничеству с 1С-специалистом, умеющим и любящим излагать свои мысли в письменной форме. Если вы работали в IT-изданиях или имеете опыт ведения технологического блога/канала/группы, если сможете сделать обзор обработок из каталога infostart.ru/public/all/, то у вас большое преимущество.

Введение в CI для 1С 87

Статья Программист Нет файла v8 Россия Бесплатно (free) Математика и алгоритмы

Значение роли тестирования при разработке ПО трудно переоценить, его применение позволяет повысить надёжность продукта и улучшить качество кода. Для продуктов для платформы 1С:Предприятие существует ряд инструментов для проведения тестирования, в том числе и от самого вендора. Но, также появились открытые инструменты, реализующие мировые практики проведения тестирования (проверки продукта), поддерживаемые сообществом. В этой статье описаны базовые принципы, которые необходимо понимать перед началом применения этих инструментов.

21.11.2017    19747    real_MaxA    22       

Как работает серверный вызов в 1С 460

Статья Программист Нет файла v8::УФ Бесплатно (free) Математика и алгоритмы

Клиент-серверная архитектура заложена в платформе изначально — со времен «1С:Предприятие 8.0». Однако при разработке на 8.0 и 8.1 о разделении кода на клиентскую и серверную часть можно было не заботиться, поскольку на клиенте (на толстом клиенте) был доступен тот же функционал, что и на сервере. Всё изменилось с выходом платформы «1С:Предприятие 8.2», когда появился тонкий клиент. Теперь на клиенте доступен один функционал, на сервере — другой. Клиент и сервер «общаются» между собой с помощью серверного вызова. Конечно, это усложнило процесс разработки, но с другой стороны – можно создавать более оптимальные (быстрые) решения, поскольку все сложные задачи выполняются на сервере.

18.11.2017    45320    pahich    77       

1С:Предприятие через Интернет. 1С:Fresh Промо

Ведение бухгалтерского и налогового учет, сдача отчетности, управление бизнесом из любой точки мира. Привычные программы «1С» через Интернет без приобретения коробочных программ.

#Область ВНЕШНИЕ_ВЫЗОВЫ или MVC в 1С, библиотечность и упрощение интеграции кода 44

Статья Программист Нет файла v8 Бесплатно (free) Практика программирования Математика и алгоритмы Универсальные функции

Зачастую почти любой модуль в 1С содержит от одного до несметного множества вызовов других модулей. Как с этим бороться, чтобы было проще куда-то что-то переносить - в этом посте.

12.10.2017    15160    for_sale    58       

Групповая разработка конфигураций в крупном холдинге 69

Статья Программист Нет файла v8 Бесплатно (free) Математика и алгоритмы

О чем мы сегодня поговорим? • О становлении и развитии групповой разработки конфигураций 1С в крупном холдинге с использованием хранилища конфигураций. • Обсудим практически все аспекты использования хранилища в командной разработке. • Я расскажу про те методы и идеи, которые мы пробовали использовать, какие используем до сих пор, от каких отказались и почему.

15.08.2017    18005    stas_ganiev    15