These are chat archives for springjazzy/GIS_JKH_Integration

12th
Sep 2018
Anton
@dudarkoas
Sep 12 2018 03:12
херня какая-то отчего мотает то обратно?
Anton
@dudarkoas
Sep 12 2018 03:49
никто не озабачивался автоматизацией работы по временным ФИАС-ам?
Leonid
@waltzofwoe_gitlab
Sep 12 2018 03:50
вроде как они закончились
Anton
@dudarkoas
Sep 12 2018 03:50
"вроде как" или есть инфа из первых рук? )
Leonid
@waltzofwoe_gitlab
Sep 12 2018 03:51

Как-то так

Сегодня 10 августа с 22:00 до 16:00 11 августа будут проводиться регламентные работы с целью обновления адресного справочника на основе полной базы адресов ФИАС.

Помнится, тогда гис ушел в спячку надолго
Anton
@dudarkoas
Sep 12 2018 03:53
только это не гарантирует того, что их больше не будет
с новостройками особенно
Leonid
@waltzofwoe_gitlab
Sep 12 2018 03:53
Потому и "вроде как"
Anton
@dudarkoas
Sep 12 2018 04:07
Временные адреса.
В процессе первичного наполнения ГИС ЖКХ информацией, в базе данных
ФИАС было выявлено отсутствие адресов. В течение 2016 и 2017 гг. в ГИС ЖКХ
осуществлялось добавление таких адресов по заявкам поставщиков информации. В
настоящий момент добавление временных адресов прекращено, добавление новых
адресов осуществляется органами местного самоуправления. ГИС ЖКХ осуществляет
регулярную загрузку обновлений ФИАС и сопоставление временных адресов с
адресами из базы данных ФНС.
Актуальность адреса в ГИС ЖКХ
Если адрес был деактуализирован в ФИАС или временный адрес был
деактуализирован в рамках работ по выравниванию адресного справочника, то
информация об этом также отображается в ГИС ЖКХ в личном кабинете в карточке
дома или в выгрузках “HOUSE_FULL” и “HOUSE_DOUBLE_NSI” (у неактуальных
записей колонка №15 = false).
утверждается, что больше не будет временных
Anton
@dudarkoas
Sep 12 2018 04:31
еще бы иметь возможность через интеграцию проверить ФИАС
БДИ!
@c0ntr0ller_twitter
Sep 12 2018 06:55
у меня ГИС так и не отвечает... забухали они там чтоли?
Leonid
@waltzofwoe_gitlab
Sep 12 2018 06:55
Обнову внедряют
С 10 по 14
Так что всю неделю можно вообще забить на гис и идти ловить бабочек
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 06:57
@waltzofwoe_gitlab обнову будут ставить 14-ого в 22-00, ее не внедряют до этого времени
Leonid
@waltzofwoe_gitlab
Sep 12 2018 06:57
Ну тогда хз, но с 10 гис почти не работает)
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 06:58
@waltzofwoe_gitlab есть такое понятие, как очередь
Leonid
@waltzofwoe_gitlab
Sep 12 2018 06:59
Больше похоже на корявый round robin
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 06:59
@waltzofwoe_gitlab какой-то крупный поставщик с понедельника кидает запросы миллионами... кто именно не говорят, но я подозреваю, что это АБ Россия
Leonid
@waltzofwoe_gitlab
Sep 12 2018 07:00
ТОгда бы оно вообще не отрабатывалось. А так оно сразу после отправки пачки запросов отрабаывает n запросов, и виснет на 2-3 часа
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 07:00
@waltzofwoe_gitlab Л - логика ахахахах
Leonid
@waltzofwoe_gitlab
Sep 12 2018 07:01
А потом просыпается и отрабатывает остаток пачки за 2 минуты
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 07:03
@waltzofwoe_gitlab ну как бы логично, если до тебя кто-то отправит 8 миллионов запросов, а после ты пошлешь свой десяток и они будут стоять в очереди... ГИС будет 3 часа отрабатывать 8 миллионов, а потом вернет твои за пару минут
Leonid
@waltzofwoe_gitlab
Sep 12 2018 07:09
Очередь на то и очередь, что не прерывается. Так что если я отправляю пачку запросов, когда там уже 8 млн, то я буду сначала ждать 8 млн, а потом получу отработку всех записей.
В данном случае, я вижу, что из 150 запросов, отправленных примерно в одно время, сразу отрабатывается 56, затем пауза на 2-3 часа, затем еще 30, снова пауза 2-3 часа, затем получаю остаток.
При условии, что я не один такой умный, мои запросы попадают в очередь с остальными. Так как я отправляю свои запросы равномерно и подряд, то в модели очереди они так бы и отрабатыались - постепенно по одному. Но уж никак не по 50 штук в минуту с паузой в два часа.
Разве что кто-то умудрился за те доли секунды между моими запросами запихнуть 1-2 млн своих, а это нереально.
Leonid
@waltzofwoe_gitlab
Sep 12 2018 07:44
Вот сейчас опять, отправил 355 запросов, в первые 2 минуты отработалось 93 и повисло без движения.
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 07:56
Все запросы по одному сервису? по одному методу?
Leonid
@waltzofwoe_gitlab
Sep 12 2018 07:57
Да
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 07:57
по сервису House точно очередь
примерно 50к запросов
Leonid
@waltzofwoe_gitlab
Sep 12 2018 07:57
Сервис housemanagement, метод exportAccountRequest
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 07:57
именно они в очереди
у меня с 7-45 висят
Leonid
@waltzofwoe_gitlab
Sep 12 2018 07:58
А че сразу-то часть отрабатывает, коли там очередь 50к?)
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 07:58
жди 12.2, там разнесут импорт и экспорт в отдельные очереди и потоки
Leonid
@waltzofwoe_gitlab
Sep 12 2018 07:59
И после этого оно работать перестанет вообще?)
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 07:59
возможно
Leonid
@waltzofwoe_gitlab
Sep 12 2018 07:59
Кой фиг разница в очередях и потоках, если их обрабаывает один виртуальный сервер на одной машине
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 07:59
@waltzofwoe_gitlab а вы точно техспециалист?
Leonid
@waltzofwoe_gitlab
Sep 12 2018 08:00
Нет, я прост за клаву держусь
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 08:00
заметно
Leonid
@waltzofwoe_gitlab
Sep 12 2018 08:01
ну так просвети, сэнсей)
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 08:02
я как Невзоров, блоготворительностью не занимаюсь
Leonid
@waltzofwoe_gitlab
Sep 12 2018 08:03
Как жалко-то) А что касается гис, насколько я понимаю, там еще и отвратительное железо стоит. Так что параллельность тут мало чем поможет.
MitichBatkovich
@MitichBatkovich
Sep 12 2018 08:17
Ясно одно - железных ресурсов у них на всю страну не хватает
Они по сути в гавно идею превратили
Важно же именно своевременное размещение информации
Это как с сигналом поворота
Единицы за благовременного его включают
Во всех остальных случаях нафиг он нужен)
Leonid
@waltzofwoe_gitlab
Sep 12 2018 08:19
То-то и оно. Да, возможно в разных потоках обработка будет плавнее (это при условии отсутсвия блокировок), но суммарное время обработки будет примерно тем же. Переключение контекста никто не отменял.
MitichBatkovich
@MitichBatkovich
Sep 12 2018 08:20
Так же и гис - важно пока другой период не пошел
Потом уже пох
tim apple
@timapple
Sep 12 2018 09:29
возникла необходимость сдампить сведения из dom.gosuslugi.ru/#!/houses (требуют статистику по кол-ву домов/помещений в разрезе домов/городов/районов). может у кого-то есть наработке по работе с сайтом ?
smax239
@smax239
Sep 12 2018 11:08
Коллеги, еще вопросы - ни у кого не приходила голову мысль о создании отдельной БД с определенным набором полей для интеграции с ГИС ЖКХ, заливки данных в эту БД, а БД уже напрямую общается с ГИСом, так как создана фактически по их схеме? Или все льют данные из своей БД, попутно распихивая поля по XML файлам? Нет ли тут тех, у кого на входе данные и из ТСЖ, из УК, из РСО, из РКЦ?
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 11:09
@smax239 у меня так, ибо баз биллинга 11
smax239
@smax239
Sep 12 2018 11:18
@Jenstel33rus_twitter Мне кажется, если бы такой проект заопенсорсить - это было бы полезно всем участникам - полностью с нуля создание схемы БД под ГИС ЖКХ + софт для заливки - или это только мне нужно? Просто задача наполнения этой базы уже, мне кажется, на порядок проще, чем иные способы
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 11:18
@smax239 так есть же прокладки уже,как миниум две
Росквартал
opengkh
smax239
@smax239
Sep 12 2018 11:20
Это просто API переписанное, скажем так, в более простой вид (RestFull), интерфейса хотя бы БД у них нет
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 11:20
так а никто не будет делать БД отдельную, это не выгодно... кто из заказчиков будет еще отдельную БД вести
а тем более сверять постоянно данные между ними
smax239
@smax239
Sep 12 2018 11:23
@Jenstel33rus_twitter RestFul в пред. посте - ошибся - а так жаль, мне кажется, если бы кто-то поддерживал бы такой проект, то остальным участникам нужно было уже только интегрироваться с БД - а это уже просто написание регулярных SQL-скриптов - задача, как все понимают, на порядок проще - может сделать третью прокладку? :-)
MitichBatkovich
@MitichBatkovich
Sep 12 2018 12:26
@Jenstel33rus_twitter тут как бы может и имеет смысл сделать срез базы(пограничную базу) для загрузки в гис
мы например сберу раз в сутки срез сальдо делаем
ну точней у нас отдельная база под онлайн запросы сбера
для лк тоже своя база
те такие маленькие пограничные базы - кэш
хотя в гис мы грузим напрямую из нашей базы)
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 12:52
никто в последнее время не покупал/обновлял сервер под MS SQL?
MitichBatkovich
@MitichBatkovich
Sep 12 2018 13:09
мелкософт :/
pgsql - рулит)
Andrey Khrenov
@hhhhmmmm
Sep 12 2018 13:26
ГИС ЖКХ вроде как работает на PostgreSQL. ГИС работает хорошо?
Алексей Бугров
@Jenstel33rus_twitter
Sep 12 2018 13:27
@hhhhmmmm ну ты еще яву обосри, ведь API ГИСа тоже на ней сделан
и вообще рулит Oracle
но щас речь про MS SQL
Andrey Khrenov
@hhhhmmmm
Sep 12 2018 13:28
ну так патриоты начали плеваться в микрософт с двоеточием и слешем
у нас все ПО работает на MSSQL уже третий десяток лет, начинали с MSSQL 6.5, сейчас 2016, за эти года микрософт сильно продвинулся
в своем продукте
Пятаков Артемий
@Gasmator_twitter
Sep 12 2018 13:49
у нас тоже mssql
smax239
@smax239
Sep 12 2018 14:42
Коллеги, конкретизирую тогда вопрос: во сколько бы в рублях и днях Вы оценили разработку следующего ПО: MSSQL база созданная на основе XSD-схемы ГИС ЖКХ + ПО на основе C# примера ГИС ЖКХ, которое заливает данные из базы в ГИС ЖКХ, есс-но, с возможностью лить за разные OrgPpaGuid'ы?