Передача больших пакетов через веб-сервисы

05 декабря 2015

Конфигурация с примером из статьи (скачать)

Конфигурация с примером реализации передачи файла через веб-сервис частями.

Введение

Использование веб-сервисов платформы 1С:Предприятие набирает обороты для решения задач интеграции: обмены данными между базами, взаимодействие с мобильными или веб-приложениями и многое другое. Огромные возможности могут покрыть любые потребности при решении задач интеграции. Если Вы разрабатываете веб-сервисы для интеграции больших / высоконагруженных баз, то возможно описанная здесь проблема будет уже не новой.

Сегодня мы поговорим о передаче больших по размеру пакетов через веб-сервис, об ограничении веб-сервера и способе решения сложившейся ситуации. Суть проблемы заключается в следующем: стандартная конфигурация веб-сервера (будь то это IIS или Apache) содержат настройки по ограничению максимального размера пакета, который может быть обработан. Для IIS максимальный размер обрабатываемого сообщения ~30 МБ, а для Apache ~16 МБ. На счет Apache могу ошибаться, т.к. при установках стандартные настройки были разными.

При создании обменов данными через веб-сервисы размер отправляемого сообщения может быть значительно больше заданных ограничений. Например, при выгрузке из УПП 1.3 документа распределения косвенных расходов размер сформированного XML-файла в сжатом виде может достигать пару сотен мегабайт! В этом случае обмен просто встанет и сервер не сможет обработать входящее сообщение.

Ошибка при передаче слишком большого файла

Рассмотрим два способа решения данной проблемы: с помощью настроек веб-сервера (на примере IIS) и с помощью разработанного механизма передачи сообщения по частям.

Быстрое решение

Если максимальный размер входящего сообщения нужно увеличить незначительно, то можно использовать быстрое решение, а именно изменить конфигурацию веб-сервера для обработки пакетов большего размера. Далее продемонстрировано изменение настроек для веб-сервера IIS несколькими способами:

  • Настройка через диспетчер служб IIS:

Настройка максимального размера загружаемого файла IIS

  • Изменение файла "web.config" в корне директории веб-приложения:

<system.webServer>
   <security>
      <requestFiltering>
         <requestLimits maxAllowedContentLength="1048576000" />
      </requestFiltering>
   </security>
</system.webServer>

  • В командной строке выполнить:

cd c:\Windows\System32\inetsrv

appcmd set config "Default Web Site" -section:requestFiltering -requestLimits.maxAllowedContentLength:1048576000 -commitpath:apphost

Правильное решение

В случаях, когда размер передаваемого пакета значительно больше установленных по умолчанию ограничений, изменять конфигурацию веб-сервера не рекомендую. Если заставить принимать веб-сервер пакеты в несколько гигабайт, то это может значительно повлиять на его производительность / работоспособность. Лучше всего сделать передачу большого пакета частями. Далее рассмотрим простейшую реализацию такого механизма на платформе 1С:Предприятие с использованием веб-сервисов.

Реализация

В тестовой конфигурации сделан пример веб-сервиса для передачи пакетов частями. Общий принцип следующий: через веб-сервис передаются части файла и записываются в регистр сведений. Для всех частей файла присваивается некоторый GUID, по которому файл можно будет "склеить" обратно, а также порядковый номер части. Наглядно передачу файла размером в 170 МБ по частям с размером 5 МБ можно представить так:

Демонстрация передачи большого файла частями

Для промежуточного сохранения частей файла используется регистр сведений. Передача файла через веб-сервис выполняется с использованием XDTO-пакетов следующей структуры:

Пример структуры XDTO-пакета

Фактически пакет дублирует структуру регистра сведений:

Пример структуры регистра сведений с частями пакета

Далее представлен обработчик метода веб-сервиса:

Функция executeMethod(MessagePart)
	
	Ответ = ФабрикаXDTO.Создать(ФабрикаXDTO.Пакеты.Получить("http://www.develplatform.ru").Получить("MessagePartResponse"));
	
	Попытка
		РегистрыСведений.ПринятыеЧастиПакета.ЗафиксироватьПриемЧастиПакета(
			Новый УникальныйИдентификатор(MessagePart.MessageId),
			MessagePart.PartNumber,
			MessagePart.PartData,
			MessagePart.CountOfParts,
			MessagePart.MessageName,
			MessagePart.FileExtention,
			MessagePart.FileName,
			MessagePart.Size
		);
		Ответ.Success = Истина;
	Исключение
		Ответ.Success = Ложь;	
	КонецПопытки;
	
	Возврат Ответ;
	
КонецФункции

В качестве параметра метод веб-сервиса принимает объект с типом "MessagePartRequest" и передает из него данные в функцию "ЗафиксироватьПриемПакета". Эта функция сохраняет полученные через веб-сервис данные в базу:

Процедура ЗафиксироватьПриемЧастиПакета(Идентификатор, НомерЧасти, Данные, ВсегоЧастей, ИмяСообщения, РасширениеФайла, ИмяФайла, Размер) Экспорт
	
	Набор = РегистрыСведений.ПринятыеЧастиПакета.СоздатьНаборЗаписей();
	Набор.Отбор.ИдентификаторПакета.Установить(Идентификатор);
	Набор.Отбор.НомерЧасти.Установить(НомерЧасти);
	Запись = Набор.Добавить();
	Запись.ДанныеЧастиСообщения = Новый ХранилищеЗначения(Данные);
	Запись.ИдентификаторПакета = Идентификатор;
	Запись.НомерЧасти = НомерЧасти;
	Запись.ДатаСоздания = ТекущаяДата();
	Запись.ВсегоЧастей = ВсегоЧастей;
	Запись.ИмяСообщения = ИмяСообщения;
	Запись.РасширениеФайла = РасширениеФайла;
	Запись.ИмяФайла = ИмяФайла;
	Запись.РазмерФайла = Размер;
	Набор.Записать();
	
КонецПроцедуры

Также в конфигурацию добавлен общий модуль ОбменДаннымиWS с функциями отправки и получения файла. Функция отправки файла разбивает его на части и передает каждую часть отдельно, обращаясь к веб-сервису:

// Отправляет указанный файл на сервер через веб-сервис
//	Параметры:
//		1. ПутьКФайлуНаСервере - строка. Путь к передаваемому файлы на сервере
//		2. МаксимальныйРазмерЧастиПакетаБайт - число. Максимальный размер одной передаваемой части в байтах
//			По умолчанию 10 МБ.
//	Возвращаемое значение:
//		Уникальный идентификатор отправленного файла
//
Функция ОтправитьФайл(ПутьКФайлуНаСервере, МаксимальныйРазмерЧастиПакетаБайт = 10485760) Экспорт
	
	Slash = Символ(92); // Символ "/"
	ИдентификаторСообщения = Новый УникальныйИдентификатор;
	
	// Создаем временный каталог для сохранения в него частей исходного файла
	ВременныйКаталог = КаталогВременныхФайлов()+"SendingMessageWS"+Slash+ИдентификаторСообщения;
	СоздатьКаталог(ВременныйКаталог);
	// Разбиваем файл на части с помощью возможностей платформы
	РазделитьФайл(ПутьКФайлуНаСервере, МаксимальныйРазмерЧастиПакетаБайт, ВременныйКаталог);
	ВсеНайденныеФайлы = НайтиФайлы(ВременныйКаталог, "*");
	ИсходныйФайл = Новый Файл(ПутьКФайлуНаСервере);
	
	// Каждую часть файла отправляем через веб-сервис
	НомерЧасти = 1;
	Для Каждого Эл Из ВсеНайденныеФайлы Цикл
		Прокси = WSСсылки.SendMessageParts.СоздатьWSПрокси("http://www.develplatform.ru/SendBigMessage", "DevelPlatformRU", "DevelPlatformRUSoap");
		ТипОбъектаЗапроса = Прокси.ФабрикаXDTO.Пакеты.Получить("http://www.develplatform.ru").Получить("MessagePartRequest");
		ОбъектЗапроса = Прокси.ФабрикаXDTO.Создать(ТипОбъектаЗапроса);
		ОбъектЗапроса.MessageId = Строка(ИдентификаторСообщения);
		ОбъектЗапроса.PartNumber = НомерЧасти;
		ОбъектЗапроса.PartData = Новый ДвоичныеДанные(Эл.ПолноеИмя);
		ОбъектЗапроса.CountOfParts = ВсеНайденныеФайлы.Количество();
		ОбъектЗапроса.MessageName = "Тестовая отправка сообщения!";
		ОбъектЗапроса.FileExtention = ИсходныйФайл.Расширение;
		ОбъектЗапроса.FileName = ИсходныйФайл.ИмяБезРасширения;
		ОбъектЗапроса.Size = Эл.Размер();
		Результат = Прокси.execute(ОбъектЗапроса);
		
		НомерЧасти = НомерЧасти + 1;
	КонецЦикла;
	
	Попытка
		УдалитьФайлы(ВременныйКаталог, "*");
	Исключение КонецПопытки;
	
	Возврат ИдентификаторСообщения;
	
КонецФункции

Для получения исходного файла из сохраненных в регистре сведении его частей используется следующая функция:

// Отправляет указанный файл на сервер через веб-сервис
//	Параметры:
//		1. ИдентификаторСообщения - Уникальный идентификатор. Идентификатор, возвращенный функцией "ОтправитьФайл"
//	Возвращаемое значение:
//		Строка. Путь к собранному файлу на сервере
//
Функция ПолучитьФайл(ИдентификаторСообщения) Экспорт
	
	Slash = Символ(92); // Символ "/"
		
	// Создаем временный каталог для записи в него сохраненных ранее в базе частей
	КаталогВременныхФайлов = КаталогВременныхФайлов() +"ReceivingMessageWS";
	ВременныйКаталог = КаталогВременныхФайлов + Slash + ИдентификаторСообщения;
	СоздатьКаталог(ВременныйКаталог);
	ИмяРезультатирующегоФайла = Неопределено;
	
	// Получаем все сохраненные части в базе
	Запрос = Новый Запрос;
	Запрос.Текст = 
		"ВЫБРАТЬ
		|	ПринятыеЧастиПакета.ИдентификаторПакета,
		|	ПринятыеЧастиПакета.НомерЧасти,
		|	ПринятыеЧастиПакета.ДанныеЧастиСообщения,
		|	ПринятыеЧастиПакета.ДатаСоздания,
		|	ПринятыеЧастиПакета.ВсегоЧастей,
		|	ПринятыеЧастиПакета.ИмяСообщения,
		|	ПринятыеЧастиПакета.РасширениеФайла,
		|	ПринятыеЧастиПакета.ИмяФайла,
		|	ПринятыеЧастиПакета.РазмерФайла
		|ИЗ
		|	РегистрСведений.ПринятыеЧастиПакета КАК ПринятыеЧастиПакета
		|ГДЕ
		|	ПринятыеЧастиПакета.ИдентификаторПакета = &ИдентификаторПакета";	
	Запрос.УстановитьПараметр("ИдентификаторПакета", ИдентификаторСообщения);	
	РезультатЗапроса = Запрос.Выполнить();
	Если НЕ РезультатЗапроса.Пустой() Тогда
		Выборка = РезультатЗапроса.Выбрать();
		
		МассивИменФайловДляОбъединения = Новый Массив;

		// Сохраняем файлы частей во временный каталог
		Пока Выборка.Следующий() Цикл
			ИмяЧастиФайла = ВременныйКаталог + Slash + Выборка.ИмяФайла + Выборка.РасширениеФайла + "." + Формат(Выборка.НомерЧасти, "ЧГ=0");
			Выборка.ДанныеЧастиСообщения.Получить().Записать(ИмяЧастиФайла);
			МассивИменФайловДляОбъединения.Добавить(ИмяЧастиФайла);
		КонецЦикла;
		// Собираем исходный файл
		ИмяРезультатирующегоФайла = КаталогВременныхФайлов + Slash + Выборка.ИмяФайла + Выборка.РасширениеФайла;
		ОбъединитьФайлы(МассивИменФайловДляОбъединения, ИмяРезультатирующегоФайла); 
		
		Попытка
			УдалитьФайлы(ВременныйКаталог, "*");
		Исключение КонецПопытки;
		
	КонецЕсли;
	
	Возврат ИмяРезультатирующегоФайла;
	
КонецФункции

Вот и все, такая простая реализация! Посмотрим на результат.

Проверка

Передача файла была продемонстрирована выше, теперь же давайте посмотрим на работоспособность функции получения ранее переданного файла.

Тестируем получение файла по частям через веб-сервис

Как видим, исходный файл получен с тем же размером. Задача выполнена!

Выводы

При регулярном использовании веб-сервиса для передачи больших по размеру сообщений наиболее предпочтителен второй вариант решения, который позволяет сделать универсальную и надежную передачу сообщений вне зависимости от настроек веб-сервера и исходного размера файла.

Предложенный механизм передачи больших сообщений можно развивать, добавляя проверки корректной отправки сообщений, автоматическую очистку битых пакетов из регистра сведений, очистку устаревших данных из регистра и др. Был показан лишь принцип, остальное дело за Вами!


comments powered by Disqus