Инструмент импорта данных LayerMapping

Класс LayerMapping предоставляет способ сопоставления содержимого файлов векторных пространственных данных (например, shapefiles) с моделями GeoDjango.

Этот инструмент возник из личных потребностей автора по устранению повторяющегося кода, связанного с извлечением геометрий и полей из векторного слоя, преобразованием в другую систему координат (например, WGS84) и последующей вставкой в модель GeoDjango.

Пример

1. Вам нужен поддерживаемый GDAL источник данных, например, shapefile (здесь мы используем простой shapefile полигонов, test_poly.shp, с тремя объектами):

>>> from django.contrib.gis.gdal import DataSource
>>> ds = DataSource("test_poly.shp")
>>> layer = ds[0]
>>> print(layer.fields)  # Exploring the fields in the layer, we only want the 'str' field.
['float', 'int', 'str']
>>> print(len(layer))  # getting the number of features in the layer (should be 3)
3
>>> print(layer.geom_type)  # Should be 'Polygon'
Polygon
>>> print(layer.srs)  # WGS84 in WKT
GEOGCS["GCS_WGS_1984",
    DATUM["WGS_1984",
        SPHEROID["WGS_1984",6378137,298.257223563]],
    PRIMEM["Greenwich",0],
    UNIT["Degree",0.017453292519943295]]

1. Теперь определим соответствующую Django модель (убедитесь, что используете migrate):

   from django.contrib.gis.db import models
   
   
   class TestGeo(models.Model):
       name = models.CharField(max_length=25)  # corresponds to the 'str' field
       poly = models.PolygonField(srid=4269)  # we want our model in a different SRID
   
       def __str__(self):
           return "Name: %s" % self.name
   

2. Используйте LayerMapping для извлечения всех объектов и размещения их в базе данных:

>>> from django.contrib.gis.utils import LayerMapping
>>> from geoapp.models import TestGeo
>>> mapping = {
...     "name": "str",  # The 'name' model field maps to the 'str' layer field.
...     "poly": "POLYGON",  # For geometry fields use OGC name.
... }  # The mapping is a dictionary
>>> lm = LayerMapping(TestGeo, "test_poly.shp", mapping)
>>> lm.save(verbose=True)  # Save the layermap, imports the data.
Saved: Name: 1
Saved: Name: 2
Saved: Name: 3

Здесь, LayerMapping преобразовал три геометрии из shapefile в их исходной системе пространственной привязки (WGS84) в систему пространственной привязки модели GeoDjango (NAD83). Если для слоя не определена система пространственной привязки, используйте ключевое слово source_srs с объектом SpatialReference для ее указания.

LayerMapping API

class LayerMapping(model, data_source, mapping, layer=0, source_srs=None, encoding=None, transaction_mode='commit_on_success', transform=True, unique=True, using='default')

Ниже приведены аргументы и ключевые слова, которые могут быть использованы во время создания объектов LayerMapping.

save() Ключевые аргументы

LayerMapping.save(verbose=False, fid_range=False, step=False, progress=False, silent=False, stream=sys.stdout, strict=False)

Метод save() также принимает ключевые слова. Эти ключевые слова используются для управления регистрацией вывода, обработкой ошибок и для импорта определённых диапазонов объектов.

Устранение неполадок

Ошибка нехватки памяти

Как отмечалось в предупреждении в начале этого раздела, Django хранит все SQL-запросы, когда DEBUG=True. Установите DEBUG=False в ваших настройках, и это должно остановить чрезмерное использование памяти при запуске скриптов LayerMapping.

MySQL: ошибка max_allowed_packet

Если вы столкнулись со следующей ошибкой при использовании LayerMapping и MySQL:

OperationalError: (1153, "Got a packet bigger than 'max_allowed_packet' bytes")

Тогда решение заключается в увеличении значения параметра max_allowed_packet в вашей конфигурации MySQL. Например, значение по умолчанию может быть низким, например, один мегабайт — настройка может быть изменена в файле конфигурации MySQL (my.cnf) в разделе [mysqld]:

max_allowed_packet = 10M