Инструмент импорта данных LayerMapping

Класс LayerMapping предоставляет способ сопоставления содержимого файлов векторных пространственных данных (например, shapefiles) с моделями GeoDjango.

Этот инструмент возник из личных потребностей автора в устранении повторения кода, связанного с извлечением геометрий и полей из векторного слоя, преобразованием в другую систему координат (например, WGS84) и последующим вставкой в модель GeoDjango.

Пример

1. Вам нужен поддерживаемый GDAL источник данных, такой как shapefile (здесь мы используем простой shapefile полигонов, test_poly.shp, с тремя объектами):

   >>> from django.contrib.gis.gdal import DataSource
   >>> ds = DataSource('test_poly.shp')
   >>> layer = ds[0]
   >>> print(layer.fields) # Exploring the fields in the layer, we only want the 'str' field.
   ['float', 'int', 'str']
   >>> print(len(layer)) # getting the number of features in the layer (should be 3)
   3
   >>> print(layer.geom_type) # Should be 'Polygon'
   Polygon
   >>> print(layer.srs) # WGS84 in WKT
   GEOGCS["GCS_WGS_1984",
       DATUM["WGS_1984",
           SPHEROID["WGS_1984",6378137,298.257223563]],
       PRIMEM["Greenwich",0],
       UNIT["Degree",0.017453292519943295]]
   

2. Теперь мы определяем соответствующую модель Django (убедитесь, что используете migrate):

   from django.contrib.gis.db import models
   
   class TestGeo(models.Model):
       name = models.CharField(max_length=25) # corresponds to the 'str' field
       poly = models.PolygonField(srid=4269) # we want our model in a different SRID
   
       def __str__(self):
           return 'Name: %s' % self.name
   

3. Используйте LayerMapping, чтобы извлечь все объекты и поместить их в базу данных:

   >>> from django.contrib.gis.utils import LayerMapping
   >>> from geoapp.models import TestGeo
   >>> mapping = {'name' : 'str', # The 'name' model field maps to the 'str' layer field.
                  'poly' : 'POLYGON', # For geometry fields use OGC name.
                  } # The mapping is a dictionary
   >>> lm = LayerMapping(TestGeo, 'test_poly.shp', mapping)
   >>> lm.save(verbose=True) # Save the layermap, imports the data.
   Saved: Name: 1
   Saved: Name: 2
   Saved: Name: 3
   

Здесь LayerMapping преобразовал три геометрии из shapefile в их исходной системе пространственных координат (WGS84) в систему пространственных координат модели GeoDjango (NAD83). Если для слоя не определена система пространственных координат, используйте ключевое слово source_srs с объектом SpatialReference для её указания.

LayerMapping API

class LayerMapping(model, data_source, mapping, layer=0, source_srs=None, encoding=None, transaction_mode='commit_on_success', transform=True, unique=True, using='default')

Ниже приведены аргументы и ключевые слова, которые можно использовать во время создания объектов LayerMapping.

save() Ключевые аргументы

LayerMapping.save(verbose=False, fid_range=False, step=False, progress=False, silent=False, stream=sys.stdout, strict=False)

Метод save() также принимает ключевые слова. Эти ключевые слова используются для управления регистрацией вывода, обработкой ошибок и импорта определённых диапазонов объектов.

Отладка

Нехватка памяти

Как отмечалось в предупреждении в начале этого раздела, Django сохраняет все SQL-запросы, когда DEBUG=True. Установите DEBUG=False в ваших настройках, и это должно остановить чрезмерное использование памяти при выполнении скриптов LayerMapping.

MySQL: ошибка max_allowed_packet

Если вы столкнулись со следующей ошибкой при использовании LayerMapping и MySQL:

OperationalError: (1153, "Got a packet bigger than 'max_allowed_packet' bytes")

Тогда решение заключается в увеличении значения параметра max_allowed_packet в вашей конфигурации MySQL. Например, значение по умолчанию может быть низким, например, один мегабайт — это значение можно изменить в файле конфигурации MySQL (my.cnf) в разделе [mysqld]:

max_allowed_packet = 10M