Python/XML HOWTO

1. XML 의 시작

XML 은 eXtensible Markup Language 로서 SGML(Standardized General Markup Language)의 부분집합이다. XML 은 쉽게 실행하고 사용하는것을 지향하며, 이미 새로운 다양한 표준을 위한 특수한 마크업 언어로 사용되고 있다. 여기에는 수학적인 등식을 표현하기 위한 MathML, 멀티미디어를 표현하기 위한 Synchronized Multimedia Integration Language 등이 있다.

SGML 과 XML 은 문서의 다양한 구성요소들을 그들의 기능과 의미과 함께 태그화하여 표현한다. 예를 들어 레포트는 여러가지 부분으로 나뉠수있다. : 그것은 제목(title) 과 한명이상의 작성자(author), 서문(abstract), 실제 레포트의 내용, 참고자료 목록 등으로 나눌수 있을것이다. 이러한 레포트를 작성하기 위한 마크업 언어는, 그 내용이 서문인지, 제목인지등을 가리킬수있는 태그를 가지고 있어야 한다. 이렇게 함으로서, 어떻게 문서가 실제적으로 출력될지에 대한 물리적인 세부기술에 혼동을 주지 않을것이다. 서문은 문서의 다른 부분보다 작은 폰트와 좁은 폭의 여백으로 출력되어야 할것이다. 그러나 마크업은 보통 이렇게 자세한 세부기술을 하지는 않는다.; 다른 프로그램을 사용하여 마크업 언어를 TEX 와 같은 식자언어로 변환할 수 있을것이고, 정교하게 처리할 수 있을것이다.

XML 은 HTML 과 매우 흡사한 모양을 갖는다; 문서는 하위요소를 포함하는 하나의 요소(element)로 구성된다. 그리고 그 하위요소들은 그들 자신의 내용으로 또 하위요소들을 가질 수 있다. 요소는 문장안에서 < > 안에 존재하는 태그로 표현된다. 요소에는 두가지 표현 방법이 있다. 그중 하나는 <name>Euryale</name> 와 같이 시작태그와 마침태그가 존재하는것이다. 이것은 "Euryale" 내용(content)을 갖는 name 요소를 나타낸다. 이러한 내용에는 일반적인 텍스트 데이터, XML 요소, 또는 이 두가지가 혼합되어 나타날 수 있다. 요소는 또한 아무런 내용도 가지지 않는 공백일수도 있다. 이러한 때에는 <stop/> 과 같이 슬래쉬로 끝나는 하나의 태그로 표현된다. HTML 과는 달리 XML 은 대소문자를 구분한다. 그러므로 stop 과 Stop 은 서로 다른 두개의 요소로 인식된다.

시작태그와 공백태그는, 그 요소와 함께하는 특정값을 갖는 속성(attribute)을 가질 수 있다. 예를 들어 <name lang='greek'>Herakles</name> 은 그 값이 "greek" 인 lang 속성을 갖는 name 요소를 나타낸다. 이것은 속성값이 'latin' 인 <name lang='latin'>Hercules</name> 과 비교될 수 있을것이다.

XML 언어는 DTD (Document Type Definition) 로 정의된다. DTD 는 요소가 가질 수 있는 이름과, 어떤 요소가 서로 중첩될수 있는가등을 정의해준다. DTD 는 또한 각 요소에 나타날수있는 속성과 그 기본값, 그리고 그 값이 생략할 수 있는 값인지 등에 대해 정의한다. HTML 을 예로 들면, LI 요소는 리스트의 목록을 표현할 때 사용되어지는데, 리스트를 표현하는 OL 또는 UL 요소안에서만 사용해야한다. 적합한 파서는 DTD 와 문서를 넘겨받아, 그 문서가 DTD 의 법칙에 잘 맞는지를 검증해주거나, 하나 또는 그 이상의 법칙에 위배되었다는 것을 결정해주게 된다.

XML 을 처리하기 위한 어플리케이션은 두가지 타입으로 구분되어질 수 있다. 가장 간단한 부류는 특정한 하나의 마크업 언어를 조작하기 위한 어플리케이션이다. 예를 들어, 화학관련 프로그램은 MathML 이 아닌, 화학 마크업 언어만을 처리하기를 원할것이다. 이러한 어플리케이션은 하나의 DTD 로 명세화 할수 있으며, 여러종류의 마크업 언어를 핸들링하기 위한 능력은 필요없을 것이다. 이러한 부류는 작성하기가 쉬우며, 이용가능한 파이썬 소프트웨어로 구현하기가 쉬운편이다.

두번째 부류는 좀 더 범용적이며, 어떠한 마크업 언어에 대해서도 핸들링이 가능한 것이다. 선택된 DTD 를 따르는 XML 을 작성하도록 도와주는 '스마트 XML 에디터' 같은 프로그램을 예로 들어보자. 이것은 허용되지 않는 요소를 입력하는것을 막아주어야 할것이고, 커서위치에 놓일수 있는 적절한 요소들을 제안할 수 있을것이다. 이러한 어플리케이션은 어떠한 가능한 XML 기반의 마크업도 핸들링 가능해야 하며, 그러기 위해서는, 사용되는 DTD 를 포함하는 데이터 구조를 가지고 있어야 할것이다. XXX 이러한 형태의 어플리케이션은 현재로선 파이썬으로 구현하기는 어려운 상황이다. (XXX DTD 모듈이 추가되기를 지켜봐야 할것이다...)

XML 의 문법에 대한 자세한 자료는, http://www.w3.org/TR/xml-spec.html 에서 XML 1.0 명세서를 볼 수 있을것이다. 모든 명세서와 마찬가지로, 이것은 매우 형식적이며, XML 을 시작하거나 배우기 위해 보기에는 적합하지가 않다. 표준에 주석이 붙은 버전인 http://www.xml.com/xml/pub/axml/axmlintro.html 이 더 이해하기 쉬울것이다. 또한 여기에는 XML 을 시작하려는 사람에게 적합한 튜토리얼등의 다양한 문서들도 있다.

이 HOWTO 의 나머지 부분에서는, 이미 적절한 전문용어에 익숙하다고 생각할것이며, 대부분의 섹션에서 요소(element) 와 속성(attribute) 등의 XML 용어들을 사용할 것이다. 문서 객체 모델을 다루는 섹션 4에서는, 당신이 관련 문서들을 읽어봤으며, 노드(Node) 등과 같은 것에 친숙하다고 가정할것이다. 그러나 섹션 3을 위해 특별히 Java SAX 도구에 대한 경험을 요구하지는 않는다.

2. XML Toolkit 의 설치

Windows 사용자는 http://sourceforge.net/projects/pyxml 에서 패키지를, Mac 사용자는 XXX 에서 패키지를 찾을수있다. Linux 사용자는 데비안를 사용한다면 XXX 에서, RPM 을 사용한다면 http://sourceforge.net/projects/pyxml 에서 다운받을 수 있을것이다. Unix 플랫폼상에서 소스를 컴파일 하기 위해서는 다음의 설치순서를 따라하면 될것이다.

1. 만일 Python 1.5 버전을 사용한다면, 먼저 distutils 을 설치해야한다. 이것은 http://www.python.org/sigs/distutils-sig에서 찾을 수 있다. Python 1.6 이후의 버전에서는 distutils 이 포함되어 있으므로, 이 단계는 건너뛰어도 된다.

2. http://sourceforge.net/projects/pyxml에서 소스를 다운받아 다음과 같이 압축을 푼다.

   gzip -dc xml-package.tgz | tar -xvf -

3. 다음을 실행한다.:

   python setup.py install

   이 명령을 실행하기 위해서는, 적절한 C 컴파일러가 필요하며, Unix 시스템에서 슈퍼유저의 권한으로 이를 실행하여야 할것이다. setup.py 는 몇가지 서로다른 명령과 옵션을 제공하는데, 이에 대해서는 아무런 옵션없이 setup.py 를 실행하면 도움말이 나올것이다.

만일 설치에 어려움이 있다면, <xml-sig@python.org>로 문제를 적어 보내주기 바란다. 또는 http://sourceforget.net/projects/pyxml로 버그리포팅을 해주어도 된다.

배포되는 소스의 demo/ 디렉토리에 많은 데모 프로그램들이 있다. 이 프로그램들을 통해, XML 툴로 가능한 일이 무엇인지 살펴보거나, 예제 소스들을 얻을 수 있을것이다.

3. SAX: The Simple API for XML

SAX 는 xml-dev 메일링 리스트를 통한 많은 사람들의 조언을 통해, David Megginson 이 개발하였다. SAX 는 XML 의 파싱에 대해 이벤트-구동(event-driven) 인터페이스를 갖는다. SAX 를 사용하기 위해서, 적절한 인터페이스가 선언된 파이썬 클래스 인스턴스를 하나 생성하고, 이 오브젝트의 적절한 메쏘드를 호출함으로서 파싱을 하게 된다.

이전 버전의 문서에서는 SAX1 을 설명하였지만, 이번 하우투에서는 SAX 버전 2 (SAX2) 를 가지고 설명을 한다.

SAX 는 처음부터 끝까지 구성된 XML 문서를 읽어들여, 다른 문서로 변환하기위해 연산하거나, 그 문서의 정보들을 정리하는 (예를들어 특정 요소의 평균값등을 계산하는 작업) 등에 적합하다. 그러나, 간단한 요소의 내용이나 속성을 다른값으로 바꾸는 등의 간단한 목적에 사용될수는 있어도, 중첩된 어떠한 요소들을 교환한다던지 하는 복잡한 연산등의 문서구조 변환에는 적합하지 않다. 예를 들어, SAX 를 사용하여 속성값이 'greek'인 어떤 요소의 내용을 Greek 문자로 변환하는 등의 작업에는 적합하지만, 전체 책의 챕터를 재배치한다는 등의 작업은 적합하지 않다.

SAX 의 장점은 속도와 단순함에 있다. 만화책들을 나열하기 위한 DTD 가 정의되어 있다고 가정하고, 당신이 당신이 소장하고 있는 만화책중에서 저자(writer)가 Neil Gaiman 인 모든것을 찾으려 한다고 하자. 이러한 특정한 일에 대해서, 검색에 관련이 없는 미술가(artist)나 편집자(editor), 채색가(colourist) 등의 요소에 대한 설명을 확장할 필요는 없다. 그러므로 이럴때에는 요소중 저자(writer)를 제외한 나머지 요소는 무시하도록 클래스 인스턴스를 작성하면 된다.

또다른 이점은, 특정시점에 있어 모든 문서의 내용을 메모리에 올리지 않아도 된다는 것이다. 이것은 매우 큰 문서를 처리할때 매우 유용할것이다.

SAX 는 4개의 기본적인 인터페이스를 가지고 있다. SAX 를 따르는 파서는 데이터를 처리하기 위해 다양한 메쏘드를 호출하며, 이러한 인터페이스를 지원하는 어떠한 오브젝트도 넘겨받을 수 있다. 그러므로, 당신의 작업에 당신의 어플리케이션과 관련된 인터페이스를 이용하면 될것이다.

SAX 인터페이스는 다음과 같다.:

파이썬은 인터페이스에 대한 내용을 지원하지 않으므로 위의 인터페이스는 파이썬 클래스로 재정의 되어야 한다. 기본적으로 메쏘드는 아무런 일도 하지 않는다.(메쏘드의 내용은 파이썬의 pass 명령으로 되어있다.) 그러므로 어플리케이션에서 사용하지 않는 메쏘드에 대해서는 단순히 무시해 버리면 된다.

여기 SAX 를 사용하는 슈도코드의 예가 있다 :

   
   # 핸들러 클래스의 정의
   from xml.sax import Contenthandler, ...
   class docHandler(ContentHandler):
       ...

   # 핸들러 클래스의 인스턴스 생성
   dh = docHandler()

   # XML parser 생성
   parser = ...

   # 파서에 핸들러 인스턴스를 지정
   parser.setContentHandler(dh)

   # 파일 파싱; 핸들러 메소드가 호출될것이다.
   parser.parse(sys.stdin)

   
   <collection>
     <comic title="Sandman" number='62'>
       <writer>Neil Gaiman</writer>
       <penciller pages='1-9,18-24'>Glyn Dillon</penciller>
       <penciller pages="10-17">Charles Vess</penciller>
     </comic>
   </collection>

   
   from xml.sax import saxutils

   class FindIssue(saxutils.DefaultHandler):
       def __init__(self, title, number):
           self.search_title, self.search_number = title, number

   
    def startElement(self, name, attrs):
        # comic 요소가 아니면 무시하라.
        if name != 'comic': return

        # title 과 number 속성에 대해 검색을 한다.
        title = attrs.get('title', None)
        number = attrs.get('number', None)
        if title == self.search_title and number == self.search_number:
            print title, '#'+str(number), 'found'

   
   Starting element: collection
   Starting element: comic
   Starting element: writer
   Starting element: penciller
   Starting element: penciller

   
   from xml.sax import make_parser
   from xml.sax.handler import feature_namespaces

   if __name__ == '__main__':
       # 파서의 생성
       parser = make_parser()
       # 파서에게 XML 이름영역은 무시하도록 전한다.
       parser.setFeature(feature_namespaces, 0)

       # handler 의 생성
       dh = FindIssue('Sandman', '62')

       # 파서에 우리가 만든 핸들러를 사용하도록 전한다.
       parser.setContentHandler(dh)

       # 입력을 파싱한다.
       parser.parse(file)

   
   <collection>
     &foo;
     <comic title="Sandman" number='62'>
   </collection>

   
   xml.sax._exceptions.SAXParseException: undefined entity at None:2:2

   
    def error(self, exception):
        import sys
        sys.stderr.write("\%s\n" \% exception)

   
   from xml.sax import ContentHandler

   def normalize_whitespace(text):
       "문자열에서 중복적으로 나타나는 공백문자(whitespace)를 제거한다."
       return ' '.join(text.split())

   class FindWriter(ContentHandler):
       def __init__(self, search_name):
           # 찾고자 하는 이름을 저장한다.
           self.search_name = normalize_whitespace(search_name)

           # 플래그를 거짓(false)으로 초기화한다.
           self.inWriterContent = 0

       def startElement(self, name, attrs):
           # comic 요소이면, title 과 issue 를 저장한다.
           if name == 'comic':
               title = normalize_whitespace(attrs.get('title', ""))
               number = normalize_whitespace(attrs.get('number', ""))
               self.this_title = title
               self.this_number = number

           # writer 요소의 시작이면, 플래그를 설정한다.
           elif name == 'writer':
               self.inWriterContent = 1
               self.writerName = ""

   
    def characters(self, ch):
        if self.inWriterContent:
            self.writerName = self.writerName + ch

   
    def endElement(self, name):
        if name == 'writer':
            self.inWriterContent = 0
            self.writerName = normalize_whitespace(self.writerName)
            if self.search_name == self.writerName:
                print 'Found:', self.this_title, self.this_number

4. DOM: The Document Object Model

문서 객체 모델(DOM)은 XML 문서를 트리구조 표현으로 명시한다. 최상위 문서 인스턴스는 트리의 루트이며, 하나의 최상위 요소 인스턴스(Element instance)를 갖는다.; 이 요소는 내용을 표현하는 자식노드나, 추가적인 자식을 갖을 수 있는 하위요소를 갖는다. 함수들은 결과트리를 탐색하거나, 요소와 속성값으로의 접근, 노드의 추가와 삭제, 트리를 다시 XML 로 변환하는 등의 작업등을 제공한다.

DOM 은, DOM 트리를 만들어 새로운 노드를 추가하거나 하위트리를 옮긴후, 새로운 XML 문서로 결과를 출력할수있게 함으로서, XML 문서의 수정을 쉽게 해준다. 또한 자신만의 DOM 트리를 만들고, 이를 XML 로 변환하는것도 가능하다; 이 방법은 단순히 파일에 <tag1>...</tag1> 를 쓰는 방법보다, XML 을 생성하는데 더욱 유연한 방법이다.

DOM 은 한시점에서 모든 트리를 메모리에 상주시키는것을 요구하지 않는 반면에, 파이썬 DOM 도구는 RAM 에 모든 트리를 가지고 있어야 한다. 트리의 대부분을 디스크나 데이터베이스에 집어넣고, 필요한 섹션만을 읽어들이는 방법이 가능하겠지만, 현재로서는 지원되지 않는다. 이는 용량이 큰 문서를 DOM 트리로 처리할때, 메모리가 부족할 수도 있음을 나타낸다. 반대로, SAX 핸들러는 가용한 RAM 보다 큰 데이터를 처리하는것이 가능하다.

   
   import sys
   from xml.dom.ext.reader.Sax import FromXmlStream
   from xml.dom.ext import PrettyPrint

   # parse the document
   doc = FromXmlStream(sys.stdin)

   
   <?xml version="1.0" encoding="iso-8859-1"?>
   <xbel>
     <?processing instruction?>
     <desc>No description</desc>
     <folder>
       <title>XML bookmarks</title>
       <bookmark href="http://www.python.org/sigs/xml-sig/" >
         <title>SIG for XML Processing in Python</title>
       </bookmark>
     </folder>
   </xbel>

   
   Element xbel None
      Text #text '  \012  '
      ProcessingInstruction processing 'instruction'
      Text #text '\012  '
      Element desc None
         Text #text 'No description'
      Text #text '\012  '
      Element folder None
         Text #text '\012    '
         Element title None
            Text #text 'XML bookmarks'
         Text #text '\012    '
         Element bookmark None
            Text #text '\012      '
            Element title None
               Text #text 'SIG for XML Processing in Python'
            Text #text '\012    '
         Text #text '\012  '
      Text #text '\012'

5. 용어해설

XML 은 많은 용어들을 가지고 있다. 이번장에서는 그중에서 중요한 용어와 그에 관련된 내용을 설명하도록 한다.

여기에 나온 정의들은 Lars Marius Garshol 의 SGML 용어해설 (http://www.stud.ifi.uio.no/&#126;larsga/download/diverse/sgmlglos.html) 에서 참고하였다.

• DOM (Document Object Model)

  문서 오브젝트 모델은 플랫폼 과 언어에 중립적인 인터페이스로서, 프로그램과 스크립트가 동적으로 문서의 내용과 구조, 스타일에 접근하고 갱신할수 있도록 해준다. 문서는 횡단하고 수정할수있는 트리구조로 재표현될 수 있다.

• DTD (Document Type Definition)

  문서 형을 정의하는 DTD 는 XML 문서형과, 완전한 요소의 타입, 엔티티 그리고 XML 선언을 정의한다. 다르게 표현한다면, DTD 는 XML 문서같은 특정한 종류의 문서를 완벽하게 묘사한다.

• SAX (Simple API for XML)

  SAX 는 xml-dev 메일링리스트의 많은 기고자에 의해 개발된 XML 파서를 위한 간단한 표준 API 이다. 인터페이스는 객체지향 언어인 경우에 한해, 언어-독립적이다. 최초에는 Java 로 구현되었지만, 현재로서는 Python 의 사용도 가능하다. SAX 는 많은 XML 파서가 지원한다.

• XML (eXtensible Markup Language)

  XML 은 개발중인 linking 과 stylesheets 에 대한 자신만의 표준을 갖으며, web 에서 사용가능한 SGML 어플리케이션의 특정 측면이다.

• XSL (eXtensible Style Language)

  XSL 은 XML 의 스타일시트 언어로서의 제안이다. 이것은 XML 문서를 매력적인 방법으로 브라우징 할수있게 하며, XML 문서를 HTML 로 변환하는 방법을 제공한다.