DemuxMPEG ¶

1. 순차주사 (Progressive scanning) : 주사선을 왼쪽에서 오른쪽으로 위에서 아래로 순차적으로 발생시키는 방식
2. 격행주사 (Interlaced scanning) : 왼쪽에서 오른쪽으로 위에서 아래로 순차적으로 발생하지만 위에서 아래로의 주사선은 2배의 간격으로 1/2만큼의 주사선을 격자로 각각 발생시키는 방식

1. I (Intra picture) : 하나의 완전한 화면을 구성할수 있는 화면으로 바로 밑에 오는 P와 B화면을 구성하는데 참조적인 역할을 수행하는 기준입니다.
2. P (Predictive picture) : 가장 최근의 I 또는 P 화면으로부터 움직임의 차이부분만을 압축한 화면입니다. 당연히 P화면만으로는 전체화면을 갱신할수 없으며 적어도 I 화면이 한개 이상 있어야 한다는 예상을 할수 있으며 움직임이 있는 영역만을 압축하므로 I 화면보다 작다는 것도 예상할수 있습니다. 여기서 중요한 점은 P 화면은 시간선상에서 과거의 화면으로부터 차이점만을 압축하는 순방향 예측만을 적용합니다.
3. B (Bidirectionally predictive picture) : P와 비슷하게 인접한 I또는 P 또는 B로부터의 차이를 압축한 화면입니다. P와 다른점은 시간선상에서 과거 및 미래 두가지 모두 예측하는 것이 차이점이라 할수 있습니다.

• 주어진 시간적 데이터 : 값의 범위가 아래의 경우 1 부터 10까지 10단계였다고 하면

  시간의 흐름 ->
  1	2	4	7	7	10	9	7	4	3	1

• DPCM으로 변환된 데이터 : 이렇게 변환된후에 -3 부터 3까지 7단계로 줄었네요.

  시간의 흐름 ->
  1	1	2	3	0	3	-1	-2	-3	-1	-2

• MPEG계열에서는 기본적으로 초당 90kHz의 샘플링을 갖는 클럭으로 표현하며 총 33비트로 표현합니다. 하지만 90kHz보다 좀더 세밀한 시간기준을 두기 위해서 27MHz의 샘플링을 갖는 클럭을 더불어 사용하기도 합니다.
• ASF/WMV 계열에서는 1kHz의 샘플링을 갖는 클럭으로 표현하며 decoder의 기준시간을 별도로 제공받지 않고 PTS에서 Preroll time을 뺀 (단, 0이하일때 0으로 초기에 간주하는) 개념을 사용합니다. MS에서 어떤 미래를 위해서 그랬는지는 모르나 어떤곳은 32bit이고 어떤곳은 64bit로 예약을 해둔곳이 있습니다. 참으로 아리송한 부분입니다. 개인적인 여담이지만 preroll 시간만큼을 지연되어야 하는줄로 알고 있었으나 그것을 STC의 조작으로 가능하다는 것을 알게 되었는데 참 오묘합니다. 만들때는 명확한 논리가 머리속에 있었으나 만들어놓고 저도 이해가 안가므로 통과...

• 시간의 절대적 기준시간을 말합니다. 밑에 설명하는 PCR, SCR, PTS 등은 이 STC를 기준으로 발생하고 움직이게 됩니다. Decoder 입장에서는 첫 PCR을 내부 클럭으로 가져오는 시점부터 내부 클럭을 STC로 간주할수 있습니다. Encoder 입장에서는 Encoder clock 자체가 STC가 되겠죠. 이것은 Mux과정에서 PCR로 실려 출력이 되는 것입니다.

• 하나의 채널에 대한 기준이 되는 시간을 말합니다. 보통 Transport stream 에서 사용되는 시간기준을 말합니다. Transport에 여러개의 program이 실리는 경우에 별도의 PCR을 갖을수도 있지만 보통은 하나로 유지합니다. (TS에서는 PMT에서 PCR pid를 명시하게 되며 해당 pid로부터 PCR/EPCR을 참조받을수 있습니다.)

• 시스템의 기준이 되는 시간을 말합니다. 보통 Program stream 에서 사용되는 시간기준을 말합니다. 하지만 결국 decoding할때는 PCR와 SCR은 같은 역할의 기준시간이 된다고 예기할수 있습니다. (PS에서는 Pack header에서 이를 찾을수 있습니다.)

• Decoder가 Decoding을 수행하는 시점의 시간을 말합니다.

• 화면에 표출되어야 하는 시간을 말합니다. Decoder에 공급할때 일정량의 버퍼상태에 놓이게 되고 Decoding시에 소모되는 시간도 있으므로 DTS와 PTS는 약간의 시간차를 갖고 있을겁니다.

• 때때로 위의 시간정보를 모두 취하는것이 오히려 불필요할때가 있을겁니다. 이때는 PTS만으로 PCR/SCR/STC, DTS 를 모두 적당한 간격으로 계산하여 사용하게 됩니다. 굳이 시간의 정확도보다는 어쨌건 재생되도록 할때 취하는 방법입니다. 하지만 이것은 100% 완벽하지는 않습니다. 특히 Live stream 처럼 일정 속도로 공급되는 경우 요게 또 많이~ 오묘합니다. 음... 오묘한것 뿐이군...
  
  

1. 우선 "moov", "cmov"가 있는지 판별합니다.
2. "mdat" 가 있는지 판별합니다.
3. "moov" 또는 "cmov"중 한개가 먼저 검출되었고 "mdat"이 검출된다면 이것은 MPEG4 file 형식일 확률이 높습니다.
4. 중요한것은 "mdat"이 검출되지 않는다면 이것은 meta 영역이 깨진것으로 판별할 필요가 있습니다.

1. TODO: 전반적으로 RTSP/RTP/ISMA에 대한 설명이 먼저 되어야 할것 같으므로 뒤에서 설명하는것을 고려

• 첫 2 byte는 00H로 시작하며 그 다음부터 비슷한 패턴의 일치를 막기 위해서 03H를 삽입할수 있으며 이때 이것은 그냥 무시하도록 처리하고 01H가 마지막으로 오고 다음 byte에 해당 NAL unit의 종류를 판가름할수 있는 값이 오게됨.
• TODO: NAL unit type의 RFC에 명시된 부분에 대한 추가적인 언급이 필요

• TODO: TS 와 I/B/P slice 그리고 이에 따른 indexer 구현으로 trick mode 를 구현하는 기술까지를 공개할까? 말까?

1. 4-2-2-8 구조 - (즉, GUID 는 16바이트)
2. 크게 Header/Data/Index로 상위구조를 갖게 됨.
3. HeaderObject는 필수 Object와 선택적 이용가능한 Object로 구분
4. Header Object없이는 Data Object를 파악하기 힘듬.
5. RTSP, ISMA, MMS등에서 Header Object 를 전달하는 방식을 모두 가지고 있음.
6. ...

1. CompressionID, CodecID, ImageWidth/Height를 얻어 형식을 판단할수 있음.
2. HD급 화질 굉장히 양호 - 디코딩에 비교적 많은 메모리 필요
3. UNICODE LE16 기준으로 정의됨
4. NSC에 Format1 에 기술되는것은 HeaderObject 전체와 DataObject header를 포함한 인코딩된 내용입니다.

1. WMV1 : 0x31564d57 (윈도 미디어 비디오 v7)
2. WMV2 : 0x32564d57 (윈도 미디어 비디오 v8)
3. WMV3 : 0x33564d57 (윈도 미디어 비디오 v9)
4. WMV4 : 0x34564d57 (미정의??? 확실치 않음)
5. MP43 : 0x3334504d (MPEG4 영상 코덱 v3 - 비표준 MPEG4 코덱으로 알고 있음. 이것을 Reverse Engineerin 혹은 Hacking 하여 Divx 3.XX를 만들었음 )
6. MP4S : 0x5334504d (ISO MPEG-4 영상 코덱 v1)
7. WMVA : 0x41564D57 (윈도 미디어 비디오 v9 고급 프로파일 - WVC1과 차이가 뭔지 확실치 않음)
8. WVC1 : 0x31435657 (윈도 미디어 비디오 v9 고급 프로파일)

1. WMA audio version 1 : 0x0160
2. WMA audio version 2 : 0x0161 or 0x7a21 or 0x7a22
3. WMA audio pro or WMALSL : 0x0162 or 0x0163

#define Frame header preview  
  32bit big endian - AAAAAAAA AAABBCCD EEEEFFGH IIJJKLMM 

#define Frame header bit index
  A[31..21] : Frame sync
  B[20..19] : MPEG audio version indentification
  C[18..17] : Layer description
  D[16]     : Protection bit
  E[15..12] : Bitrate index
  F[11..10] : Sampling rate frequency index
  G[9]      : Padding bit
  H[8]      : Private bit
  I[7..6]   : Channel mode
  J[5..4]   : Mode extension
  K[3]      : Copyright 
  L[2]      : Original
  M[1..0]   : Emphasis

#define Frame header description
    A: 11bit - Frame sync (All bit '1')
               '11111111 111'
    B:  2bit - MPEG audio version identification
               '00': MPEG version 2.5
	       '01': Reserved
	       '10': MPEG version 2.0 (ISO/IEC 13818-3)
	       '11': MPEG version 1.0 (ISO/IEC 11172-3)
    C:  2bit - Layer description
               '00': Reserved
	       '01': Layer III
	       '10': Layer II
	       '11': Layer I
    D:  1bit - Protection bit
               '0': Protected by CRC (16bit crc follow header)
	       '1': Not protected
    E:  4bit - Bitrate index
               아래참조
    F:  2bit - Sampling rate frequency index
               MPEG version 1.0
                 '00': 44100
		 '01': 48000
		 '10': 32000
		 '11': Reserved
               MPEG version 2.0
                 '00': 22050
		 '01': 24000
		 '10': 16000
		 '11': Reserved
               MPEG version 2.5
                 '00': 11025
		 '01': 12000
		 '10': 8000
		 '11': Reserved
    G:  1bit - Padding bit
               '0': Frame is not padded
	       '1': Frame is padded with one extra slot 
	       Layer I frame size
	         ((12000 * Bitrate / Samplerate) + Padding) * 4
	       Layer II/III frame size
	         (144000 * Bitrate / Samplerate) + Padding
    H:  1bit - Private bit
    I:  2bit - Channel mode
               '00': Stereo
	       '01': Joint stereo (Stereo)
	       '10': Dual channel (Stereo)
	       '11': Single channel (Mono)
    J:  2bit - Mode extension (Only if joint stereo)
               Layer I/II
                 '00': Bands 4 to 31
		 '01': Bands 8 to 31
		 '10': Bands 12 to 31
		 '11': Bands 16 to 31
               Layer III
	         '00': Intensity stereo off, MS stereo off
	         '01': Intensity stereo on , MS stereo off
	         '10': Intensity stereo off, MS stereo on
	         '11': Intensity stereo on , MS stereo on
    K:  1bit - Copyright
               '0': Audio is not copyrighted
	       '1': Audio is copyrighted
    L:  1bit - Original
               '0': Copy of original media
	       '1': Original media
    M:  2bit - Emphasis
               '00': None
	       '01': 50/15ms
	       '10': Reserved
	       '11': CCIT J.17

#define hint

A: MPEG version 1.0, Layer I 
B: V1,Layer II 
C: V1,Layer III 
D: V2,Layer I 
E: V2, L2 & L3 
-: Free format
x: Not use (Invalid bitrate !)

#define table

     [A] [B] [C] [D] [E]
0000   -   -   -   -   - 
0001  32  32  32  32   8 
0010  64  48  40  48  16 
0011  96  56  48  56  24 
0100 128  64  56  64  32 
0101 160  80  64  80  40 
0110 192  96  80  96  48 
0111 224 112  96 112  56 
1000 256 128 112 128  64 
1001 288 160 128 144  80 
1010 320 192 160 160  96 
1011 352 224 192 176 112 
1100 384 256 224 192 128 
1101 416 320 256 224 144 
1110 448 384 320 256 160 
1111   x   x   x   x   x

1. Sampling rate (SR)
2. Bits per sample (BPS)
3. Channels (CH)
4. Compression level (CL)
5. MP3 header size (HS)

   초당 보내야 하는 bit

   ((SR * BPS * CH) / CL) + (HS * 8)

1. PES (Program element stream) packet parser
2. PS (Program stream) 로부터 PES 를 분리해내는 parser
3. TS (Transport stream) parser (PAT, PMT, ... 등의 section 분리 및 관리의 용이성이 충분히 고려되어야 함)
4. MPEG4를 고려하기 위해서 Track/Hint 에 대한 고찰 및 전체 design 고려 부분

• Picture start code : 100H
• Slice min start : 101H
• Slice max start : 1afH
• User start code : 1b2H
• Sequence start code : 1b3H
• Extension start code : 1b5H
• Sequence end code : 1b7H
• Group of picture start code : 1b8H
• ISO end code : 1b9H
• Pack start code : 1baH
• System start code : 1bbH
• Program stream map : 1bcH
• Private stream 1 : 1bdH
• Padding stream : 1beH
• Private stream 2 : 1bfH
• Video code : 1e0H ~ 1efH
• Audio code: 1c0H ~ 1dhH

• 8 bit : Sync byte (47H)
• 1 bit : Transport error indicator
• 1 bit : Payload unit start indicator
• 1 bit : Transport priority
• 13 bit : PID
• 2 bit : Transport scrambling control
• 2 bit : Adaptation field control
• 4 bit : Continuity counter
• (184 - x) or (200 - x) byte : Adaptation field

1. Sequence header를 찾습니다. 즉, Header = (Header << 8) | getbyte(stream buffer) 와 같이 순차적으로 바이트를 4바이트에 쉬프트하면서 넣어 4바이트 헤더로 만들고 이것이 진짜 헤더인지 검출하기 위해서 (Header & ffffff00H) == 100H 인지 다시 검사합니다.
2. 만약 Padding stream 또는 Private stream 2 인경우는 일단 WORD를 읽어냅니다. 그리고 WORD값만큼 stream을 skip 합니다.
3. Header값이 Pack start code 일때까지 Sequence header 를 다시 찾습니다. (이것은 화면의 일그러짐현상을 줄이고자 하는 단계입니다.)
4. 이제 올수 있는 헤더는 System start code, Private stream 1, Video / Audio code만이 올수 있습니다. 나머지의 경우는 다음 Sequence header 를 찾습니다.
5. 이제 Header는 1bcH ~ 1efH (Stream ID)의 범위값을 가져야 합니다. 만약 범위에 없는 값이라면 다시 다음 Sequence header를 찾아야 합니다.
6. 이제 이 시점에서 비로소 어떤 패킷인지 몰라도 codec에 밀어넣어줄 데이터입니다. (일부는 아니지만 그래도 대부분은...)
7. 이제 WORD를 읽어서 어디다가 임의 변수에 저장해둡니다. 이 값은 현재 이 패킷의 길이를 나타냅니다. (여기서는 PacketSize 라는 변수에 저장한다고 합시다.)
8. 이제 Stuffing byte가 존재하는데 한개의 BYTE씩을 읽어서 그 값이 ffH 인동안 버퍼를 소진시킵니다. (당연히 PacketSize 변수값 이상을 읽어야 되는 상황까지 간다면 그냥 다음 Sequence header를 읽어야 합니다.)
9. 이제 ffH가 아닌 값이 읽어져 있는 상태일겁니다. 이 값에서 bit 연산으로 몇가지 정보를 추출해야 합니다. 생각보다 많은 처리를 요하는 부분이며 여기서 설명하기에는 분량이 많을것 같아서 미래를 기약하며 생략하겠습니다. (PTS, DTS, STD scale, STD size 등...)
   1. STD scale & STD size : (BYTE & c0H) == 40H 인경우
   2. PTS : (BYTE & f0H) == 20H 인경우
   3. PTS & DTS : (BYTE & f0) == 30H 인경우
   4. PES : (BYTE & c0H) == 80H 인경우
   5. 나머지 즉, BYTE 값이 0x0f 가 아닌 경우는 잘못된 형식으로 처리해야 하며 다음 Sequence header 를 찾습니다.
10. 아직 PacketSize 가 0이 되면 안되고 또한 (224 * 1024)보다 커서도 안됩니다. 만약 이 조건을 만족하지 못하면 다음 Sequence header 를 찾아야 합니다. (이런경우 에러메세지 꼭 찍어둡시다. 나중에 증빙자료로 요긴합니다.)
11. 이제 Header 가 Video code 라면 PacketSize만큼을 video decoder 에 push 하면 됩니다. 마찬가지로 Audio code 도 audio decoder 에 push 하면 됩니다.
12. Stream buffer 가 소진될때까지 Sequence header 절차를 다시 진행합니다.

• Sync byte : TS의 기준 정렬의 열쇠가 되는 1바이트값으로 47H 로 주기적인 바이트 간격마다 나타납니다. 주로 188바이트의 배수위치에 나타나는 것이 보통이며 FEC라고 하여 204바이트마다 나타나기도 합니다.
• Transport error indicator : 이것은 진짜 Error가 났다고 알리는 것은 아니며 중간에 패킷을 잃어버렸을때 이 비트를 보고서 함께 무시하여도 되는지를 알수 있도록 힌트 비트입니다.
• Payload unit start indicator : 하나의 패킷의 시작을 알려주는 비트로 이 값이 1인경우인 패킷에 TS unit header 가 존재하며 이를 통하여 payload 크기를 얻어 패킷을 조합할수 있습니다.
• Transport priority : TS 전송경로에 같은 성격의 전송매체가 있다면 그중에서 우선순위를 결정합니다. (별로 사용할일은 없어보입니다.)
• PID : Packet ID 또는 Program ID 라고 하여 하나의 전송채널을 뜻하기도 합니다. 즉, 고유 채널 식별자라고 하면 적당할듯 합니다. PID는 0인경우 PAT라는 것이 존재하며 2부터 15까지와 8191은 해당패킷을 해석하지 않습니다. 또한 16인경우 PMT가 존재하기도 하며 그 밖에 일부 PID는 상황에 따라서 특정한 전송체로 예약됩니다.
• Transport scrambling control : 해당 TS가 Scrambling 되었는지 여부를 나타내는 필드입니다. 이는 원치 않는 data의 유입을 회피하기 위한 수단중에 하나로서 data의 순서를 바꾸는 행위를 동반합니다. 이때 필요한것이 PID 1번인 CAT 정보를 참조해야 합니다. (0x00 : Not Scrambled / 0x01 Reserved for future use/ 0x10 Scrambled with Even Key / 0x11 Scrambled with Odd Key)
• Adaptation field control : 이것은 실제 payload 의 위치가 어디에 놓였는지 예견해줍니다. 또한 이것은 2개의 비트로 구성되며 00B 또는 10B 인경우 해당 패킷에 payload 가 존재하지 않는것을 의미합니다. 그리고 11B 인경우 188 packet의 offset 5 위치에 얼마나 뒤에 payload가 존재하는지를 의미하는 상대 오프셋값이 존재합니다.
• Continuity counter : 이것은 packet의 순차적인 전송에서 각 packet마다 1씩 증가하면서 4비트 회전 증가값입니다. 즉, 0 부터 15까지 증가했다면 다음에는 다시 0부터 시작합니다. 이 값이 반드시 1씩 증가해야만 정상적인 packet으로 볼수 있으며 만약 증가하지 않고 같은 값이 반복된다면 이것은 bitrate control 또는 보정을 위한 재전송에 이용되었을 가능성이 높은 packet입니다. 즉, 1씩 증가하지 않으면 그 패킷은 해석하지 않고 건너뛰면 된다는 예기를 복잡하게 했습니다. 각 PID별로 별도의 continuity counter 가 증가된다는 것을 염두하셔야 합니다.

1. 디코더가 TS 스트림내에 있는 프로그램을 디코딩 할 수 있도록 사용자가 정해주는 프로그램 정보들을 지칭한다.
2. 만약 다중 채널 전송이라면 프로그램의 달라진 정보를 디코더가 가능한 빠른 시간 내에 정보를 받을 수 있어야 하는데 이를 위해서는 PSI정보를 일정한 시간간격으로 전송해야 한다.
3. MPEG에서는 최대한 0.7초 이내에 PSI정보를 전송해야 한다고 규정하고 있다.
4. PSI는 총 4개의 테이블로 이루어 진다. PAT, PMT, NIT, CAT이다.
   1. PAT : 일단 설명 보류. (다중채널 전송이 아니라면 이 packet은 건어뛴다는 정도만 일단 예기하겠습니다.)
      1. H.264 에서는 이것을 그냥 간과할수 없을것입니다.
      2. PID 0번을 지칭합니다.
      3. 규약에서는 이것이 0.7초 이내에 한번씩은 반드시 명시되어야 되는것으로 되어 있습니다.
      4. PAT는 PMT_PID와 프로그램 번호(Program channel or Program Number)로 이루어져 있다. 한개의 프로그램을 전송한다면 PMT_PID는 동일 하겠지만 여기서 말하는 다중채널 전송이라면 여러개의 PMT_PID를 가질수 있다.
   2. PMT : 일단 설명 보류. (다중채널 전송이 아니라면 이 packet은 건어뛴다는 정도만 일단 예기하겠습니다.)
      1. H.264 에서는 이것을 그냥 간과할수 없을것입니다.
      2. PAT에서 PMT를 나타내는 PID정보와 Program channel 을 참조할수 있게 됩니다.
   3. NIT : NIT(Nwtwork Information Table)
      1. 전송에 관련된 파라메터를 나타내주는 값으로 주파수나 트랜스포트번호 등에 관련된 데이타를 예로 들수 있다. 이와 같은 데이터를 전송하는 패킷의 PID도 PAT에 포함되어 있다.
      2. PAT에서 프로그램 번호가 0인 PMT_PID는 NIT_PID를 나타낸다. 다시 말한다면 PAT에서 프로그램 번호가 0인 PMT_PID가 있다면 이 PID를 갖는 TS packet는 NIT의 정보를 가지고 있다.
   4. CAT : 조건부 수신이 필요한 경우 스크램블링 혹은 Private stream에 관한 것이다.

1. Packet을 해석하기전에 8192개의 PID별 저장소를 만들어 두어야 합니다.
2. 우선 Stream buffer 로부터 BYTE단위로 읽어서 첫 Sync byte(47H)가 나타날때까지 소진시킵니다.
3. 이제 188바이트만큼이 하나의 packet 입니다. 그리고 여기서 첫 Sync byte를 포함하여 4바이트를 Header값으로 취합니다.
4. 이제 PID의 정상적인 범위인 0, 1, 16...8190 만 남기고 나머지의 경우는 전부 해석하지 않고 버립니다.
5. 이제 PID별 저장소에 마지막 continuity counter 값이 유지되어야 하며 그 밖에 깨진 패킷수 계산등도 저장소에 의해서 유지합니다.
6. 간단히 PID x 에 대한 고유 저장소를 TSS(Transport store stack)라고 명칭합시다. 이제 이것은 변수 포인터로 간단히 현재 PID의 해석통로로 구현될수 있습니다.
7. 이제 TSS의 이전 Continuity counter 와 현재의 counter 를 비교하여 이전보다 현재것이 1크다면 정상적인 packet으로 다음 절차를 밟지만 아닌경우는 다시한번 Transport error 비트를 확인하여 1이면 현재 패킷은 해석하지 않고 버립니다.
8. Adaptation field control 값이 00B 또는 02B인경우 역시 packet 해석을 하지 않고 버립니다.
9. 만약 Adaptation field control 값이 11B인경우는 Header뒤에 1바이트가 건너뛸 padding 바이트 크기를 나타냅니다. 그래서 01B인경우는 그냥 이 절차를 통과하지만 11B인경우는 padding 바이트만큼 건너뛰어서 다음 절차해석에 들어갑니다.
10. 이제 2가지로 나뉘는데 Payload unit start 비트에 의해서 나뉘어 집니다. 1인경우 payload의 고유 header가 존재하며 이를 해석해야 하며 MPEG이 전송매체라면 MPEG PES header 해석절차를 밟아야 하겠습니다. 그리고 0인경우는 payload 크기만큼 을 그대로 복사하면 됩니다.
11. 이러한 절차가 전송채메가 어떤것인가에 따라서 추가적인 해석을 필요로 할수도 있고 아닐수도 있겠으며 그것은 적절히 해석하실수 있을겁니다.

1. MMST 에서 오프셋 4의 2바이트의 용도가 비밀에 가려져 있음. MediaPlayer 만이 이값에 따라서 재생 못하는 현상을 보임.
2. PreRoll time 에 의한 초기 진입 시간 제약 존재 : 대책이 없음.

• 일정한 정규속도를 갖는 상태인 스트리밍 공급상태에서는 공급되는 PCR과 Decoder의 STC간에는 일정한 간격이상의 시간차가 발생하지 않도록 유지되는데 이상적인 상황인 STD모델에서는 이것을 0msec로 규정할수 있습니다. 일반적으로 공급되는 PCR과 STC간의 시간차는 100msec를 넘지 않도록 Encoding이 되는것이 보통이며 (반드시는 아니고 권장치일뿐) Decoding시에는 이것이 400msec 를 넘지 않는 선에서는 정상적인 Sync가 됩니다만 실제 구현상에서는 Encoder/Decoder간에 조율이 필요할 경우가 많습니다. H/W적이던가 S/W적인 한계로 인해서 경우에 따라서는 STC delay 기법을 사용하기도 하며 반대로 PTS지연입력을 하기도 합니다. 완전 꽁수인거죠.