Ο πολυπλέκτης βίντεο δομεί τα συμπιεσμένα δεδομένα σε μία ιεραρχική συνεχόμενη ροή bits η οποία μπορεί να μεταφραστεί γενικά. Η ιεραρχία αποτελείται από 4 επίπεδα:
Videosequence (ακολουθία βίντεο). Θεωρείται η υψηλότερη δομή του κωδικοποιημένου σήματος. Μπορεί να θεωρηθεί σαν μία μονάδα τυχαίας προσπέλασης.
Group of pictures. Αυτό το επίπεδο είναι προαιρετικό στο MPEG-II. Αυτό το επίπεδο βρίσκει εφαρμογή σε μία σειρά εικόνων. Η πρώτη εικόνα στο κωδικοποιημένο σήμα θα πρέπει να είναι μία I-picture. Το επίπεδο Group of pictures βοηθάει στην τυχαία προσπέλαση. Εφαρμογές που απαιτούν τυχαία προσπέλαση, γρήγορη κίνηση μπροστά ή πίσω ή ακόμα και replay συνήθως χρησιμοποιούν μικρά γκρουπ εικόνων.
Picture (εικόνα). Αυτό το επίπεδο αναφέρεται σε μία εικόνα στην συνολική ακολουθία του βίντεο. Για εικόνες σε interlaced ακολουθίες, η interlaced εικόνα αντιπροσωπεύεται από δύο ξεχωριστές εικόνες στην κωδικοποιημένη ροή. Θα κωδικοποιηθούν με την ίδια σειρά με την οποία θα εμφανιστούν στην έξοδο του αποκωδικοποιητή.
Slice. Αυτό ανταποκρίνεται σε ένα γκρουπ από Macroblock. Ο ακριβής αριθμός macroblock σε ένα τμήμα δεν επιδέχεται τυποποίηση. Τα τμήματα (slices) δεν χρειάζεται να καλύπτουν ολόκληρη την εικόνα. Είναι απαίτηση σε περίπτωση που η εικόνα χρησιμοποιείται επακόλουθα για προβλέψεις, η πρόβλεψη να γίνεται μόνο από τα τμήματα των εικόνων τα οποία εσωκλείονται από τα τμήματα.
Macroblock. Για τα macroblock μπορούμε να αναφέρουμε τα εξής:
