Workstations und hoch-qualitative PCs sind nun schon
seit mehr als 15 Jahren fähig, digital Audiodaten zu manipulieren.
Es sind nun gerade mal fünf Jahre, dass eine vernünftige Workstation fähig ist,
rohe Videodaten ohne viel Spezial-Hardware zu handhaben.
Aber heutzutage haben selbst die billigsten Universalcomputer
ausreichend Prozessor- und Speicher-Fähigkeiten um mit rohen Videodaten
ohne größere Probleme umgehen zu können.
Da nun jeder Zugang hat zu solcher billigen und fähigen Hardware,
ist es nicht überraschend, dass mehr Menschen interessante Dinge
mit digitalen Medien unternehmen wollen - insbesondere Streaming.
YouTube war der erste große Erfolg und jeder möchte jetzt daran teilhaben.
Gut so! Denn dieses Zeug macht sehr viel Spass!
Es ist kein Problem, Benutzer für digitale Medien zu finden.
Aber ich möchte hier die Ingenieure, die Mathematiker, die Hacker,
die Menschen ansprechen, die an Entdeckungen interessiert sind,
und die Dinge erfinden, und die Technologie selbst erzeugen.
Leute nach meinem Herzen.
Digitale Medien, insbesondere Kompression, wird als super-elitär wahrgenommen,
irgendwie extrem schwieriger als alles andere in den Computerwissenschaften.
Den großen Spielern in der Industrie in diese Gebiet ist diese Wahrnehmung ganz recht;
sie hilft, die riesige Anzahl ihrer sehr grundlegenden Patente zu rechtfertigen.
Sie mögen das Image, dass ihre Medienforscher die besten der besten sind,
so sehr viel schlauer als jeder andere, dass ihre brillanten Ideen
von Normalsterblichen nicht verstanden werden können.
Das ist kompletter Blödsinn.
Digitaler Ton und Bild und Streaming und Kompression
bieten endlos tiefe und anregende intellektuelle Herausforderungen,
genau wie jedes andere Forschungsgebiet.
Es scheint elitär, denn so wenige Menschen beschäftigen sich damit.
Vielleicht haben sich so wenige Menschen dafür interessiert, da sich so wenige
die teure Spezialausrüstung leisten konnten, die benötigt war.
Aber heutzutage besitzt fast jeder, der dieses Video ansieht, einen billigen
Universalcomputer, der die Fähigkeit hat, mit den großen Jungs zu spielen.
Heutzutage gibt es Kämpfe um HTML5 und Browser
und Video und offen gegen proprietär.
Jetzt ist also ein ziemlich guter Zeitpunkt, sich damit zu beschäftigen.
Den besten Start bekommt man wahrscheinlich indem man
lernt, die Technologie die wir jetzt haben, zu verstehen.
Dies ist eine Einführung.
Da es eine Einführung ist, wird eine Tonne von Details nur angeschnitten,
so dass das große Bild ein bisschen leichter zu sehen ist.
Eine Menge Zuschauer werden längst jenseits dem Niveau sein,
über das ich spreche, jedenfalls für den Moment.
Auf der anderen Seite werde ich wahrscheinlich zu schnell sein
für Leute, die dies zum aller ersten Mal hören - aber keine Panik.
Das Wichtigste ist, Ideen mitzunehmen, die wirklich eure Phantasie anregen.
Konzentriert euch speziell auf die Terminologie dieser Ideen,
denn mit dieser und Google und Wikipedia kann man
solange Details ausgraben wie das Interesse anhält.
Also, ohne weitere Verzögerung,
willkommen zu einem wahnsinnigen neuen Hobby.
Ton ist die Übertragung von Druckwellen durch die Luft, welche sich von einer Quelle ausbreiten
ähnlich wie Wellen um einen Stein, der in einen Teich geworfen wurde.
Ein Mikrofon, oder in der Tat das menschliche Ohr,
verwandeln diese vergänglichen Druckwellen in ein elektrisches Signal.
Ok, das ist Realschul-Niveau in Physik - jeder sollte sich daran erinnern.
Weiter geht's.
Das resultierende Tonsignal ist eine ein-dimensionale Funktion, ein einziger Wert, der über die Zeit variiert,
Wenn wir den Oszillator ein wenig verlangsamen...
sollte das ein wenig leichter zu sehen sein.
Einige andere Aspekt des Signals sind wichtig.
Es ist kontinuierlich sowohl in Wert und Zeit;
das heißt, zu jedem gegebenen Zeitpunk kann es jeden Realwert annehmen,
und es gibt einen kontinuierlich sich ändernden Wert zu jedem Zeitpunkt.
Egal wie sehr wir hinein-zoomen,
es gibt keine Diskontinuitäten, keine Singularitäten, keine Sprünge
oder Punkte an denen das Signal nicht existiert.
Es ist überall definiert. Klassische kontinuierliche Mathematik kann sehr gut auf diese Signale angewandt werden.
Ein digitales Signal auf der anderen Seite ist diskret, sowohl in Wert und Zeit.
In den einfachsten und üblichsten Systemen, Puls-Code-Modulation genannt (PCM),
eines einer endlichen Anzahl möglicher Wert repräsentiert direkt die momentane Signalamplitude
zu Zeitpunkten, die ein festes Intervall voneinander entfernt sind. Das Endergebnis ist ein Zahlenstrom.
Das sieht dann ungefähr so aus.
Intuitiv nehmen wir an, dass es möglich sein sollte die eine Form in die andere
umwandeln zu können, und in der Tat, das Abtast-Theorem besagt, dass wir das können und sagt auch wie.
Publiziert anerkannterweise by Claude Shannon in 1949
und aufbauend auf der Arbeit von Nyquist, Hartley und vielen anderen,
das Abtast-Theorem besagt, dass wir nicht nur hin und her gehen können zwischen
analogen und digitalen Signalen, aber legt auch eine Anzahl Bedingungen fest unter denen
die Konvertierung verlustfrei ist und die beiden Darstellungen äquivalent und austauschbar sind.
Wenn die verlustfreien Bedingungen nicht erfüllt sind, sagt uns das Abtast-Theorem
wie und wieviel Information verloren ging oder zerstört wurde.
Bis vor Kurzem war die Analogtechnik die Grundlage für praktisch alles was mit Audio unternommen wurde,
und der Grund war nicht, dass die Mehrzahl von Tonaufnahmen ursprünglich von einer analogen Quelle stammt.
Man mag annehmen, dass - weil Computer noch sehr jung sind -
analoge Signaltechnik zuerst existiert haben muss.
Aber nein. Digital ist in tatsächlich älter.
Der Telegraph kam ein halbes Jahrhundert vor dem Telefon
und war bereits voll mechanisch automatisiert in den 1860ern, und schickte codierte,
gemultiplexte, digitale Signale über weite Entfernung. Sie wissen schon … Tickertape.
Harry Nyquist von den Bell Labs forschte über Telegraph-Pulseübertragung
als er seine Beschreibung dessen was später Nyquist-Frequenz genannt wurde
publizierte - das Kernkonzept des Abtast-Theorems.
Natürlich hat der Telegraph symbolische Information übertragen, Text,
nicht digitalisierte analoge Signale, aber mit der Einführung von Telefon und Radio,
entwickelte sich die analoge und digitale Signaltechnik schnell und gemeinsam.
Audio wurde immer als Analogsignal manipuliert, denn, hmm, nun, es ist so viel einfacher.
Ein Tiefpassfilter zweiter Ordnung, zum Beispiel, benötigt zwei passive Komponenten.
Eine rein-analoge Short-Time-Fouriertransformation braucht mehrere hundert.
Nun, vielleicht tausend wenn man etwas wirklich Besonderes bauen möchte.
Die Verarbeitung digitaler Signale benötigt Millionen oder Billionen von Transistoren,
die auf Mikrowellenfrequenzen arbeiten, benötigt Hardwareunterstützung zumindest zum Digitalisieren
und Rekonstruieren der analogen Signale, benötigt ein komplettes Software-Ökosystem
zur Programmierung und Kontrolle des Billionen-Transistor-Molochs,
benötigt digitalen Speicher nur für den Fall dass man irgendwelche der Bits später nochmals braucht…
Wir kommen also zu der Schlussfolgerung, dass analog der einzige praktische Weg ist, viel mit Audio zu tun...
nun, außer man hat zufällig eine Billion Transistoren und all die anderen Dinge herumliegen.
Und da wir das nun alles haben wird die digitale Signalverarbeitung sehr attraktiv.
Zum einen haben analoge Komponenten nicht die Flexibilität eines Universalcomputers.
Eine neue Funktion zu diesem Moloch hinzuzufügen...
hmm, das ist sehr unwahrscheinlich.
Auf einem digitalen Prozessor allerdings…
…schreib' einfach ein neues Programm. Software ist nicht trivial, aber es ist sehr viel einfacher.
Vielleicht wichtiger ist dass jede analoge Komponente eine Annäherung ist.
Es gibt keine perfekten Transistoren, oder einen perfekten Induktor oder einen perfekten Kondensator.
Im Analogen fügt jede Komponente Geräusche und Verzerrungen hinzu - normalerweise nicht viel, aber es summiert sich.
Allein die Übertragung von analogen Signalen, besonders über große Distanzen,
nach und nach, messbar und unwiederbringlich zerstört es.
Im Übrigen nehmen all diese analogen Einzelzweck-Komponenten viel Raum ein.
Zwei Programmzeilen auf den Billionen Transistoren hier hinten
können einen Filter implementieren, der eine Spule der Größe eines Kühlschranks brauchen würde.
Digitale Systeme haben nicht diese Nachteile.
Digitale Signale können gespeichert, kopiert, manipuliert und übertragen werden ohne irgendwelche Geräusche oder Verzerrungen hinzuzufügen.
Wir nutzen verlustbehaftete Algorithmen ab und zu,
aber die einzigen unvermeidbar suboptimalen Schritte sind Digitalisierung und Rekonstruktion,
wo Digital mit all dem unordentlichen Analogen interagieren muss.
Unordentlich oder nicht - moderne Konvertierungsschritte sind sehr sehr gut.
Nach den Standards die unsere Ohren setzen, können wir sie auch als praktisch verlustfrei ansehen.
Dann, mit ein wenig zusätzlicher Hardware - zumeist jetzt klein und billig
wegen unserer modernen industriellen Infrastruktur - ist digitales Audio der offenbare Gewinner über analog.
Also lasst es uns dann speichern, kopieren, manipulieren, und übertragen.
Pulscode-Modulation ist die üblichste Darstellung für rohe Audiodaten.
Andere praktische Darstellungen existieren, zum Beispiel die Sigma-Delta-Kodierung, die von SACD benutzt wird,
die eine Art Pulsdichte-Modulation darstellt.
Dennoch ist die Pulscode-Modulation bei weitem dominierend,
besonders weil sie mathematisch so bequem ist.
Ein Audio-Ingenieur kann eine gesamte Karriere verleben ohne je etwas anderes zu sehen.
Die PCM-Kodierung kann man durch drei Parameter charakterisieren,
welches uns erlaubt, jede mögliche PCM Variante mit glücklicherweise wenigem Aufwand handzuhaben.
Der erste Parameter ist die Abtastrate.
Die höchste Frequenz, die eine Kodierung darstellen kann, heißt Nyquist-Frequenz.
Die Nyquist-Frequenzy von PCM ist zufällig genau die Hälfte der Abtastrate.
Deshalb bestimmt die Abtastrate direkt die höchste mögliche Frequenz in einem digitalisierten Signal.
Analoge Telefonsystems begrenzten traditionell die Frequenzbänder von Sprachkanälen auf unter 4kHz,
weshalb die digitale Telefonie und die meisten klassischen Sprachanwendungen eine 8kHz Abtastrate verwenden,
welches die minimale Abtastrate ist, die benötigt wird, um die gesamte Bandbreite eines 4kHz Kanals zu erfassen.
So hört sich ein Audiosignal mit 8kHz Abtastrate an --- ein wenig dumpf, aber vollkommen erfassbar für Sprache.
Dies ist die niedrigste Abtastrate, die jemals praktisch breit eingesetzt wurde.
Von hier, mit dem Anstieg an CPU Stärke und Hauptspeicher, und Speicherplatz für Heimcomputer-Hardware,
ging es zu 11, dann 16, und dann 22, und schließlich 32kHz Abtastrate.
Mit jedem Anstieg in der Abtastrate und der Nyquist-Frequenz steht fest,
dass das obere Ende ein wenig ein wenig klarer und der Sound natürlicher wird.
Die CD benutzt eine Abtastrate von 44.1kHz, welche wiederum ein wenig besser ist als 32kHz,
aber der Gewinn wird immer geringer.
44.1kHz ist eine etwas komische Wahl, besonders da es vor der CD für nichts anderes benutzt worden war,
aber der riesige Erfolg der CD hat es eine übliche Rate gemacht.
Die üblichste Abtastrate für HiFi (hohe Qualität) neben der CD ist 48kHz.
Es gibt praktisch keinen hörbaren Unterschied zwischen den beiden.
Dieses Video, oder zumindest seine Originalversion, wurde mit 48kHz Audio aufgenommen und produziert,
welches im Übrigen der Originalstandard für HiFi Audio für Video ist.
Super-Hi-Fi Abtasteten von 88, 96, und 192kHz gibt es auch.
Der Grund für Abtasteten oberhalb von 48kHz ist allerdings nicht die Erweiterung der hörbaren Frequenzen.
Es gibt einen anderen Grund.
Um nochmals auf die Theorie zurückzukommen: der französische Mathematiker Jean Baptiste Joseph Fourier
hat gezeigt, dass wir Audiosignale auch als eine Ansammlung von Frequenzkomponenten betrachten können.
Diese Frequenzbereichsdarstellung ist äquivalent zu der Zeitbereichsdarstellung;
das Signal ist exakt das gleiche, wir sehen es nur von einem anderen Standpunkt.
Hier sehen wir die Frequenzbereichsdarstellung eines hypothetischen Analogsignals, das wir digitalisieren wollen.
Das Abtast-Theorem gibt uns zwei grundlegende Informationen über den Abtastprozess.
Zuerst besagt es, dass ein Digitalsignal keine Frequenzen oberhalb der Nyqauist-Frequenz darstellen kann.
Dann besagt es - und dies ist der neue Teil - dass, wenn wir diese hohen Frequenzen nicht mit einem Tiefpassfilter löschen
bevor wir Abtasten, der Abtastprozess sie in den darstellbaren Frequenzbereich als Aliasing-Verzerrung falten wird.
Aliasing hört sich wirklich schrecklich an,
so ist es absolut notwendig, alle Frequenzen oberhalb der Nyquist-Frequenz vor dem Abtasten und nach der Rekonstruktion zu löschen.
Es ist anerkannt, dass die menschliche Frequenzwahrnehmung bis ungefähr 20kHz reicht.
Für 44.1 oder 48kHz Abtastrate muss der Tiefpassfilter vor dem Abtasten sehr genau sein,
um das Löschen von hörbaren Frequenzen unter 20kHz zu vermeiden,
aber dennoch keine Frequenzen oberhalb von Nyquist in den Abtastprozess einfließen zu lassen.
Es ist schwierig, einen solchen Filter zu bauen und kein praktischer Filter erreicht das vollständig.
Auf der anderen Seite, wenn die Abtastrate 96kHz oder 192kHz ist,
hat der Tiefpassfilter eine zusätzliche Oktave oder zwei für sein Übergangsband. Das ist ein sehr viel einfacherer Filter.
Abtastraten oberhalb von 48kHz sind tatsächlich einer der schmutzigen Kompromisse für Analogsignale.
Der zweite grundlegende PCM Parameter ist das Format des Abtastwertes, d.h. jeder einzelnen digitalen Zahl.
Eine Zahl ist eine Zahl, aber eine Zahl kann mit Bits auf verschiedene Arten dargestellt werden.
Frühe PCM Werte waren 8 Bit linear, kodiert als vorzeichenfreies Byte.
Die Dynamikwerte sind auf 50dB beschränkt und das Quantisierungsgeräusch, wie man hören kann, ziemlich schwerwiegend.
Acht Bit lineares Audio ist heutzutage vernachlässigbar selten.
Die digitale Telefonie benutzt typischerweise eine von zwei verwandten, nicht-linearen 8-Bit Kodierungen, A-law und u-law genannt.
Diese Formate kodieren ungefähr 14 bit Dynamikwerte in 8 bit,
indem die höheren Amplitudenwerte mit größerem Abstand erfasst werden.
A-law und u-law verbessern offenbar das Quantisierungsgeräusch im Vergleich zu 8-Bit linear,
und besonders die Sprach-Harmonischen verstecken das übrige Quantisierungsgeräusch gut.
Alle drei 8 Bit Kodierungen - linear, a-law und mu-law - werden typischerweise
mit einer 8kHz Abtastrate kombiniert, obwohl ich sie hier mit 48kHz zeige.
Die meiste moderne PCM benutzt 16 oder 24 Bit 2er-Komplement vorzeichenbehaftete ganze Zahlen,
um die Werte von negativ unendlich bis Null Dezibel mit 16 oder 24 Bit Genauigkeit zu kodieren.
Der maximale Absolutwert entspricht Null Dezibel.
Wie mit allen Abtastformaten bisher werden Signale oberhalb von Null Dezibel -
und deshalb oberhalb des maximalen darstellbaren Bereichs - abgeschnitten (geclippt).
Beim Mixen und Mastern ist es nicht unüblich, dass Realwerte für PCM benutzt werden anstatt ganzer Zahlen.
Ein 32 Bit IEEE754 Realwert - das sind normale Realzahlen wie sie in üblichen Computern benutzt werden -
hat 24 Bit Auflösung, aber ein 7 Bit Realwert-Exponent erweitert den darstellbaren Bereich.
Realwerte stellen normalerweise Null Dezibel als +/-1.0 dar,
und weil Realwerte offenbar weit darüber hinaus Werte annehmen können,
verursacht das temporäre Überschreiten von Null Dezibel während des Mischprozesses kein Clipping.
Realwert PCM nimmt mehr Platz ein, weshalb es generell nur als Zwischenformat in der Produktion verwendet wird.
Die meisten generellen Computer lesen und schreiben noch immer Daten in 8-bit Bytes,
so ist es schließlich wichtig, nicht zu vergessen, dass Werte, die größer als 8 Bit sind
in Big oder Little Endian Byteordnung dargestellt werden können, und beide Endianformen sind üblich.
Zum Beispiel sind Microsoft WAV Dateien in Little Endian und Apple AIFC Files generell in Big Endian.
Also aufgepasst.
Der dritte PCM Parameter ist die Anzahl Kanäle.
Die Konvention mit rohem PCM ist dass mehrere Kanäle durch Interleaving von Werten
aller Kanäle in einen einzigen Strom kodiert werden. Einfach und erweiterbar.
Und das ist alles! Das beschreibt alle jemals existierenden PCM Repräsentation.
Fertig. Digitales Audio ist _so_einfach_!
Es gibt natürlich mehr zu tun, aber wir haben jetzt ein nützliches Stück Audiodaten zusammen,
also lasst uns uns jetzt dem Video zuwenden.
Man könnte sich Video als Audio mit zwei zusätzlichen räumlichen Dimensionen, X und Y, vorstellen,
zusätzlich zu der Zeitdimension. Das ist mathematisch korrekt.
Das Abtast-Theorem gilt für alle drei Video-Dimensionen ebenso wie es für die Zeitdimension von Audio gilt.
Audio und Video sind alerdings ziemlich verschieden in Praxis. Zum Einen ist Video riesig im Vergleich zu Audio.
Rohe CD-Daten sind ungefähr 1.4 Megabit pro Sekunde.
Rohes 1080i HD Video ist mehr als 700 Megabit pro Sekunde.
Das sind mehr als 500 Mal mehr Daten zu erfassen, verarbeiten und speichern pro Sekunde.
Nach Moore's Gesetz… sind das… mal sehen… ungefähr 8 Verdoppelungen Mal zwei Jahre,
also ja, Computer benötigen ungefähr zusätzlich 15 Jahre um rohes Video zu handhaben
nachdem wir gerade rohes Audio richtig hinbekommen haben.
Einfaches rohes Video ist auch komplexer als einfaches rohes Audio.
Die riesige Datenvolumen verlangt im Moment eine Repräsentation,
die effizienter ist als lineares PCM für Audio.
Zusätzlich stammt elektronisches Video fast ausschließlich vom Fernsehen ab
und die Standard-Kommittees, die digitales Video betreffen, haben sich immer um Rückwärts-Kompatibilität gekümmert.
In den USA konnte bis letztes Jahr ein 60 Jahre alter Schwarz/Weiß-Fernseher
noch immer eine normale analoge Fernsehsendung zeigen.
Das ist tatsächlich ein richtig cooler Trick.
Der Nachteil von Rückwärts-Kompatibilität ist dass wenn ein Detail einmal im Standard ist,
kann man es nie wieder herausnehmen.
Elektronisches Video hat nie von vorne begonnen in der selben Art wie Audio es mehrfach tat.
60 Jahre voll mit schlauen aber überflüssigen Hacks benötigt wegen der vergänglichen Technologie einer gegebenen Zeit
haben sich ziemlich angehäuft, und weil digitale Standards auch vom Fernsehen stammen,
werden all diese schauerlichen Hacks auch in digitale Standards eingebracht.
Kurz gesagt, es gibt eine ganze Menge mehr Details mit digitalem Video als mit Audio.
Es besteht keine Hoffnung, sie hier alle komplett zu beschreiben, so werden wir nur die Grundlagen beschreiben.
Die offensichtlichsten rohen Video Parameter sind die Breite und Höhe der Bilder in Pixel.
So einfach wie es sich anhört, spezifizieren die Pixel-Dimensionen allein allerdings nicht die absolute
Breite und Höhe der Bilder, denn die meisten vom Fernsehen stammenden Videos benutzen keine quadratischen Pixel.
Die Anzahl Scanlinien in einem Fernsehbild war fest,
aber die effektive Anzahl horizontaler Pixel war eine Funktion der Kanalbandbreite.
Effektive horizontale Auflösung konnte in Pixel resultieren, die entweder enger
oder weiter waren als der Abstand zwischen den Scanlinien.
Standards haben generell spezifiziert, dass digital abgetastetes Video
die tatsächliche Auflösung der originalen analogen Quelle reflektieren sollte,
also benutzt eine große Zahl digitaler Videos auch nicht-quadratische Pixel.
Zum Beispiel ist eine normales 4:3 Aspektverhältnis NTSC DVD typisch kodiert
mit einer Bildauflösung von 704 auf 480, ein Verhältnis breiter als 4:3.
In diesem Fall wird den Pixeln selbst ein Aspektverhältnis von 10:11 zugewiesen,
welches sie höher macht als breit und das Bild horizontal enger, um das Aspektverhältnis zu korrigieren.
Solch ein Bild muss erneut abgetastet werden, um ein vernünftiges digitales Display mit quadratischen Pixeln zu zeigen.
Der zweiter offensichtliche Videoparameter ist die Bidrate - die Anzahl kompletter Bilder pro Sekunde.
Mehrere Standard-Bildraten werden heute aktiv benutzt. Digitales Video - in der einen oder anderen Form -
kann alle unterstützen. Oder jede andere Bildrate. Oder sogar variable Raten,
bei denen die Bildrate sich über den Verlauf des Videos verändert.
Je höher die Bildrate, desto flüssiger ist die Bewegung und das bringt uns leider zum Zeilenspringverfahren (Interlacing).
In den ersten Tagen des Fernsehens haben Ingenieure nach der schnellsten praktischen Bildrate
für flüssige Bewegung gesucht und um das Flickern der Phoshpor-basierten CRTs zu minimieren.
Sie standen außerdem unter Druck, die geringste mögliche Bandbreite
mit der höchsten Auflösung und schnellsten Bildrate zu finden.
Ihre Lösung war das Interlacing von Video, wobei die geraden Linien
in einem Moment geschickt werden und die ungeraden Linien im nächsten.
Jeder Durchgang wird ein Feld genannt und zwei Felder produzieren quasi ein komplettes Bild.
"Quasi" - denn die geraden und ungeraden Felder sind nicht eigentlich vom selben Ursprungsbild.
In einem 60-Felder-pro-Sekunde Film ist die Bildrate eigentlich 60 volle Bilder pro Sekunde,
und die Hälfte jedes Bildes - jede zweite Linke - wird einfach weggeworfen.
Deshalb können wir nicht einfach ein Video ent-interlacen indem wir zwei Felder in ein Bild kombinieren;
sie sind in der Tat ursprünglich nicht vom selben Bild.
Die Kathodenstrahlröhre war die einzige verfügbare Anzeigetechnologie während des größten Teils der Geschichte des elektronischen Videos.
Die Ausgabehelligkeit eines CRTs ist nicht-linear und entspricht ungefähr
der eingangssteuernden Spannung hoch 2.5.
Der Exponent - 2.5 - ist das designierte Gamma und so wird es oft das Gamma des Monitors genannt.
Kameras sind allerdings linear, und wenn man ein lineares Eingabesignal einem CRT gibt, sieht es ein wenig so aus.
Das es ursprünglich sehr wenige Kameras gab, die außerdem fantastisch teuer waren,
und man viele, viele Fernseher erwartete, die am besten so billig wie möglich sein sollten,
haben die Ingenieure entschieden, die nötige Gamma-Korrektur-Schaltung der Kamera hinzuzufügen anstatt den Fernsehgeräten.
Video, das über Luftwellen übertragen wurde, hatte deshalb nicht-lineare Lichtstärke, das inverse
des Gamma Exponenten des Fernsehgeräts, so dass wenn ein Kamerasignal endlich auf einem CRT dargestellt wird,
die Gesamtantwort des Systems von Kamera zum Fernsehgerät wieder linear war.
Fast.
Es gibt noch zwei andere Verbesserungen.
Eine Fernsehkamera benutzt in der Tat einen Gamma-Exponenten, der das Inverse von 2.2 ist und nicht 2.5.
Das ist eine Korrektur um in einer dunklen Umgebung zu sehen.
Auch gehen die Exponentialkurven in eine lineare Rampe in der Nähe von Schwarz über.
Das ist nur eine alte Notlösung um Sensorengeräusche in der Kamera zu unterdrücken.
Die Gamma-Korrektur hat noch einen glücklichen Seiteneffekt.
Zufällig hat das menschliche Auge einen Wahrnehmungs-Gamma von ungefähr 3.
Das ist ziemlich nah an dem CRT Gamma von 2.5.
Ein Bild, das Gamma-Korrektur benutzt gibt mehr Auflösung den niedrigeren Intensitäten,
wo das Auge zufällig seine genaueste Intensitätsauflösung hat,
und deshalb die verfügbare Skalenauflösung genauer benutzt.
Obwohl CRTs momentan am verschwinden sind, benutzt ein Standard sRGB Computermonitor
noch immer eine nicht-lineare Intensitätskurve ähnlich wie das Fernsehen, mit einer linearen Rampe in der Nähe von Schwarz,
gefolgt von einer Exponentialkurve mit einem Gamma-Exponenten von 2.4.
Das kodiert eine 16-bit lineares Band auf 8 Bit herunter.
Das menschliche Auge hat drei offenbare Farbkanäle: rot, grün und blau,
und die meisten Monitore benutzen diese drei Farben als additive Primärfarben, um die volle Breite der Farben zu produzieren.
Die primären Pigmente in Druckfarben sind Cyan, Magenta, und Gelb aus den gleichen Gründen;
Pigmente sind subtraktiv, und jedes dieser Pigmente subtrahiert eine reine Farbe vom reflektierten Licht.
Cyan subtrahiert rot, magenta subtrahiert grün, und gelb subtrahiert blau.
Video kann und manchmal wird mit rot, grün und blauen Kanälen dargestellt,
aber RGB Video ist atypisch. Das menschliche Auge ist sehr viel sensibler auf Helligkeit als auf Farbe,
und RGB verteilt die Energie eines Bildes über alle Farbkanäle.
Das heißt, die rote Eben sieht aus wie eine rote Version des Originalbildes,
die grüne Ebene sieht aus wie eine grüne Version des Originalbildes,
und die blaue Ebene sieht aus wie eine blaue Version des Originalbildes.
Schwarz und weiß drei mal. Nicht effizient.
Aus diesen Gründen und weil, oh hey, Fernsehen sowieso zufällig
als schwarz und weiß angefangen hat, wird Video üblicherweise als hochauflösender Helligkeitskanal,
als schwarz und weiß dargestellt, zusammen mit zusätzlichen, zumeist niedriger aufgelösten Chroma-Kanälen, den Farben.
Der Helligkeitskanal, Y, ist produziert indem man die separaten rot, grün und blauen Signale gewichtet und dann addiert.
Die Farbkanäle U und V sind dann produziert indem man das Helligkeitssignal von blau
und das Farbsignal von rot abzieht.
Wenn YUV skaliert, versetzt und quantisiert wird für digitales Video, wird es korrekterweise Y'CbCr genannt,
aber der generellere Ausdruck YUV wird weitgehend benutzt, um
all die analogen und digitalen Varianten dieses Farbmodells zu beschreiben.
Die U und V Farbkanäle können die selbe Auflösung haben wie der Y Kanal,
aber weil das menschliche Auge eine viel geringere räumliche Farbauflösung als räumliche Helligkeitsauflösung hat,
wird normal die Farbauflösung halbiert oder sogar geviertelt in der horizontalen und/oder der vertikalen
Richtung, üblicherweise ohne signifikanten Einfluss auf die rohe Bildqualität.
Praktisch jede mögliche Unterabtastungs-Variante ist schon einmal eingesetzt worden,
aber die üblichen Wahlen heutzutage sind
4:4:4 Video, welches tatsächlich nicht unterabgetastet ist,
4:2:2 Video, in welchem die horizontale Auflösung der U und V Kanäle halbiert ist,
und am üblichsten von allen, 4:2:0 Video, in welchem sowohl die horizontale als auch die vertikale Auflösung
der Farbkanäle halbiert ist, was in U und V Ebenen resultiert, die beide ein Viertel der Grösse von Y sind.
Die Ausdrücke 4:2:2, 4:2:0, 4:1:1 und so weiter sind nicht komplette Beschreibungen der Farb-Unterabtastung.
Es gibt viele Möglichkeiten, die Farbpixel im Verhältnis zur Helligkeit zu positionieren,
und wiederum werden viele Möglichkeiten für jede Unterabtastungs-Variante aktiv benutzt.
Zum Beispiel, motion JPEG, MPEG-1 Video, MPEG-2 Video, DV, Theora und WebM benutzen alle
oder können alle 4:2:0 benutzen, aber sie positionieren die Farbpixel auf drei verschiedene Arten.
Motion JPEG, MPEG1 Video, Theora und WebM positionieren die Farbpixel
zwischen den Helligkeits-Pixeln, sowohl horizontal als auch vertikal.
MPEG2 Video positionier Farbpixel zwischen Linien, aber horizontal sind sie mit jedem zweiten Helligkeitspixel bündig.
Das Zeilensprungverfahren macht das Ganze noch etwas komplizierter und resultiert in einem Arrangement das ein wenig bizarr ist.
Und schliesslich PAL-DV, welches immer interlaced ist, platziert die Farbpixel
in der selben Position wie jedes zweite Helligkeitspxiel in der horizontalen Richtung,
alterniert Farbkanäle vertikal in jeder Zeile.
Das war nur 4:2:0 Video. Ich überlasse die anderen Unterabtastungen als Hausarbeit dem Zuschauer.
Die Grundidee ist beschrieben - weiter geht's.
In Audio repräsentieren wir immer mehrere Kanäle in einem PCM Strom indem die Werte von jedem
Kanal in der selben Reihenfolge abgewechselt werden. Video benutzt sowohl gepackte Formate, welche die Farbkanäle abwechselt,
als auch ebene Formate, welche die Pixel von jedem Kanal in verschiedenen Ebenen zusammenhält
und in ihrer Reihenfolge im Bild stapelt. Es gibt mindestens 50 verschiedene Formate in diesen zwei groben Kategorien
mit vielleicht 10 oder 15 üblichen. Jeder Farb-Unterabtastung und verschiedene Bit-Tiefe benötigt
eine andere gepackte Anordnung, und so ein anderes Pixelformat. Für eine gegebene einzigartige Unterabtastung
gibt es normalerweise auch mehrere äquivalente Formate, die aus trivialen Änderungen der Kanalandordnung there are usually also several equivalent formats that consist of trivial channel order
oder Umpackungen bestehen, entweder aus ursprünglicher Bequemlichkeit auf einer speziellen
Hardware oder manchmal nur aus guter alter Bosheit.
Pixelformate werden durch einen eindeutigen Namen oder fourcc Code beschrieben.
Es gibt eine Menge dieser und es macht keinen Sinn alle durchzugehen.
Google ist Dein Freund. Achte drauf, dass fourcc Codes für Video-Rohdaten die Pixelanordnung und
die Farbunterabtastung angeben, aber generell nichts bestimmtes über Farbplazierung und den Farbraum aussagen.
Um eines zu wählen: YV12 video kann JPEG, MPEG-2 oder DV Farbplazierung verwenden,
und eine von mehreren YUV Farbraum-Definitionen.
Das beendet unsere nicht so schnelle und doch sehr unvollständige Tour von Video-Rohdaten.
Das Gute ist, dass wir bereits eine Menge richtiger Arbeit mit diesem Überblick erledigen können.
In vielen Situationen ist ein Videobild ein Bild im Video.
Die Details machen viel aus, wenn man Software schreiben möchte,
aber momentan bin ich zufrieden, dass der geschätzte Zuschauer sich grob der relevanten Details bewusst ist.
Also. Wir haben Audiodaten. Wir haben Videodaten.
Was übrig bleibt sind die bekannteren Nicht-Signaldaten und geradlinige Technik
die Software-Entwicklern bekannt ist. Und viel davon!
Klumpen von rohen Audio- und Video-Daten haben keine extern sichtbare Struktur,
aber sie sind oft gleichmäßig gross. Wir könnten sie einfach zusammenketten
in einer streng vorgegebenen Ordnung für Streaming und Speicherung
und einige einfache Systeme machen das auch ungefähr.
Komprimierte Bilder sind allerdings nicht notwendigerweise von vorhersehbarer Größe
und wir wollen normalerweise flexibel sein in der Benutzung einer Reihe verschiedener Datentypen in Strömen.
Wenn wir zufällige, formfreie Daten verketten, verlieren wir die Grenzen, die verschiedene Bilder
voneinander trennt und wissen nicht unbedingt mehr welche Daten zu welchen Strömen gehören.
Ein Strom braucht eine generalisierte Struktur um generell nützlich zu sein.
Zusätzlich zu unseren Signaldaten haben wir auch unsere PCM- und Video-Parameter.
Außerdem gibt es wahrscheinlich massig andere Metadaten, die wir auch handhaben wollen,
so wie Audio-Titelinformationen und Video-Kapiteln und Untertiteln - alles wesentliche Komponenten von Rich Media.
Es macht Sinn, diese Metadaten, d.h. Daten über die Daten, in den Medien selbst zu speichern.
Speichern und Anordnen von formlosen Daten und separaten Metadaten ist der Job eines Containers.
Container stellen ein Rahmenwerk für die Datenklumpen zur Verfügung,
verschachteln und identifizieren mehrere Datenströme,
stellen Zeitinformationen zur Verfügung, und speichern Metadaten nötig zum
Prassen, Navigieren, Manipulieren und Darstellen der Medien.
Generell kann jeder Container jede Art von Daten einschliessen.
Und Daten können in jeden Container verpackt werden.
In den letzten dreissig Minuten haben wir digitales Audio, Video,
und ein wenig Geschichte, etwas Mathe und ein bisschen Technik abgedeckt.
Wir haben kaum die Oberfläche angekratzt, aber es ist Zeit für eine wohlverdiente Pause.
Es gibt so viel mehr zu besprechen, so hoffe ich, dass Sie sich in der nächsten Folge wieder zu mir gesellen werden.
Bis dann --- Tschüss!