概要
情報技術の基礎として理解しておきたい マルチメディア について、音声、画像、動画、XML、電子書籍、コンピュータグラフィックスを整理する。
音声と画像のデータ量を単位から計算し、写真・図・文章で保存形式を選ぶ理由を確認する。見た目を変える処理と元のデータや形状を変える処理も区別する。
この記事の構成
- マルチメディア技術
音声・画像のデータ量を単位から計算し、保存形式の選択理由を整理。 - マルチメディアとXML
複数データの構造やメタデータを記述する用途では、XMLを基にしたマルチメディア関連規格も利用されている。 - 電子書籍の規格
文字サイズ変更時の振る舞いからリフローと固定レイアウトを比較。 - コンピュータグラフィックス
コンピュータグラフィックスの意味と要点を具体例から整理。 - 3DCGの制作技法
3DCGの制作技法の意味と要点を具体例から整理。 - マルチメディアテクノロジー
現実世界と仮想世界に関わる技術の総称として、XR（Extended Reality）という用語が使われ、主にAR、VR、MRなどを含む。
マルチメディア技術
マルチメディアとは文字や音声、静止画・動画等をディジタル処理によって統合した状態（データ）を指す。
各メディアのディジタル処理や統合技術を マルチメディア技術 と呼び、代表的な技術として以下のディジタル処理がある。
-
音声処理技術
アナログ信号である音声を標本化、量子化、符号化してディジタル信号に変換する代表的な方式として、 PCM （Pulse Code Modulation：パルス符号変調方式）がある。※ A/D変換 について
→ 応用情報技術 - 通信・制御理論 > A/D、D/A変換なお、非圧縮の PCM はデータ量が大きいため、音響データを圧縮するMP\(3\)（MPEG-\(1\) Audio Layer III、またはMPEG-\(2\) Audio Layer III）等の方式が使われることも多い。
※ PCM はディジタル化によって伝送・複製時の雑音の影響を抑えやすく、CDなどの音声記録に広く利用されている。その他、上記とは別に電子楽器の演奏情報をディジタル転送するための共通規格として、 MIDI （Musical Instrument Digital Interface）がある。
-
静止画処理技術
静止画の色は光の \(3\) 原色（Red、Green、Blue）または色の \(3\) 原色（Cyan、Magenta、Yellow）で表現され、画素数（ピクセル）や階調、解像度により画像のきめ細かさに大きな差が出てくる。
その静止画処理形式として次の種類がある。
-
GIF（Graphics Interchange Format）
可逆圧縮でアニメーションも可能な画像形式。
※ 1フレームで使用できる色は最大 \(256\) 色で、単一色の透過にも対応。 -
JPEG（Joint Photographic Experts Group）
写真などの連続階調画像に適した非可逆圧縮の画像形式。一般的なWeb画像ではRGB各色を \(8\) ビットで扱う約 \(1677\) 万色の画像に利用される。
※ サイズは圧縮率によって変化し背景透過はできない。 -
PNG（Portable Network Graphics）
インデックスカラー、グレースケール、フルカラーを表現できる可逆圧縮の画像形式。
※ アルファチャンネルによる透過に対応し、GIFに代わる特許制約のない形式として策定された。 -
WebP
Google社がWeb向けに開発した画像形式で、可逆圧縮と非可逆圧縮の両方に対応。
※ \(24\) ビットRGB、アルファチャンネルによる透過、アニメーションに対応し、用途に応じて圧縮方式を選択できる。 -
TIFF（Tagged Image File Format）
タグによって画像の属性を記録でき、非圧縮だけでなく複数の圧縮方式や色表現を扱える画像形式。
※ 高品質な画像の保存、編集、印刷などに使われるが、標準的なWebブラウザーでの表示には一般に適していない。 -
BMP（Microsoft Windows Bitmap Image）
Microsoft Windowsで広く使われてきたラスター画像形式で、画素データを比較的単純な構造で格納する。
※ 非圧縮で保存されることが多くファイルサイズが大きくなりやすいため、Web配信用途では一般にPNGやJPEG、WebPなどが使われる。 -
動画処理技術
動画は画像と音声の集合データでデータサイズが大きいため、圧縮した形式で取扱われる。
その形式は多様だが、動画や音声の圧縮・符号化に関する代表的な標準として、 MPEG （Moving Picture Experts Group）が策定した規格群がある。 -
MPEG-\(1\)
CD-ROMなど当時の媒体で動画と音声を扱うことを想定し、約 \(1.5\) Mビット/秒を代表的な目標として設計された規格。ビットレートが常にこの値へ固定されるわけではない。 -
MPEG-\(2\)（H.\(262\)）
放送やDVDなど、MPEG-\(1\)より高い画質や多様なビットレートを扱うことを想定した規格。映像符号化はH.\(262\)としても標準化されており、用途やプロファイルによって解像度とビットレートは異なる。 -
MPEG-\(4\)
低ビットレートの配信から高品質な映像まで、幅広い用途を対象とする規格群。動画圧縮方式だけでなく、音声やコンテナなど複数のパートで構成される。 -
H.\(264\)
ITU-Tの H.\(264\) とISO/IECの MPEG-\(4\) Part \(10\) Advanced Video Coding として共同で標準化された動画圧縮方式で、動画配信やBlu-rayなど幅広い用途で使われる。
MPEG-\(4\) AVC または AVC （Advanced Video Coding）とも呼ばれ、H.\(264\)/MPEG-\(4\) AVCのように併記される場合が多い。 -
H.\(265\)
上記 H.\(264\) の後継規格として標準化された動画圧縮方式で、高画質な映像を少ないデータ容量で録画することが可能。
\(4\)K / \(8\)K 放送などで用いられており、同等の主観画質でH.\(264\)よりビットレートを削減することを目標とする。別名 HEVC （High Efficiency Video Coding）とも呼ばれる。※ 一つのファイルに複数の画像や画像シーケンスなどを格納できるコンテナ形式である HEIF （High Efficiency Image File Format）では、HEVCで符号化した画像を格納できる。HEIF自体が符号化方式をHEVCだけに限定しているわけではない。
-
音声データ量は一回の量と一秒の回数から求める
非圧縮PCMで48 kHz、24 bit、ステレオ2チャネルの音声を60秒保存するとする。標本化のたびに各チャネルを24 bitで記録するため、データ量は次のようになる。\[ 48{,}000\times24\times2\times60\div8=17{,}280{,}000\ \mathrm{byte} \]1 MBを100万byteとすると17.28 MB、ビットレートは毎秒 \(48{,}000\times24\times2=2{,}304{,}000\) bit、2.304 Mbpsである。bitからbyteへ直すために8で割ることとステレオの2チャネル分を掛けることを分けて考える。ここではヘッダーなどの付加情報や圧縮を含めていない。
-
画像の縦横を2倍にすると、画素数は4倍になる
横1920×縦1080画素、1画素をRGB各8 bitの計24 bitで表す画像では、画素データだけで \(1920\times1080\times24/8=6{,}220{,}800\) byte、約6.22 MBになる。縦と横を両方2倍にすると画素数は4倍になる。画素数を変えずに透明度用の8 bitを加える場合は、1画素が24 bitから32 bitへ増える。このように解像度と一画素あたりの情報量は別の要因である。ファイルの大きさにはさらに圧縮方式や画像内容が影響する。
-
写真・図・動画で形式を選ぶ理由が異なる
保存したいもの 候補の例 選択時に見ること 写真 JPEG 非可逆圧縮による容量削減と輪郭などの劣化の許容度 小さな文字や線を含む画面画像 PNG 可逆圧縮で画素を保ちたいか 拡大するロゴや単純な図 SVG 線や図形として表せるか、拡大時に描き直せるか どの形式が最小になるかは内容に依存する。写真をベクタ形式のファイルへ入れただけで、写真自体が劣化なく無限に細かくなるわけではない。
動画ではMP4のような コンテナ形式 と中の映像を圧縮するコーデックも区別する。同じ拡張子でも内部の符号化方式が異なれば、再生側の対応状況が変わる。
マルチメディアとXML
複数データの構造やメタデータを記述する用途では、XMLを基にしたマルチメディア関連規格も利用されている。
※ XMLについて
→ 応用情報技術
- プログラム構造・言語 > その他言語 > マークアップ言語：XML（Extensible Markup Language）
マルチメディアに関してXMLフォーマットが利用される代表的なもので、以下の規格がある。
-
MPEG-\(7\)
MPEGではマルチメディア用のメタデータ表記方法としてMPEG-\(7\) が国際規格となり、XMLで記述される。 -
SVG（Scalable Vector Graphics）
W3Cで仕様定義された画像をベクターイメージで表現するマークアップ言語でXMLで記述される。 -
SMIL（Synchronized Multimedia Integration Language）
W\(3\)CがXMLを基に規格化した音声や動画、テキストなどの異なる形式のデータを時間や位置を指定してWebブラウザー上で同期をとり表示できるマークアップ言語。
電子書籍の規格
電子書籍とは書籍をテキストと静止画で表現したマルチメディアコンテンツを指し、ネットワーク上で配布できるよう形式化し、文章ファイルとして作成される。
文章ファイルを配布する規格には次の種類がある。
-
PDF（Portable Document Format）
Adobeシステムが開発したファイル形式で、元ファイルのイメージを忠実に再現して表示できる。
固定レイアウトの文書では端末の画面サイズに合わせたリフローが難しいため、スマート端末等の小型端末で長文を読む際に拡大やスクロールが必要になる場合がある。 -
EPUB（Electronic Publication）
国際電子出版フォーラム（IDPF）が策定し、現在はW3Cが仕様を公開している電子出版形式。リフロー型と固定レイアウト型に対応。 -
MOBI
Mobipocket社が開発し、後にAmazon社が採用した電子書籍形式。現在は旧形式であり、Amazon KDPでは \(2025\) 年 \(3\) 月に新規MOBIファイルの受付を終了している。 -
AZW
Amazon社がKindle向けに採用したMOBI系の電子書籍形式。DRMの有無はコンテンツによって異なるため、単純に「MOBIにDRMを付けた形式」とは限らない。 -
Topaz
初期のKindleで採用された形式で、フォントの埋込みをサポートする。現在の主流形式ではない。 -
XMDF
シャープ社が開発したファイル形式で、縦書きやルビなど、日本語組版の再現に対応。主に従来の国内向け電子書籍で採用された。 -
.book
ボイジャー社が開発した商業出版向けのファイル形式で、従来の国内向け電子書籍で利用された。
HTMLベースのテキストを中心にルビ、字下げ、縦書きなどを原稿イメージに近いレイアウトを再現できる。
-
文字を大きくしたときの動作からレイアウトの違いを読む
リフロー型の電子書籍では文字サイズや表示幅に合わせて行やページの区切りを組み直す。小さな画面でも文字を大きくして読み進めやすい一方、紙面と同じページ位置を前提とした説明は合わなくなる場合がある。固定レイアウトでは図や文字の位置関係を保ちやすいが、全体を縮小表示すると小さな文字が読みにくくなり、拡大やスクロールが必要になる。EPUBにも固定レイアウトの方式があるため、「EPUBなら必ずリフローする」とは限らない。文章を読む用途か、図表の配置自体を見せる用途かを考えて選ぶ。
コンピュータグラフィックス
コンピュータグラフィックス（CG:Computer Graphics）は次の \(2\)DCGと \(3\)DCG に大別される。
-
\(2\)DCG（Two-Dimensional Computer Graphics）
\(2\) 次元のCGで、以下の再現方式がある。-
ベクターイメージ
点の座標とそれを結ぶ線（ベクター、ベクトル）などの数値データをもとにして演算によって画像を表現するデータ再現方式。 -
ラスターイメージ
画像を色付ドットの羅列・集合として表現するデータ再現方式で、アンチエイリアシングという斜線や曲線に生じるジャギーを周辺要素との平均値で目立たなくさせる技術が使われている。また、表現できる色数が少ない環境でも、表現可能な色同士を交互に表示させ（ドットノイズを加えた点描）、見掛け上は中間色に見えるようにするディザリングという手法も使われている。
-
-
\(3\)DCG（Three-Dimensional Computer Graphics） 3次元のCGで、以下の表現方法がある。
-
ワイヤーフレームモデル
物体を無数の点でとらえ、点を線で結び表現する方法。 サイズが小さく、処理も軽いが直線を組合わせて曲線を表現するため、立体感の表現が劣る。 -
サーフェスモデル
上記 ワイヤーフレームモデルの点と線に加え、面の表現を取入れた表現方法。
面の表現や複雑な形状のモデル作成向き。 -
ソリッドモデル
上記 サーフェスモデルの面に加え中身の表現を取入れた表現方法。
体積、重心、重量等の幾何情報の計算が可能となる。
-
3DCGの制作技法
以下、\(3\) 次元空間を \(2\) 次元で表現する制作技法。
-
テクスチャマッピング
立体を構成する多角形の表面に別途用意された画像ファイル（テクスチャ）を重ね合わせ、物体の質感を出す表現方法。 -
メタボール
球体や楕円体など曲面を持つ複数の立体を融合して、曲面を持つ立体を表現する方法。 -
レイトレーシング
視点から伸ばした光線と物体との交差を追跡し、光源、影、反射、屈折、透過などを計算して画像を生成する方法。 -
ラジオシティ
光源の光が乱反射したとき、それぞれの物体表面が受ける光エネルギーを計算して、表面の明るさを決定する表現方法。 -
Zバッファ法
画素ごとに視点からの深度を記録し、新しく描画する面との深度を比較して最も手前にある面を表示する隠面消去法。 -
クリッピング
画像を部分的に表示または部分的に切り取った範囲のみ表示し、その範囲以外は表示させない表現方法。 -
レンダリング
平面や立体データを一定の処理や演算を行って陰影をつけて画像化すること。 -
ボリュームレンダリング
CTやMRIなどの三次元ボリュームデータに色や透明度を割り当て、内部構造を含めて可視化するレンダリング方法。煙や雲などの表現にも利用される。 -
シェーディング
コントラストで陰影付け、立体感を与える表現方法。 -
モーションキャプチャー
人や物体など実物の動きを記録・解析する技法でアニメーションやゲームキャラクターなどの表現で利用される。
-
テクスチャを変えることと形を変えることの違い
平らなポリゴンにレンガの写真を貼ると、正面からはレンガの模様が見える。しかし、画像を貼っただけではポリゴンの形は変わらず、横から見た輪郭は平らなままである。表面の色や模様を対応付けるのがテクスチャマッピングで、頂点などの形状を変える処理とは役割が異なる。凹凸らしく見せる技法にも複数の種類があるため、影や輪郭まで必要なのか、表面の見た目だけでよいのかを分けて考える。
マルチメディアテクノロジー
現実世界と仮想世界に関わる技術の総称として、XR（Extended Reality）という用語が使われ、主にAR、VR、MRなどを含む。
-
拡張現実AR（Augmented Reality）
現実環境をコンピュータによって現実世界に仮想世界を重ねて拡張する技術。例）実際の部屋に家具を配置するシミュレーションシステムなど。
-
仮想現実VR（Virtual Reality）
利用者の感覚を刺激することにより現実のように仮想世界を人工的に作り出す技術。例）バーチャル空間で体験できる職業トレーニングシステムなど。
-
複合現実MR（Mixed Reality）
仮想世界と現実世界をARより密接に融合させ拡張する技術。例）医療現場で患者の身体データを空間に表示させるシステムなど。
-
代替現実SR（Substitutional Reality）
現実世界を仮想世界として事前に準備し、利用者にこれから起こる現実として認識させる技術。
※ 過去に記録した映像と現在の知覚を置き換える研究分野として提案された概念であり、AR、VR、MRほど一般的な製品分類ではない。
まとめ
- マルチメディアでは音声、画像、動画、CGなどをディジタルデータとして扱い、データ量は標本化周波数、量子化ビット数、画素数、フレーム数などで決まる。
- 可逆圧縮は元データへ完全に戻せ、非可逆圧縮は一部の情報を削減するため、品質、容量、用途に応じて選ぶ。
- 画像形式や動画形式は圧縮方式、透過表現、色数、再生環境などの違いを踏まえて選ぶ。
- 解像度は横と縦の画素数、ビットレートは単位時間当たりのデータ量を表し、ファイルサイズに影響する。
- XMLは汎用的なデータ記述、HTMLはWeb文書の構造を記述。
- モデリングは形状を作る工程、レンダリングは形状から画像を生成する工程。
- データ量は標本化回数・ビット数・チャネル数や画素数から求める。圧縮やコンテナの形式だけでなく、何を保ち、何を再生側へ要求するかも確認する。