目的

この記事では、応用情報技術者試験の出題分野であるマルチメディアに関する覚書きを列挙する。

マルチメディア技術

マルチメディアとは、文字や音声、静止画・動画等をディジタル処理によって統合した状態（データ）を指す。

各メディアのディジタル処理や統合技術をマルチメディア技術と呼び、代表的な技術として、以下のディジタル処理がある。

• 音声処理技術
  アナログ信号である音声をA/D変換によって、ディジタル信号の符号化に変換し、このデータに対してPCM（Pulse Code Modulation:パルス符号変調方式）を用いることで送受信可能な状態にする。

  ※ A/D変換について
  → 応用情報技術 - 基礎覚書き：通信・計測・制御技術に関する理論 > A/D、D/A変換

  なお、PCMでは、データが大容量となるため、音響データを圧縮するMP\(3\)（MPEG Audio Layer-\(3\)）等の技術が使われることが多い。
  ※ PCMは、大容量のデータを効率よく伝送でき、雑音も少ないため、CDやDVDなどの記録メディアの音声、画像記録やインターネットなど通信分野で広く利用されている。

  その他、上記とは別に電子音器の演奏データをディジタル転送するための共通規格として、MIDI（Musical Instrument Digital Interface）がある。

• 静止画処理技術
  静止画の色は、光の \(3\) 原色（Red、Green、Blue）または、色の \(3\) 原色（Cyan、Magenda、Yellow）で表現され、画素数（ピクセル）や階調、解像度により、画像のきめ細かさに大きな差が出てくる。

その静止画処理形式として、次の種類がある。

• GIF（Graphics Interchange Format）
  可逆圧縮でアニメーションも可能な画像形式。
  ※ 背景透過が可能でサイズを小さくするため、\(256\) 色で構成されている。

• JPEG（Joint Photographic Experts Group）
  フルカラー \(1670\) 万色を表現でき、非可逆圧縮の画像形式。
  ※ サイズは、圧縮率によって変化し背景透過はできない。

• PNG（Portable Network Graphics）
  フルカラー \(1670\) 万色を表現でき、可逆圧縮の画像形式。
  ※ 背景透過が可能でサイズも比較的小さい。GIFの機能を拡張したもので、GIFの配色数の少なさやライセンス制約系の問題が解消されている。

• WebP
  Google社が画像サイズを小さくし、Webへの表示速度を速くするために開発した可逆圧縮で \(256\) 色のアニメーションも可能な画像形式。
  ※ 背景透過が可能で透過に関しては、可逆圧縮と非可逆圧縮が選択でき、PNGやJPEGより優れた圧縮が可能。

• TIFF（Tagged Image File Format）
  無圧縮で画像にタグを付け複数の画像形式を扱える画像形式。
  ※ サイズは、元画像データのまま小さくできないが、画質劣化させることなく編集、印刷ができ、高い解像度に対応できる。（Webでは、使用不可）

• BMP（Microsoft Windows Bitmap Image）
  Microsoft Windowsのために作られた、単純にX/Y軸の座標と色を設定する画像形式。
  ※ 解像度は高いが、圧縮処理されていないため、サイズが大きい。（Webでは使用不可）

• 動画処理技術
  動画は、画像と音声の集合データでデータサイズが大きいため、圧縮した形式で取扱われる。
  その形式は、多様にあるが代表的な保存形式にMPEG（Moving Pricture Experts Group）があり、動画処理には、以下の代表的な規格がある。

  • MPEG-\(1\)
    画像と音声を合わせて、毎秒 \(1.5\) Mビット程度の圧縮方式で、CD-ROMなどのパッケージメディア向けである。

  • MPEG-\(2\)（H.\(262\)）
    画像と音声を合わせて、毎秒 \(4\)M ～ \(15\)Mビット程度の圧縮方法で、DVDやBlu-rayなどの高画質向けである。

  • MPEG-\(4\)
    で、主にモバイル機器を対象としいる。

  • H.\(264\)
    上記 MPEG-\(4\) のパート \(10\)（MPEG-\(4\) Part \(10\) Advanced Video Coding）として基準化された圧縮方法で、Blu-ray などの高画質向けで。
    別名 MPEG-\(4\) AVC または、AVC（Advanced Video Coding）とも呼ばれ、一般的には、H.\(264\) / MPEG-\(4\) AVC、H.\(264\) / AVCように併記する場合が多い。

  • H.\(265\)
    上記 H.\(264\) の後継規格として標準化された動画圧縮方式で、高画質な映像を少ないデータ容量で録画することが可能。
    \(4\)K / \(8\)K 放送などで用いられており、圧縮性能は、H.\(264\) の約 \(2\) 倍あり、別名HEVC（High Efficency Video Coding）とも呼ばれる。

    ※ 一つのファイルに複数の画像やアニメーションなど様々な情報を内包できる画像フォーマットであるHEIF（High Effciency Image File Format）は、H.\(265\) 技術を利用している。

マルチメディアとXML

各メディアの統合データを表現する際、複数データを構造化して表現するXMLが適しているため、XMLフォーマットでマルチメディアを表現する方法が普及している。

※ XMLについて
→ 応用情報技術 - 基礎覚書き：プログラム構造・言語 > その他言語 > マークアップ言語：XML（Extensible HTML）

マルチメディアに関して、XMLフォーマットが利用される代表的なもので、以下の規格がある。

• MPEG-\(7\)
  MPEGでは、マルチメディア用のメタデータ表記方法として、MPEG-\(7\) が国際規格となり、XMLで記述される。

• SVG（Scalable Vector Graphics）
  W3Cで仕様定義された画像をベクターイメージで表現するマークアップ言語でXMLで記述される。

• SMIL（Synchronized Multimedia Integration Language）
  W\(3\)CがXMLを基に規格化した音声や動画、テキストなどの異なる形式のデータを時間や位置を指定してWebブラウザー上で同期をとり表示できるマークアップ言語。

電子書籍の規格

電子書籍とは、書籍をテキストと静止画で表現したマルチメディアコンテンツを指し、ネットワーク上で配布できるよう形式化し、文章ファイルとして作成される。

文章ファイルを配布する規格には、次の種類がある。

• PDF（Portable Document Format）
  Adobeシステムが開発したファイル形式で、元ファイルのイメージを忠実に再現して表示できる。
  端末の画面サイズに合わせた表示がきないため、スマート端末等の小型端末で長文を読む用途には不向き。

• Mobi（Electronic PUBlication）
  Mobipocket社が開発し、Amazon社が買収したファイル形式。
  ほとんどがDRM（Digital Rights Management：ディジタル著作権管理）フリーでKindle以外の端末でもKindleが配布する無料アプリをインストールすれば、Mobi形式も閲覧できるようになっている。

• AZW
  MobiにDRMをかけたファイル形式。
  Amazon社の独自規格でKindle専用の電子書籍フォーマット。

• Topaz
  Mobiより後に採用された形式でフォントの埋込みをサポートするが、その分Mobiに比べファイルサイズが大きく、表示速度が劣り、表示に時間が掛かる傾向にある。

• XMDF
  シャープ社が開発したファイル形式で、縦書きや字下げなど、日本独自の原稿再現に向いており、文字中心の電子書籍に多く採用されている。

• .book
  ボイジャー社が開発した商業出版向けのファイル形式で日本で広く利用されている。
  HTMLベースのテキストを中心にルビ、字下げ、縦書きなどを原稿イメージに近いレイアウトを再現できる。

コンピュータグラフィックス

コンピュータグラフィックス（CG:Computer Graphics）は、次の \(2\)DCGと \(3\)DCG に大別される。

• \(2\)DCG（2dimension Computer Graphics）
  \(2\) 次元のCGで、以下の再現方式がある。

  • ベクターイメージ
    点の座標とそれを結ぶ線（ベクター、ベクトル）などの数値データをもとにして演算によって画像を表現するデータ再現方式。

  • ラスターイメージ
    画像を色付ドットの羅列・集合として表現するデータ再現方式で、アンチエイリアシングという斜線や曲線に生じるジャギーを周辺要素との平均値で目立たなくさせる技術が使われている。

    また、表現できる色数が少ない環境でも、表現可能な色同士を交互に表示させ（ドットノイズを加えた点描）、見掛け上は中間色に見えるようにするディザリングという手法も使われている。

• \(3\)DCG（3dimension Computer Graphics） 3次元のCGで、以下の表現方法がある。

  • ワイヤーフレームモデル
    物体を無数の点でとらえ、点を線で結び表現する方法。 サイズが小さく、処理も軽いが直線を組合わせて曲線を表現するため、立体感の表現が劣る。

  • サーフェスモデル
    上記 ワイヤーフレームモデルの点と線に加え、面の表現を取入れた表現方法。
    面の表現や複雑な形状のモデル作成向き。

  • ソリッドモデル
    上記 サーフェスモデルの面に加え、中身の表現を取入れた表現方法。
    体積、重心、重量等の幾何情報の計算が可能となる。

3DCGの制作技法

以下、\(3\) 次元空間を \(2\) 次元で表現する制作技法。

• テクスチャマッピング
  立体を構成する多角形の表面に別途用意された画像ファイル（テクスチャ）を重ね合わせ、物体の質感を出す表現方法。

• メタボール
  球体や楕円体など曲面を持つ複数の立体を融合して、曲面を持つ立体を表現する方法。

• レイトレーシング
  光線経路を計算して光が届かない場所（影）を黒で表現し、物体の影や反射・屈折・透過を表現する方法。

• ラジオシティ
  光源の光が乱反射したとき、それぞれの物体表面が受ける光エネルギーを計算して、表面の明るさを決定する表現方法。

• Zバッファ法
  視点とすべての物体が交わる点を計算し、隠れた面を消去して交点以外を表示させない表現方法。

• クリッピング
  画像を部分的に表示、または部分的に切り取った範囲のみ表示し、その範囲以外は表示させない表現方法。

• レンダリング
  平面や立体データを一定の処理や演算を行って、陰影をつけて画像化すること。

• ボリュームレンダリング
  物体の内部や空気中を通る光の屈折まで計算するレンダリング方法で、計算量は大きいが透明な液体や煙などを実写に近いイメージで表現できる。

• シェーディング
  コントラストで陰影付け、立体感を与える表現方法。

• モーションキャプチャー
  人や物体など実物の動きを記録・解析する技法でアニメーションやゲームキャラクターなどの表現で利用される。

マルチメディアテクノロジー

現実世界と仮想世界を融合させて知覚的な新体験を提供することを目的にしたマルチメディアテクノロジーの総称をxR（xReality）と呼び、以下で大別される。

• 拡張現実AR（Augmented Reality）
  現実環境をコンピュータによって現実世界に仮想世界を重ねて拡張する技術。

  例）実際の部屋に家具を配置するシュミレーションシステムなど。

• 仮想現実VR（Virtual Reality）
  利用者の感覚を刺激することにより、現実のように仮想世界を理工学部的に作り出す技術。

  例）バーチャル空間で体験できる職業トレーニングシステムなど。

• 複合現実MR（Mixed Reality） 仮想世界と現実世界をARより、密接に融合させ拡張する技術。

  例）医療現場で患者の身体データを空間に表示させるシステムなど。

• 代替現実SR（Substitutional Reality）
  現実世界を仮想世界として事前に準備し、利用者にこれから起こる現実として認識させる技術。
  ※ 現時点で実験段階の技術であるため、活用事例はない。

参考文献

• 瀬戸 美月 (\(2020\)) 『徹底攻略 応用情報技術者教科書』株式会社インプレス