Last modified 11 years ago Last modified on 05/17/06 13:51:20

複数メディアを扱う研究開発のための基盤整備 ―MISTの開発―

TOC?

本年度のMISTプロジェクト(平成18年度若手横断プロジェクト提案計画書より)

研究の背景

我々は平成15~17年度の若手横断プロジェクトにおいて,メディア処理ライブラリMIST (Media Integration Standard Toolkit)の開発を行ってきた.MISTは,音声・画像(2次元,3次元)等の異なるメディアの統一的な処理,過去の技術の蓄積を有効活用,プラットホーム非依存の高い汎用性を特徴として持つ.昨年12月のプロジェクト一般公開から,Webページ( http://mist.suenaga.m.is.nagoya-u.ac.jp/ )のアクセス数は月平均3,000程度,本年4月は5,000を超え,公開後にダウンロードされたライブラリパッケージ数は700以上を記録している(4月26日現在).過去3年間のプロジェクト活動における機能拡張,バグフィックスにより,MISTのメディア処理ライブラリとしての機能は質・量ともに十分な水準に達しつつある.

一方で,ドキュメントやチュートリアルなどのライブラリ関連コンテンツに関しては,現段階では最低限のものを用意するにとどまり充実しているとは言えず,利用者に対してライブラリの有用さが十分に伝わらないという問題がある.また,これらのライブラリ関連コンテンツは,基本的に日本語のみで記述されているため,ライブラリの利用者は日本人に限られているのが現状である.今後さらなる新規利用者獲得のためには,これらを充実させていくことが必要である.

研究目的

本年度のMISTプロジェクトは,下記の2つを大きな目的として,その実現を目指す.

(1) ライブラリ関連コンテンツの充実

  • 開発者を含むMIST利用者による実例ベースのチュートリアルの作成
  • Webコンテンツ,ドキュメント類の英訳
  • MISTの使用目的,使用感などに関するアンケート調査の実施
  • MISTを用いたデモソフトウェア(画像レタッチソフトを検討中)の開発

(2) プロジェクト成果の取りまとめ

  • ライブラリパッケージ,関連コンテンツを成果物としてまとめたCDの作成
  • COE関連イベント会場等における成果物の配布

特色・独創的な点および予想される結果と意義

独創的な点は,開発者を含むライブラリ利用者が実際に行っている自分の研究を基に,ソースコードを交えながら処理の目的や方針,流れを詳細に解説する形式の実例ベースのチュートリアルを組み立てていくことにより,それを閲覧する他の利用者のより具体的なライブラリの有用性に対する理解の促進を図る点である.このような実例ベースのチュートリアルを提供することにより,今までのライブラリの基本的な使用方法の解説としてのチュートリアルでは伝わり難かった,ライブラリのどの機能をどの場面でどのように利用すれば良いかという,ライブラリ利用者が獲得してきたノウハウのようなものをより自然な形で他の利用者に伝えることができると考える.チュートリアルの題材の件数について現段階では5件ほど検討している.

チュートリアルの作成と並行してWebコンテンツやドキュメント類の英訳を行っていく.これによって,英語圏でのライブラリの普及を図る.また,Web上で利用者を対象としたアンケート調査を行うことにより利用者の動向を探る.また,MISTの機能を用いた汎用性の高いデモソフトウェアを開発し,ソースコードと共に公開することにより,MISTの有用性を示す.

位置づけ

最終年度のプロジェクトとして,過去3年間継続してきたプロジェクト全体のとりまとめを行うものに位置づけられると考える.

研究計画

本プロジェクトの研究計画は,大きく以下の3つのフェイズに分かれる.新機能の追加,バグフィクス,プロジェクト成果物の作成・配布はフェイズを問わず必要なときに行う.

準備フェイズ (5月~7月)

  • チュートリアルの作成担当者と題材の選出
  • 英訳するライブラリ関連コンテンツの選出,優先順位の決定
  • Web上にMIST利用に関するアンケートを設置

実行フェイズ (7月~1月)

  • チュートリアル作成
  • ライブラリ関連コンテンツの英訳
  • IMIセミナーやCOEシンポジウムにおけるプロジェクト紹介
  • デモソフトウェア開発

評価フェイズ (1月~2月)

  • プロジェクトの最終的な成果物のとりまとめ

研究を効果的に進めるための工夫

(1) チュートリアルの作成
初期フェイズにおいて作成担当者と題材を選出する.基本的にはチュートリアル作成担当の研究分担者が作成担当者となるが,件数を増やすために謝金を利用して研究支援者を雇い作成を依頼することも計画している.題材に関しては,各作成担当者が行っている研究をベースにすることにより,より現実的なMISTの利用事例を他の利用者に対して提示可能となると同時に作成担当者の負担を軽減できると考える.各チュートリアルには内容に関する質問や意見交換を行うための機能を設置し,フィードバックによる作成担当者のモチベーションの維持・向上とそのチュートリアル自体の質的な向上を図る.

(2) ドキュメント類の英訳
初期フェイズにおいて需要の高さと難易度を考慮しながら英訳対象のコンテンツの優先順位を決定する.英訳作業は基本的に英訳担当の研究分担者と謝金を利用して雇った研究支援者が分担して行うが,ソースコード内のコメント等の英訳の場合には,翻訳の能力以外にプログラミングとそのアルゴリズムの知識がある程度必要であると考え,そのソースコードを書いた開発者に英訳作業への協力を依頼することを考えている.

(3) 成果物の作成・配布
定期的にその時点で完成しているライブラリパッケージと関連コンテンツ(ドキュメント,チュートリアル,デモソフトウェアなど)をまとめたCDを作成し,COE関連のイベント会場等で配布することにより,新規ライブラリ利用者の獲得を図る.評価フェイズにおいて最終的に出来上がった成果物の内容から,本プロジェクト全体の評価を行う.



審査会スライド



プロジェクト審査で頂いたコメント

<総論>

  • COEのテーマである、メディア統合におけるメディア処理の統合基盤として大いに期待しています。頑張って下さい。
  • MISTが名古屋大学情報系COEの成果であることを、いろいろな方法(学会発表、謝辞記載、セミナー、デモなど)で広報して下さい。
  • 音楽関係のライブラリの充実を図って下さい。

<審査員コメント>

  • これまで開発してこられたライブラリMISTが大きな成功を収めていて、その関連ドキュメントの整備と利用者に対する調査が主な目的であると理解いたしました。研究成果を世に公表するたもの活動も研究の一環として大切であると思いますし、これまで3年間続けてこられたことの取りまとめの年度に当たるという位置づけからも、適切な内容であると思います。しかし、審査員によっては「新しいアイデアを実現するまでが研究である」と考える方もいらっしゃるかもしれません。そのような審査員にとっては、高い評価を与えにくい内容ではないかと思います。また、ご提案の計画では、新規に創意工夫するところがあまりなく、やり残している作業をこなすという印象があります。工夫しないといけないこととか、予想される困難、およびその克服方法として考えていることなどがあれば、主張しておくほうがよかったのではないかと思います。また、アンケート調査から得られた知見から期待できる今後の発展の方向性などもあってもよかったのではないかと思います。
  • 申請書ではこれまでの研究プロジェクトの継続であるということのみが記載されており、内容については特に新たな記載は見えない。また、特に問題点はも見当たらない。昨年まで採択されているのであれば、本年も採択しても問題はないと思います。評価としてはニュートラルであり、他の方の採択、不採択の意見を妨げるものではありません。
  • 研究目的が明確で、内容に有効性が認められる。システムの利用実績があることからも、所期の成果をあげることが期待できると考える。






平成17年度のMISTプロジェクト(平成17年度若手横断プロジェクト提案計画書より)

研究の背景

我々は平成15,16年度の若手横断プロジェクトにおいて,メディア処理ライブラリMIST (Media Integration Standard Toolkit)の開発を行ってきた.MISTは,音声・画像(2次元,3次元)等の異なるメディアの統一的な処理,過去の技術の蓄積を有効活用,プラットホーム非依存の高い汎用性を特徴とする.

記憶装置やセンサ類の発達に伴い,メディア処理に関する研究では大量なデータを扱うことによる処理コストの増加が問題となっている.一方,近年の計算機の低価格化により,研究室単位での小規模なPCクラスタの構築,学部/学科単位での大型計算機の導入が現実的なものとなり,並列計算環境がより身近なものとなってきた.そのため,並列計算環境を用いて大規模な処理の分散を図ることがより一般的となり,MISTのようなメディア処理ライブラリが並列計算機能を持つことはほぼ必須であると考える.

研究目的

本年度のMISTプロジェクトは,下記の2つを大きな目的として,その実現を目指す.

(1) 並列計算環境を選ばないスケーラブルなメディア処理ライブラリの実現

  • 各種アルゴリズムの並列化による適切な処理の分担,データの分割
  • マルチCPUの単一PCから,小規模なPCクラスタ,大型計算機まで対応
  • 異なる並列計算環境間でユーザによるソースコードの改変は不要

(2) ライブラリの利用促進・ユーザの獲得

  • MIST利用者のための講習会の実施
  • Web上で公開している,初心者/中級者向けチュートリアルの充実

特色・独創的な点および予想される結果と意義

本プロジェクトの独創的な点は,MISTが持つ,異なるメディアの統一的な処理,プラットホーム(コンパイラ)非依存な高い汎用性,などの特色を保持したまま,さらに並列計算環境を選ばないスケーラブルなメディア処理ライブラリを実現することである.

複数のCPUを持つ単一の計算機,研究室で構築された小規模なPCクラスタ,研究組織が保有する大型計算機等,様々な並列計算環境において,ソースコードの改変無しに動作するメディア処理ライブラリの実現を行う.これにより,ユーザ(研究者)はデータや処理の規模に応じて計算機環境を自由に選択することが可能となる.このことは,メディア処理の研究推進に対して大いに寄与するものであると考える.

また,昨年度2回にわたり実施したMIST利用者のための講習会は,講師(開発者)側からも受講者側からも好評を得ており,本年度も継続して行くことを検討している.本年度はWeb上で公開しているライブラリ利用のチュートリアルを更に充実させていくことにより,ユーザの獲得を図る.講習会の実施は,ライブラリの利用促進やユーザの獲得のみならず,分野の異なる研究者同士が実際に顔を合せて交流する場を持つという点で,大変意義のあることであると考える.

位置づけ

本プロジェクトは,今後更なる進展が期待される複数メディアの知的統合に関する研究のための基盤整備として位置付けられるものである.また,他分野の若い研究者同士がMISTという共通の基盤のもとで交流を図ることにより,より広い視野での研究の推進や斬新なメディア知的統合研究の萌芽等を促進する研究環境を提供するものであると考える.

研究計画

本プロジェクトの研究計画は,大きく3つのフェイズに分かれる.ここで,MIST利用者のための講習会は,フェイズを問わず定期的に実施するものとする.

初期フェイズ (7月~9月)

  • IMIセミナーにおけるプロジェクト活動内容の紹介(7月予定)
  • 並列化の対象とするアルゴリズム群のリストアップ
  • 小規模PCクラスタ(実験/開発環境)の構築

開発フェイズ (9月~1月)

  • 各種アルゴリズムの並列化と実装
  • 初期フェイズで構築したPCクラスタ,学科が保有する大型計算機を用いた動作テスト
  • IMIセミナーにおけるプロジェクト中間報告(12月予定)

評価フェイズ (1月~2月)

  • 様々な並列計算環境を用いたライブラリの評価(速度,使いやすさ等)
  • 並列計算機能を用いた簡単なアプリケーション作成(より具体的な評価)

研究を効果的に進めるための工夫

(1) 実験/開発環境

初期フェイズにおいて,研究経費で購入したPCを使って実際に小規模なPCクラスタを構築し,そのPCクラスタを実験/開発環境に用いる.これにより,実装→動作テストのサイクルを短くし,開発効率の向上を図る.また評価フェイズでは,このPCクラスタと学科が保有する,より規模の大きい大型計算機を利用することで,様々な並列計算環境でのライブラリのスケーラビリティ,ポータビリティの評価が可能となると考える.

(2) アルゴリズムの並列化と実装
本プロジェクトでは,並列計算機能の実現にマルチスレッドプログラミングとMPIプログラミングを組み合わせて利用することを検討している.MPIはPCクラスタや大型計算機などの分散メモリ型の並列計算環境で標準的に用いられているインタフェースである.主に計算機間でメッセージの送受信を行うための通信について仕様を定めたものであり,各計算機ベンダがこの仕様に準拠する形で提供するMPIライブラリが存在する.このような標準的な技術を用いることにより,高い可搬性を持つライブラリが効率良く構築可能となると考える.

その反面,アルゴリズムの並列化は全て開発者が請け負うこととなるため,そのノウハウが必要となる.そこで,実際に分散メモリ型の並列計算環境を用いて研究開発を行っている研究者を研究協力者として向かえ,研究経費の一部を謝金として支払い,ノウハウの提供,実際の開発に協力してもらうことを検討している.

(3) 開発メンバーによる技術講習会の実施
本プロジェクトが目指す並列計算機能の実現には,効率の良いアルゴリズム並列化(適切な処理の分担/データの分割),マルチスレッドプログラミング,MPIプログラミング,等の特別なノウハウが必要である.そこで,これらのノウハウの習得を目的とした開発メンバーによる技術講習会を定期的に実施することにより,ノウハウを共有し,開発メンバー全員のライブラリ開発に関する技術力を高める. 



審査会スライド

第3回IMICOEシンポジウム(2005/12/6)ポスター

成果報告会スライド



プロジェクト審査で頂いたコメント

  • アルゴリズムの並列化は研究の流れとして妥当であると思われる.しかし,並列処理の必要性の具体的説明(現在対象としている問題のサイズがどれぐらいなのか,並列処理のニーズがあるのか,など)が不十分である.
  • 研究代表者,研究分担者とも,並列処理の経験があるのかが不明であり,研究計画通り進むかどうかが不明である.特に,並列処理に関する研究協力者を謝金で迎え入れる計画とあるが,現実性のある計画であるのか疑われる.
  • 研究代表者,研究分担者の具体的な役割分担が不明であり(全員ライブラリの開発と書いてあるだ け),研究計画においても言及されていない.昨年度に比較して分担者の人数が増加しているが,それが今回の研究内容(ライブラリの並列化)と本当に結びついているのかが不明である.昨年度の申請者に加えて,並列処理を研究している研究者が分担者として加わっていれば,研究内容との整合性もあり納得できる.






平成16年度のMISTプロジェクト(平成16年度若手横断プロジェクト提案計画書より)

背景

情報系21世紀COEプロジェクトは,映像や画像,音声などの複数メディアの知的統合を目的とするものであり,我々は昨年度の若手横断プロジェクトにおいて,メディア統合研究開発の基盤整備として,MIST (Media Integration Standard Toolkit)の開発を行った.

MISTは,音声・画像(2次元,3次元)等の異なるメディアの統一的な処理,過去の技術の蓄積を有効活用,プラットホーム非依存の高い汎用性,を特徴とする.現在までに基本的なメディア処理アルゴリズムの実装はある程度完了し,MISTを積極的に利用し,開発に対する意見を頂いているユーザの数は,把握しているだけで10名程度である.今後の大きな課題としては,アルゴリズム群の充実,ライブラリの利用促進・ユーザの獲得の2点が挙げられる.

目的

本年度のMISTプロジェクトは,上記の2つを大きな目的として,その実現を目指す.

(1) アルゴリズム群の充実

  • コンピュータビジョンにおいて,よく用いられるアルゴリズム(オプティカルフロー計算,カメラキャリブレーション,エピポーラ幾何等)
  • 音声認識
  • 3次元ビジュアリゼーション(ボリュームレンダリング,等濃度曲面表示等)
  • 多岐に渡る音声・画像処理基本アルゴリズムの収集

(2) ライブラリの利用促進・ユーザの獲得

  • MISTの説明会,利用者のための講習会の実施
  • グラフィカルインターフェースを用いた音声・画像処理ツールの開発

予想される効果と意義

コンピュータビジョンや音声認識は,情報系COEプロジェクトに深くかかわる分野の一つであり,この分野におけるアルゴリズムの充実により,多くの利用者の獲得が期待される.また,3次元データに対する可視化機能の追加により,3次元処理の結果の直観的な理解が容易となり,ライブラリの利便性向上が図られると考える.これらと同時に現在実装済みである音声・画像処理基本アルゴリズムに関しても,他のアルゴリズムを収集し,各アルゴリズムのバリエーションを増やすことによって,ライブラリの利便性の向上が期待される.   定期的にMISTの説明会,利用者のための講習会を実施することで,開発者とユーザ,ユーザとユーザの交流によるライブラリの利用促進を図る.また,マウスを用いた簡単な操作で基本的な音声・画像処理が可能なツールを開発し,より気軽にMISTに触れられる機会を作り,新規ユーザの獲得を図る.ライブラリのユーザからのフィードバックは非常に重要である.ユーザからのフィードバックは,バグフィックスのみならず,開発者のモチベーションを保つ効果も期待され,結果として,ライブラリの質的な維持・向上が図られるものと考える.

位置づけ

本プロジェクトは,今後更なる進展が期待される複数メディアの知的統合に関する研究のための基盤整備として位置付けられるものであり,それとともに,他分野の若い研究者同士がMISTという共通の基盤のもとで交流を図ることにより,より広い視野での研究の推進や斬新なメディア統合研究の萌芽等を促進する研究環境を提供し,研究開発の促進を図るものである.

研究計画

本プロジェクトの研究計画は,大きく3つのフェイズに分かれる.ここで,MISTの説明会,利用者のための講習会は,フェイズを問わず定期的に実施するものとする.

初期フェイズ (7月~9月)

  • IMIセミナーにおけるプロジェクト活動内容の紹介(7月予定)
  • 研究者のライブラリに対する要求に関するアンケート調査
  • プロジェクト支援者の募集,選定

アルゴリズム群のリストアップ開発フェイズ (9月~1月)

  • アルゴリズム群の実装
  • GUIを用いた音声・画像処理ツールの開発
  • アルゴリズム群に対するドキュメント群の整備
  • IMIセミナーにおけるプロジェクト中間報告(12月予定)

評価フェイズ (1月~2月)

  • MISTの浸透度に関するアンケート調査
  • 利用者による評価(実用性,使いやすさ等)
  • 簡単なアプリケーション作成(コード量,速度等に関する評価)

研究を進めるにあたって

(1) プロジェクト支援者の募集,選定 IMIセミナーにおけるプロジェクトの紹介,アンケート調査等を通じ,プロジェクトの主旨を十分に理解してもらい.その上で,募集や選定を行う.なるべく幅広い分野からのプロジェクト支援者(開発メンバーを含む)を集めることにより,様々な観点からプロジェクトの改良点を探り,その後のプロジェクト推進に有効活用する.

(2) 謝金の支払い制度本プロジェクトの研究経費の大半は,謝金としてプロジェクト支援者に支払われる.各プロジェクト支援者に支払われる謝金の金額を,プロジェクトへの貢献の度合いに対する出来高制により決定することを検討している.例えば,アルゴリズムの実装の難しさの度合いに合せて開発期間を調整することによって,この制度を実現することを考えている.これは,支援者の開発に対するモチベーションを上昇させることを目的とするものである.

(3)開発メンバーによる技術講習会の実施開発メンバーの開発技術の向上や開発状況の確認を目的とした技術講習会を定期的に実施する.MISTは,テンプレートを用いたプログラミングにより,開発者にとってはライブラリ開発の効率性,ユーザにとってはライブラリの利便性の向上を実現してきた.こうした技術講習会を実施することにより,テンプレートを用いたプログラミングに関するノウハウを共有し,開発メンバー全員のライブラリ開発に関する技術力を高める.

審査会スライド



第13回IMIセミナー(2004/7/7)発表スライド






平成15年度のMISTプロジェクト(平成15年度若手横断プロジェクト提案計画書より)

情報系21世紀COEプロジェクトは,映像や画像,音声などの複数メディアの知的統合を目的とするものであり,そのためにはこれまでの各分野における優れた研究成果や技術の蓄積を有効に活用することが重要である.

画像処理の分野では,SLIP(旧鳥脇研)と呼ばれる非常に強力で有用な画像処理サブルーチンライブラリの開発により,多くの研究成果が得られた. しかしながら,通常こうした有用なライブラリやツールは一つのメディアに特化されたものが多く,また各研究グループによって独自に開発されたものであるため,現状では異なるメディアを扱う複数の研究グループが共同でそれらの統合に関する研究を進めるような場合には,各グループ間の連携をとることが困難であり,また異なるメディア間のインタフェースを作成する必要性が生じる場合も考えられる. これらは研究の効率性を損なう要因となる. そのような研究の効率的な推進のためには,研究者がメディアの種類を意識することなく複数メディアの処理を可能とするような,メディア統合に関する研究の標準的な枠組みが必要であると考える. そこで,本プロジェクトでは複数メディアを扱う研究開発のための基盤整備を目的として,メディア統合標準ライブラリMIST(Media Integration Standard Toolkit)の実現を検討する. 平成15年度はその基礎研究として,各メディアの処理を行うために用いられているツールやライブラリの調査を行い,その結果をもとにMISTの設計を行う. その中でも特に画像と音声の2種類のメディアに着目し,それらの処理の統合的に行うMISTのプロトタイプを実際に試作する. そして,試作されたMISTを使用して,画像と音声を同時に扱うような簡単なアプリケーションを作成し,MISTを用いることによる複数メディアを扱う研究の効率性、ならびにアプリケーションの生産性の向上に関する評価を行う. また,ライブラリとしての汎用性や拡張性についても考察する. 映像や画像,音声などのメディアは,信号処理の観点からすれば多くの共通した性質を持つと考えられる. MISTは,これらの共通した性質を利用することにより,これまでは各メディアに対し独立に行われてきた処理を統一的に行うことを可能とするものである. これによりMISTユーザはその処理の内容と出力を理解するだけで,入力するメディアの種類を意識する必要が無くなり,複数メディアに対する処理が容易となることが期待される. また,MISTの設計に関しては,各メディアを扱う分野におけるこれまでの優れた技術の蓄積が有効に活用されることを前提としているため,あるメディアを専門として扱ってきた研究者が他のメディアを扱う場合やそれらの統合を考える場合であっても,十分な有効性が期待される. 開発言語としてはC++を用い,可能なかぎりプラットホーム非依存の高い汎用性を持つライブラリの実現を目指す. また,ポリモーフィズムやテンプレートの概念を導入することにより,開発の効率化が図られると同時に,将来出現するであろう新しいメディアへも柔軟に対応可能となるような高い拡張性を持つことが期待される. 本プロジェクトは,今後更なる進展が期待される複数メディアの知的統合に関する研究のための基盤整備として位置付けられるものであり,本プロジェクトによって検討されるMISTが将来これらの研究において標準的なライブラリとして用いられる場合の効率性,及び生産性の向上に関する可能性や有効性を調査するものである. 複数メディアの知的統合という革新的な研究を進めていくためには,このようにアイディアを容易に形にすることができるような研究環境の整備が重要であると思う.

プロジェクト審査で頂いたコメント

  • その成果がIMI-COE全体に貢献することが期待される、重要なプロジェクトである。プロジェクト遂行にあたっては、以下の点を考慮されたい。
    1. 仕様設計、コーディング、デバッグなど各工程に必要な工数を見積り、場合によっては経費計画の変更(謝金の増額)により、アルバイト学生などの手配を過不足なく行うこと。可能であれば、ソフトウエア工学の専門家をメンバーに加えてはどうか。
    2. 仕様案を、なるべく早い段階でIMI-セミナーにおいて発表すること。
  • 新規性には疑問が残るが,MIST自体の有効性はあると思われる.
  • 共有ソフトウェアツールの開発と公開は重要な仕事だと思われます。ただし、ソフトウェア開発・保守の専門的知識を取り入れる必要があると思われますので、関連した研究室との交流をもって、効率よく計画を遂行してください。また、アプリケーションの研究者の意見をよく聞いて必要な機能を洗い出してください。早期のソフトウェア公開を期待しています。