University of the Ryukyus · Faculty of Engineering · 准教授

Research keywordsコンピュータビジョン・深層学習・CNN・文章生成・LiDAR・デジタル表現

This is a public-data preview. Personalized fit, contact angles, and saved workflows require sign-in.

• 屋外歴史的建造物の空間的関係を可視化するデジタル表現手法の開発2023 · 根路銘もえ子，赤嶺有平
• Attentionを応用した鏡面反射光の非活性化によるCNN推論精度改善手法2021 · 松永聖明, 赤嶺有平, 根路銘もえ子
• MolGANの拡張による文章グラフを用いた文章生成手法の提案2020 · <p>深層学習によって様々な分類問題が解決されているが，分類カテゴリ毎のデータ量が不均衡な問題を扱う場合，多くの課題がある．不均衡データへの対策として，少量カテゴリのデータ量を増加させ均衡化する手法がある．これをかさ増しと呼び画像処理分野ではノイズの付与や回転による方法が一般的である．最近ではGenerative Adversarial Network: GANによる画像生成手法を用いる場合がある．一方で，自然言語処理の分野では有効なかさ増し手法はいまだ確立されておらず，人手によるかさ増しが行われている．人手によるかさ増しではルールの設計など負担が大きく，機械的なかさ増し手法が必要となる．しかし，文章生成における機械的なかさ増しは画像生成に比べ不安定である．これは文章の特徴獲得の難しさが原因だと考えられる．そこで本論文ではグラフ情報に注目した機械学習による文章生成手法を提案する．CaboChaによって生成されたグラフ情報をGraph Convolutionにより畳み込み処理する．提案するGANにより生成されたかさ増し文章を3つの計算実験により評価し有効性を示した．</p>
• 畳み込みニューラルネットワークを用いた表情表現の獲得と顔特徴量の分析2017 · <p>Facial expressions play an important role in communication as much as words. In facial expression recognition by human, it is difficult to uniquely judge, because facial expression has the sway of recognition by individual difference and subjective recognition. Therefore, it is difficult to evaluate the reliability of the result from recognition accuracy alone, and the analysis for explaining the result and feature learned by Convolutional Neural Networks (CNN) will be considered important. In this study, we carried out the facial expression recognition from facial expression images using CNN. In addition, we analysed CNN for understanding learned features and prediction results. Emotions we focused on are “happiness”, “sadness”, “surprise”, “anger”, “disgust”, “fear” and “neutral”. As a result, using 32286 facial expression images, have obtained an emotion recognition score of about 57%; for two emotions (Happiness, Surprise) the recognition score exceeded 70%, but Anger and Fear was less than 50%. In the analysis of CNN, we focused on the learning process, input and intermediate layer. Analysis of the learning progress confirmed that increased data can be recognised in the following order “happiness”, “surprise”, “neutral”, “anger”, “disgust”, “sadness” and “fear”. From the analysis result of the input and intermediate layer, we confirmed that the feature of the eyes and mouth strongly influence the facial expression recognition, and intermediate layer neurons had active patterns corresponding to facial expressions, and also these activate patterns do not respond to partial features of facial expressions. From these results, we concluded that CNN has learned the partial features of eyes and mouth from input, and recognise the facial expression using hidden layer units having the area corresponding to each facial expression.</p>

• 博物館のDX推進を目指したデジタルコンテンツの自動生成システムの開発2022 · 基盤研究(C)
• 拡張現実を用いた博物館における双方向メディア型ガイダンスシステムの開発2019 · 本研究課題は，AR(拡張現実)を用いた博物館における利用者の興味関心を推定するガイダンスシステムの開発を目的としている．提案システムは，AR技術を用いて見学者(来館者)が，興味のあるモ ノに端末を向けるだけで直感的に情報を得ることができるようなUI(ユーザーインタフェース)を目指している. 一方，主催者側へ，利用ログを提供することで個々の展示物に対する興味関心や，大型の展示物のどの箇所に興味を持っているかなどの情報を提供し展示効果の分析に役立てることができる．初年度である2019年度においては，提案システムにおいて有効なインタフェースを検証するため，沖縄県にある世界遺産の一つである中城城跡におけるグスク時代の戦闘の様子を再現，さらに城壁の構造が実際の戦いにおいてどのように機能したかを能動的に学習することができるインタラクティブコンテンツを開発し沖縄県立博物館の特別展において実際に展示した．展示アプリケーションを多くの来館者に実際に試してもらい，実装したインタフェースの有効性を来館者アンケートを用いて分析したところ，スマートホンやタブレットに慣れている層（４０代未満）では特に説明なく直感的に操作することができることが示された． 一方，実際の展示物に対して自動ガイダンスを実現するには利用者が何をみているのかを，端末内蔵のカメラ画像から推定する必要がある．そのため，深層学習を用いた物体検出手法性能の向上に関して研究を並行して行った．深層学習は，認識，検出精度が訓練データセットの量や質に大きく影響され，データセットの作成コストが大きな問題となるが，本研究では，少ないデータセットから高精度な検出器を生成する手法の開発に取り組んでいる．
• 屋外歴史的建造物の時空間的関係を可視化するデジタル表現手法の開発2019 · 本研究のねらいは，沖縄県内に点在する「グスク」等，歴史的価値の高い史跡について，その立体的な構造と周辺地形を含む地理的位置環境および史跡間の地理的位置関係を立体的に可視化し，かつ史跡内に点在する文化財を３次元地理情報と結びつけて共有（公開）するシステム及びコンテンツ制作支援ツールを構築することである．今年度は，史跡の３次元構造を可視化を目的として，地上からの撮影に基づく写真測量手法の確立を目指した．地上から撮影することで樹木等上空から見えない箇所の三次元復元を実現すると同時に，航空法その他の制約によりドローン等による空撮が場所においてはコストバランスの優れた手法となる．複数の史跡（グスク）において写真撮影を行い特徴点マッチングおよびSfM(Structure from Motion)による三次元復元を試みたところ，高精度な点群データおよびテクスチャ付きポリゴンモデルが得られることがわかった．一方で，グスク独特の形状によりグスク全域の３次元復元を自動的に行うことは困難な場合があった．その場合，現時点では複数箇所の三次元点群データを3DCAD等を用いて手動で統合する作業が必要となる． 現存する史跡だけでなく，現在は建造物の地下に埋もれてしまっているものの発掘調査により過去に建造物が存在した蓋然性が高いとされる遺跡について，発掘資料及び同時代の他の構造物に関する資料等に基づき集落全体を地形の起伏を含めて３次元CGにより復元し，AR（拡張現実）による展示を行った．成果物は，沖縄県立博物館において開催されたグスク展（2019年11月19日(火) ～ 2020年01月19日(日)）において期間限定で展示され来館者から好評を得た．アンケート評価から，ARを用いた史跡展示は，その立体構造の把握に有効であることが示された．
• 基幹交通と有機的に結合した末端型デマンドバスモデルの開発及びシミュレーション評価2014 · 若手研究(B)

• Official profile