本テキストは,JSAI2019のサイト(https://www.ai-gakkai.or.jp/jsai2019/)において,「深層学習」で講演検索(タイトル,アブストラクト,キーワードでマッチ)を行った結果の発表タイトルとアブストラクトを抽出したものとなっています. (なお一部の,特別企画等は検索結果から除いています.)また,アブストラクト中の,空行,半角英数字の前後や文頭などにおける英単語同士を区切るため以外の半角スペース,文の途中の改行は削除するとともに,すべての句読点は一括変換により全角の「,」「.」に統一しています.小数点は半角ピリオドにしています. 日本語文字コードはUTF-8です. スナリバラフト 深層学習における不確かさ評価の重要性. 近年,社会の様々な場面で機械学習・深層学習手法による予測が活用されている.深層学習手法を用いて学習したモデルは高い精度で予測を行うことができるが,予測信頼性を十分に考慮できておらず,予測の困難な外挿データに対しても高い確信を持って予測を行ってしまう危険がある.本研究では画像識別タスクに対して,通常の深層学習手法および近年提案されている不確かさを考慮した深層学習手法を適用し,外挿データに対するモデルの頑健性を検証した.通常の深層学習手法により学習したモデルはモデル学習用データに存在しない特徴を持つデータに対して高い確信度で予測を行ってしまうが,不確かさを考慮した深層学習手法により学習したモデルはそのようなデータに対し確信度を低く出力し,誤った予測を回避することが可能となる.実験結果より深層学習手法における不確かさ評価の重要性が示唆された. スナリバラフト 脳内情報表現の融合による深層学習ネットワークの認識能力向上. 近年,深層学習は物体識別のようなパターン認識課題において非常に優れた成績を示している.しかし,最新の深層学習ネットワークを用いても,感覚入力パターンから,それと結びついた人間の主観的判断(例:嗜好,印象)を推定することは未だ難しい.そこで本研究では,深層学習の特徴表現に脳の情報表現を統合することで,そのような推定問題における深層学習ネットワークの性能を向上させられるか検証を行う.まず,深層学習ネットワークにおける視覚入力の特徴表現と,同じ入力対する脳内の情報表現の間の対応関係を,計測脳応答を用いて事前に学習する.次に,その対応関係を用いて,新たな視覚入力に対する深層学習特徴表現を脳内情報表現に変換する.そして,変換された情報表現を用いて,その視覚入力が誘発する人間の認知内容を推定する.その結果,脳内情報表現を統合したときのほうが,推定性能が向上することを,2つの推定課題を用いて例示する.本研究で採用する深層学習と脳情報の統合手法は,人間の主観的判断の推定において,深層学習の性能を向上させる,効果的な方法論を提供するといえる. スナリバラフト グローバル株式市場における深層学習を用いたマルチファクター運用の実証分析. 時系列予測の観点から株価を予測するために深層学習を用いる研究が多数行われてきた. 一方で,クロスセクション予測(マルチファクターモデル)の観点から,深層学習を用いて株価を予測する研究は少なく,特に世界の株式市場における有効性を実証する研究は存在しない. そこで本稿では,グローバルな株式市場においてクロスセクション予測の観点から深層学習を用いたマルチファクターモデルに基づく相対的な魅力度の有効性を検証する. 分析の結果,次の結論が得られた. 1.深層学習による株価予測モデルはランダムフォレストやリッジ回帰に比べリターン/リスクの面で優れている.2.特に低リスクという観点で,深層学習モデルは優れている.3.市場の効率性が低下すると,収益機会が増える可能性がある. スナリバラフト データ並列深層学習における短期事前学習を用いた適応的学習係数調節手法. 本稿ではデータ並列深層学習における短期事前学習(Short-TermPre-Training:STPT)を用いた適応的学習係数調節手法について記す.SPTPとは複数の学習係数を1エポック中の数イタレーションで評価を行う手法である.本手法は複数の学習係数を用いた短時間の事前学習だけで,未知のネットワーク構造に適したLRを選択し,深層学習モデルを素早く評価できる.従来は未知のモデルに対してハイパーパラメータの決定に,数多くのプロセスを要したが,本手法ではこれを短縮する.従って,本手法は最適な学習係数を素早く決定し,学習に必要な演算時間を削減できる.8つの学習係数,8並列のデータ並列を用いて本手法を用いた場合,従来手法と比較して87.5%の演算時間の削減に成功した.また,学習係数を固定した手法と比較して4.8%の精度向上を達成した.つまり,精度劣化を起こさず,少ない演算量で最適な学習係数を求めることができる.本手法は特に,従来手法と比較した場合,未知の深層学習モデルに対して効果を示す. スナリバラフト IoTデバイスのための深層学習を用いた自動販売機の購入商品の識別. 近年,深層学習を利用したIoT技術は様々な目的に利用されている.IoTにおいてエッジコンピューティングとデータ転送量,クラウドへのデータ蓄積のバランスが重要である.本研究では,深層学習を用いた画像認識技術に寄って,自動販売機から購入された飲料を自動で認識することを提案する. スナリバラフト 農園画像における深層学習を用いた隠れ果実領域の抽出. IoUやICTを農業に応用することで,生産性の向上を目指す研究が行われている.本研究では,深層学習を用いて,農園モニタリング画像から,隠れた領域を含めた果実領域抽出を行うことで,果実の生長を把握する手法を提案する.隠れた果実領域を深層学習させるために,隠れ領域を自動で生成する訓練データ拡張手法を開発した.生成した訓練データをCOCO学習済みモデルに追加学習した結果,果実検出精度が向上したとともに,隠れた果実領域の検出も可能となった. スナリバラフト 視線データを活用した深層学習による胸部X線写真の診断的分類. 深層学習を活用した胸部X線写真の自動診断は現在盛んに研究されている.診断精度を改善するためには,異常と疑われる局所画像を抽出し,深層学習ネットワークの入力とするかが重要である.そこで本研究では,「診断時に医師が凝視している領域を異常と疑われる局所画像として抽出できるのではないか」 という仮説を立てた上で,視線データを基に抽出された局所画像を入力とする深層学習モデルを構築した.その結果,視線データを使用しない場合,または医師訓練を受けていない被験者の視線データを使用した場合に比べて,医師の視線データを使用した場合により高い精度が認められ,視線データの有用性を示した. スナリバラフト 線形回帰モデルを活用した深層時系列予測モデルの比較検討. 時系列データの将来予測は産業上重要であるため,様々な予測モデルが提案され,深層学習によるモデルが従来モデルに比べ高い精度が出る事例も報告されている.しかし,深層学習を用いた予測モデルは,学習に要する時間がかかることや,長期にわたる周期性を保持することが難しくそのような時系列の予測には不向きであることも知られている.この問題を踏まえ,これまで自己回帰モデルの発想を取り入れることで周期性の保持や計算量の削減を実現する深層モデルの研究が進められ,複数種類の手法が提案されてきた.しかし,これらのモデルは同じデータや設定での比較した研究はなされていないため,データごとの各タスクに対しどのモデルが有効であるかは不明な点も残されている.そこで,本研究ではこれらの手法を複数種の時系列データに対し異なる設定下で適用し,過程や結果を比較検討することで各モデルの特徴を捉えることを目的とする.複数のモデルで実験を行った結果,ARモデルが有効であると考えられる時系列予測には線形回帰モデルを活用した深層モデルが有効であるが,そうとは言えない時系列予測はより単純な深層モデルが有効であることが示唆された. スナリバラフト 深層学習における学習ネットワークからの分類パターンの抽出. 近年,深層学習における分類基準のブラックボックス問題の解決が重要視されている.テキストマイニング分野においても,分類基準が明確になれば,良い電子カルテに分類される根拠を理解するなど,深層学習の新しい活用が期待できる.しかし,テキストマイニング分野において,分類基準を明確にするための学習ネットワークの解釈に注目するような研究はほとんどない.そこで本研究では,文章の分類問題を題材として,深層学習により学習されたネットワークの解釈に向け,学習されたネットワークに与えられた重み情報から,それぞれの出力ラベルに分類されるための必要条件となる分類パターンの抽出・可視化を行う.特に本研究の特徴として,テキスト分類に広く用いられているRNN(RecurrentNeuralNetwork)を用いて,分類パターンとして,順序付きの時系列パターンの抽出を試みる.また,提案手法により抽出される分類パターンと,カイ二乗検定による有意性があるとされた分類パターンとの比較を行った結果,提案手法では,カイ二乗検定では有意性があるとされないが,学習ネットワークの解釈に有効な分類パターンの抽出が可能であると確認した. スナリバラフト 深層学習の学習経過におけるクラスタ構造の推移の可視化. 深層ニューラルネットは様々なタスクにおいて高い性能を達成しており,その予測のメカニズムを理解するための手法を構築することは重要な研究課題である.近年,データから学習されたニューラルネットをより単純で解釈性の高いモジュール構造に分解するための手法が提案されている.本論文では,深層ニューラルネットの学習経過についての知識を獲得するために,学習におけるモジュール構造の推移を可視化する手法を提案する.提案法では,まず学習の各段階におけるニューラルネットを階層的クラスタリングに基づきモジュール構造に分解し,次に異なる学習段階におけるモジュール同士の関係を共通するユニットの割合に基づいて解析する.実験により,提案法を用いることで学習経過におけるモジュールの分割と統合の様子と,各モジュールが持つ入出力マッピングの意味での役割について知識を獲得できることを示した. スナリバラフト 深層満足化強化学習に向けて. 強化学習では連続状態空間を扱う方法としてDQNなどが提案されているが,DQNはε‒greedyのようなランダム探索戦略に依存しているため,膨大な探索空間を扱う場合に適切な探索と活用を行うことは非常に困難である.一方で人間は満足化という意思決定傾向によりこれを解決しているとされる.その満足化を強化学習に反映したアルゴリズムとしてRisk‒sensitiveSatisficing(RS)が考案された.RSを深層強化学習に適用することで適切な探索と活用が期待されるが,RSは状態のカウントを用いるため,DQNで扱うタスクのような状態が極めて多い環境において同一の状態が観測されにくく,状態のカウントが効率的でないという問題がある.本研究では,その解決のため,連続状態空間での状態の不確実性から内発的動機付けを行うために連続状態空間から擬似的に状態をカウントする方法として利用されている擬似カウントとハッシュ関数+オートエンコーダを用いてRSを深層強化学習へ適用する手法を提案する.この手法を用いた実験により,RSが深層強化学習における効率的な学習を可能とすることを示す. スナリバラフト UNREALにおける補助タスクの適応的選択. 深層強化学習において,複雑な問題を解くことは状態空間が膨大であるため非常に困難である.深層強化学習法の一つであるUNspervisedREinfrocsmentlearningandAuxiliaryLearning(UNREAL)は異なる複数の補助タスクを学習時に導入することにより,ゲームタスクにおいて高いスコアを達成している.しかし,UNREALで用いられている全ての補助タスクは,あらゆる問題設定において必ずしも有効であるとは限らない.そのため,補助タスクの設計に環境に合うタスクを設計する必要があるが,問題に合わせて逐次設計することは多大な手間と時間を要する.本研究では,補助タスクを環境に合わせ適応的に選択するタスクAuxiliarySelectionをUNREALに導入することで,効率的に学習する手法を提案する.DeepMindLabを用いた実験により,効率的に学習できることを示す. スナリバラフト 深層逆強化学習による自動運転の安心走行実現. 自動運転の実現に向けては,安全性だけでなく,搭乗者の快適性が必要とされている.本論文ではこれを安心走行と定義する.快適性に対する期待は設計者によって異なるため,安心走行をルールベースのアルゴリズムとして設計することは困難である.これに対して,エージェントの試行錯誤によって最適方策を学習する深層強化学習の導入が検討されている.一般に,深層強化学習における報酬は設計者によって定義されるが,安心走行は定量的な表現が困難であり,設計者による報酬で安心走行を獲得できる保証はない.そこで本論文では,線形可解マルコフ決定過程を利用した深層逆強化学習であるLogReg-IRLを用いて,安心走行の基準を満たす軌跡と満たさない軌跡から状態依存のコストと状態価値を推定し,これらを用いて計算されるシェーピング報酬を用いた学習により安心走行を獲得する手法を提案する.実験では,安心走行の基準をY軸方向の加速度とし,結果として基準を満たす走行を獲得した.また,シェーピング報酬の計算に用いる状態依存のコスト関数の状態入力に対する勾配を計算することで,報酬の計算に影響を与えている状態入力を明らかにすることができた. スナリバラフト グラフ表現を用いた知識獲得予測による潜在知識構造の抽出と活用. 近年,教育と情報技術の融合が進む中で,生徒の過去の学習行動を元に習熟度を推定する,知識獲得予測(knowledgetracing)の研究が活発化している.オンライン教育サービスの普及によるデータの大規模化も伴い,深層学習の活用によって従来より高い精度での予測が可能になったことが知られているが,既存の深層学習を用いた手法はでいずれも知識特有の構造を十分に考慮したモデルが設計されておらず,モデルの予測精度や予測の解釈性・妥当性が損なわれている.本研究では,知識構造をグラフ表現を用いて定式化し,近年発展が進む,深層学習を用いてグラフを扱うGraphNeuralNetworkを拡張したモデルによって,これらの問題の解決を図る.実験では,提案手法が既存手法に比べて,高精度かつ妥当性と解釈性の高い予測を行えることを,オープンデータを用いて実証的に検証し,またデータから学習されたグラフ構造を分析することで,効率的な知識構造の設計に関して考察する. スナリバラフト 言語モデルによる文の最適分割に基づく音声言語理解. 本論文では,音声言語理解の代表的な形式であるスロットフィリングタスクを,入力文の最適分割を求める問題として定式化するアプローチを提案する.この定式化を用いることで,系列ラベリングとして定式化して深層学習を適用する従来の手法に比べ,小さい計算資源で実行可能な言語モデルの学習に基づいた手法を導くことができる.提案手法は,モデルの学習をワンパスアルゴリズムによって高速に行い,最も確率の高い解釈の推定を動的計画法を用いて効率的に行う.実験により,提案手法は深層学習手法と同等の推定精度を達成しつつ,高速かつ省メモリに動作することを確認する. スナリバラフト ConditionalDCGANによる数字・アルファベット・カタカナの手書き文字生成の試み. 新たな手法や技術により発展している深層学習には,人々の仕事効率を助けたり,とある現象をみて予測を立てたり,デザイナーとなって画像を生成するなど様々な可能性に満ちている.本研究では深層学習を用いて"条件付き"の手書き文字を生成を行った.単なる画像生成ではなく,入力者側が生成したい手書き文字を指定する(生成の条件をつける)ことでその文字を生成することを目的とする.目的達成のために,実験では深層学習モデルとしてDCGANとConditionalGANを組み合わせたConditionalDCGANを構築,ラベル情報の付加で生成条件がつけられた画像生成のトレーニングを行った.141,319のサンプル訓練データにある数字やアルファベット,カタカナなどの総計96種類の手書き文字の書き分けトレーニングを通じて,インプットの要素として含まれるランダムノイズの次元数がその種類数を上回るようにした学習済みのGeneratorは各種類に対応付けたラベルを指定するだけで,その該当文字を生成できたことを紹介する. スナリバラフト マルチエージェントシステムにおける効率的タスク処理のための深層強化学習を用いた割り当て戦略. 本研究ではマルチエージェントシステムを念頭に,タスク実行に必要なリソースとメンバー能力のマッチング問題を考える. 我々はタスク・リソースマッチング問題に対し深層強化学習を用いて現代的な解法を構築し,基準となるいくつかの既存手法と多角的な観点から比較しながら提案手法の評価を行った. 数値実験の結果により,深層強化学習は組み合わせ最適化問題において実行時間と組み合わせ精度の両立を狙う際に有用であるということが明らかにされた. スナリバラフト 音声刺激による脳活動の言語解読への取り組み. 近年,脳神経活動の意味表象を捉える研究が盛んになっている.本研究では,FunctionalMagneticResonanceImaging(fMRI)で観測した音声刺激下の脳活動データから,人が脳内に想起した高次意味表象を言語として解読することを目指し,深層学習を用いて,音声刺激による脳活動データからその意味表象をテキストとして生成する手法を構築する.しかし,fMRIにより観測する脳活動データは取得のためのコストが大きく,大量の学習データを要する深層学習を十分に行うための大規模なデータ収集は困難である.そのため,自動音声認識手法を援用することで少量データを効率的に活用する.実験により,脳活動データの特徴量と音声特徴量の間の高い相関を確認した. スナリバラフト データ非線形性とダム流入量予測精度に関する研究. 我々は上流側と下流側の流況データの相関関係を使って,ダム流入量の予測精度向上を目指している.上流側と下流側の水位・流量のデータ関係を扱う場合,その非線形性に着目し,非線形性の程度に応じてモデリングの方法を変えていかなければならない.本稿では,分布型流出解析モデルによって生成した時系列データに偏差を与え,非線形性のデータを作成した.その後,深層学習ネットワークの一種であるLSTMを使って,その非線形性データを学習し,ダム流入量予測モデルを作成した.結果として,通常の観測値が持つ偏差は深層学習モデルの複雑さに影響しないことが分かった. スナリバラフト ConvolutionalNeuralNetworkによる画像認識と視覚的説明. 画像認識分野において,深層学習は広く活用されている.特に一般物体認識タスクでは,人の認識性能を超えるレベルに達している.その過程において,様々なネットワークモデル,深いネットワークを学習するためのテクニックなども提案されている.一方で,深いネットワークがどのような判断根拠で認識結果を出力したのか,についてはブラックボックスである.近年は,判断根拠を可視化する研究も進んでいるが,判断根拠を把握するための処理を追加することで認識性能が低下することもある.本発表では,画像認識分野における深層学習の活用事例とともに,判断根拠を可視化する手法,および判断根拠を活用した認識性能の向上手法について発表する. スナリバラフト DeepNeuroevolutionによるロボティックスワームの二点間往復タスクにおける群れ行動の生成. 深層ニューラルネットワーク(DeepNeuralNetwork,DNN)と強化学習を組み合わせた深層強化学習(DeepReinforcementLearning,DRL)が様々な問題において 良好な性能を記録している. DNNは結合荷重値の勾配を用いた最急降下法により学習する. そのため,評価関数のランドスケープ形状にその性能が大きく依存すると考えられる. これに対し,DNNを進化計算で学習させるDeepNeuroevolution(DNE)が試みられつつある. 本研究では,DNEをロボティックスワームに適用して合目的的な群れ行動の生成を狙う. 一般に,ロボティックスワームの群れ行動生成問題では,合目的的な群れ行動を生成するための報酬設計は簡単ではない. DNEは個体群ベースの勾配フリーな方法によってDNNの学習を行うため,報酬設計に対し頑健な学習が期待される. ベンチマークとして二点間往復問題と取り上げて計算機実験を行った. その結果,DNEとDRLを比較すると異なる報酬設定においてDNEの方が明らかに頑健な制御器獲得をしていることがわかった. スナリバラフト 二値化ニューラルネットワークへの変分情報ボトルネックによる正則化. 深層ニューラルネットワークはその性能の高さからIoTといった様々な分野で応用されている.そのためエッジデバイス上での深層ニューラルネットワークの実行が求められている.しかしながら,エッジデバイスは性能が低いため,深層ニューラルネットワークのモデルサイズを小さくする必要がある.その解決策として重みおよび信号を1bitで表現する二値化ニューラルネットワークが挙げられるが,深層ニューラルネットワークに比べて離散的であるため入力の摂動に対して頑健性が低い課題が残っている. そこで,本研究では変分情報ボトルネックの導入による正則化手法を提案する.本稿では,CIFAR-10を用いた実験を行い,AlexNetをベースにしたモデルにおいて提案手法が二値化ニューラルネットワークの過学習に対して有効であることを示した. スナリバラフト 深層強化学習エージェントの行動別顕著性マップの生成に関する考察. 近年,深層強化学習エージェントは驚くべき発展を見せ,素晴らしい成果を挙げている.一方で,エージェントの行動のみを視認して,根拠となった画像特徴を推測するのは困難であるという問題がある.これに対し,エージェントが持つニューラルネットの入出力を用いて判断根拠を可視化することで,行動を分析しようとする試みが行われている.可視化手法の一つに顕著性マップの生成がある.しかし,行動毎に顕著性マップを得る手法はあまり研究されていない.本稿では,深層強化学習エージェントの行動を視覚的に分析する際に,エージェントの持つニューラルネットから各行動ごとに顕著性マップを得る手法を提案する.実験の結果,環境から得られる状態観測内のオブジェクトが,エージェントの各行動に及ぼす影響を可視化する顕著性マップを得られた. スナリバラフト 深層学習の可視化による神経科学的知見の抽出. 近年深層学習を用いた研究が様々な分野において行われている.さらに,深層学習によるモデルの可視化の研究も活発に行われている.また,人間の主観的状況と脳波の間の関係が生理心理学分野において明らかにされている.本研究では,画像分野において開発されてきた可視化手法を脳波の解析に適用し,この手法により,ネットワークを可視化した画像から生理的に妥当な脳活動の構造を抽象化することができるか検討を行った.結果,快不快感情間の脳活動の左右差と,不快感情における脳活動の局所性という,これまでの神経科学の研究と一貫性を示す二つの重要な脳構造を示した.これらの結果から,提案手法は人間の心の科学的理解を深めるためのツールとして有用性があると考えられる. スナリバラフト 深層強化学習を用いた翼形状の最適化と手法の比較. 航空エンジンや車両用過給機をはじめとする機械製品を設計する場合に,CAE(ComputerAidedEngineering)は欠くことのできない技術である.設計者はCAEを用いて,例えば翼の周りの流体の流れを数値的に解析し,その物理現象を理解して実際に製品を作成した時の性能等を予測する.所望の制約条件を満たしたうえで最も性能が良い形状を作成するため,これまでは応答曲面法などを用いた最適化が行われてきた.これらの手法は複数の流れの条件に対して良い性能を持つ形状を探す際には,流れの条件を変えるごとに数値解析を繰り返す必要があり,設計時間の長大化を招いていた.本稿では,この設計時間を短縮するために,深層強化学習を用いた形状最適化を行なう.深層強化学習をNACA翼の揚抗比最大化に適用し,目的に応じてエージェントが適切に迎角を変更できることを確認した.また手法ごとに学習に必要なCAEの回数を比較し,本課題ではDQNが最も適していた.本比較により選択する手法次第で必要なCAEの回数に大きな差があることがわかり,今後強化学習を用いて最適化設計を行う上で,選択するべき手法の指針が示された. スナリバラフト 病院内行動ログおよび属性情報を用いた行動予測手法の実現. 本稿では,病院内の行動ログと各看護師の属性データを用いた行動予測の実現方法について述べる.近年,医療従事者の仕事の忙しさと複雑さが社会問題となっており,情報技術を応用して医療スタッフの業務効率を実現することが重要である.実際の医療現場において札幌道都病院の協力を得て,RFIDタグを貼付して行動データを収集している.本手法ではこれらの実際の行動データを用いてLong-ShortTermMemory(LSTM)を適用することで行動順序に基づく行動予測を実現した.行動予測法を適用することで,医療スタッフの最適配置など作業効率の向上を実現する. スナリバラフト 深層学習を用いた不動産画像の分類システムのビジネス適用. 不動産業界において,深層学習の活用により業務におけるコスト削減を図りたいというニーズがあり,大東建託株式会社向けに不動産画像の分類システム(物件写真自動掲載システムと呼ぶ)を構築し,ビジネス適用に至った. スナリバラフト オンプレミス深層学習による頭部CT画像診断の試み. 当院で撮影された頭部CT画像を用い,CNN(ConvolutionalNeuralNetwork)を用いた教師あり学習により,脳出血を正しく画像診断できるかどうかを検討した.データを加工せずに解析を行った場合の認識率は低かったが,データのトリミング,データの水増しそして活性化関数や畳み込み層の最適化によって高い認識率が得られた.一般的に深層学習には大量の画像データが必要とされているが,少ない画像データでも高い認識率が得られた事は,今後オンプレミスでの人工知能開発の可能性を示唆するものである. スナリバラフト メタ学習としてのGenerativeQueryNetwork. GenerativeQueryNetwork(GQN)は未知の視点からの観測画像のレンダリングを可能にする革新的な深層生成モデルであり,新たな3次元モデリング手法として注目を集めた.しかし,GQNには,莫大な学習コストがかかる点,ハイパーパラメータに敏感で学習が安定しない点などの課題があることがわかっている.また,確率モデルとしての検証が不十分であるために,モデルアーキテクチャの解釈性が低く,発展研究の妨げとなっている.本研究では,これらの課題を解決するため,GQNの確率モデルをメタ学習のフレームワークを用いて定式化し,それに基づいて,学習のコストと不安定性を改善する手法の提案を行う.評価実験ではShepardMetzlerデータセットを用いてその有効性を検証する. スナリバラフト 分散システムにおける疑似同時化の検討. 深層学習の技術が成熟するに従い,既存の機械学習アルゴリズムを柔軟に組み合わせた複合システムを開発することで,より高度な知的システムを構築することが期待されている.複合システムをリアルタイムかつ分散的に動作させる場合,アルゴリズム間の時間的整合性を考慮する必要があり,それが改変や大規模化の際に弊害となりうる.本研究では,各アルゴリズムの出力をあらかじめ予測して転送することによって複合システム内の遅延を補償する仕組みを検討した.通常の誤差逆伝播法では情報の伝播に遅延を含んだ人工ニューラルネットワークの学習は機能しないが,FollowdictiveCodingと呼ばれる提案手法を用いて遅延を補償することで学習が収束することを示した. スナリバラフト End-to-End自動運転モデル改善のための画像認識サブタスクの設計と評価. 深層学習を用いてサブタスクを学習することにより,自動運転におけるメインタスクの性能を上昇させることができる.Lietal.2018の研究では,周囲の認識を担うPerceptionModule(SemanticSegmentation,Depth情報を抽出)と,運転操作を行うDrivingModuleという2つのモジュールを用いたマルチタスク学習手法を提案し,未知の環境での汎化性能を改善することを示した.しかし,メインタスクに対するサブタスクの理論的な設計は無い.本研究では,Lietal.2018の研究をもとに自動運転における複数のサブタスクの組み合わせによる運転行動の生成結果を比較する実験を行なった.その結果,SemanticSegmentationのみをPerceptionModuleが学習する際に汎化性能が最も高くなった. スナリバラフト 深層強化学習を用いたWebサイト内行動のレコメンド. Webサイトを運営する企業にとって,サイトを訪れたユーザの状況に応じた適切なコミュニケーションが必須である.その戦略の1つとして,ユーザ行動のレコメンドが考えられる.しかし検索条件の選択のような,Webサイト上のコンバージョン(例:予約ページ,購入ページなど)と直接関連しないユーザ行動をレコメンドする場合,従来の教師あり学習を用いた最適なユーザ行動の導出は困難であった.本研究では,深層強化学習を用いて上記問題を解決し,実際のユーザのWebアクセスログを用いた実験によりその有効性を示す. スナリバラフト 「待った」の概念を取り入れた効率的なオセロの学習. AlphaZeroに代表されるようなモンテカルロ木探索と深層強化学習の組み合わせにより,素晴らしい高い性能が達成されているが,その計算コストは高く,また長い計算時間がかかるという問題点がある.本研究では,MCTSをベースとして,「失敗度」の概念を取り入れたアルゴリズムを提案する.失敗度は効率的な探索を可能にし,学習時間を削減する.これにより,エージェントは勝敗を分ける重要な局面を重点的に探索することが可能になる.我々の手法は最初の数イテレーションでAlphaZeroを超える性能を示した. スナリバラフト 機械学習による天気予報の当たり外れ予測の可能性. 予報技術や計算能力の向上,機械学習の導入などにより,天気予報は年々精度を高めている. しかし,予報精度の検証は公表されることが少なく,ある一時点での予報が実際に当たるかどうかのについて,利用者は経験則から評価するしかない. 天気予報には得手不得手な状況が存在し,予報の適中率はその状況に応じて変化する. そのパターンを深層学習で獲得できれば,天気予報の当たり外れを予測することが期待され,利用者はより当たる可能性の高い予報を選択しやすくなると考えられる. スナリバラフト On/off-policyのハイブリッド深層強化学習とシミュレーション環境での制御問題への応用. ニューラルネットワークを用いた深層強化学習は幅広い,かつ,複雑なタスクに対応でき,様々な分野で成果を出している.特にゲームAIや制御などのタスクでは素晴らしい性能を示している.しかし従来手法では探索が進まないや学習が遅くなるなどの問題がある.本研究は長期経験と短期経験の両方を活用したon/off-policyのハイブリッドエージェントと訓練アルゴリズムを提案する.これによって,従来法の問題を解決し,性能の向上を図る.比較実験の結果,提案手法は従来手法に比べて良い性能を示している. スナリバラフト 深層状態空間モデルによるfMRI画像を用いた精神疾患診断. 機械学習ベースの精神診断疾患には,バイオマーカーの発見や内部メカニズムの理解に役立つことが期待されている. 最近の研究では,時間的に変化する脳活動のため,動的な生成モデルが採用された. だが,単純なモデルのため,複雑な特徴を抽出するのが困難だった. 本論文では,動的な深層生成モデルを使ってfMRIデータをモデル化する. 提案する深層生成モデル(deepstate-spacemodel)は,柔軟かつ動的な生成モデルである. それゆえ,複雑な特徴を抽出でき,時間的に変化する脳活動を捉え,疾患に関連する脳領域を特定できる. スナリバラフト 学術用語解説ウェブページの良否評定のための分かり易さ・見易さ因子の分析. インターネットを用いて学術用語を学ぶ際,検索上位に「分かりやすい」ウェブページが表示されるとは限らず,一件ずつ閲覧し複数のウェブページを見比べる非効率な作業が必要となる.この現状に対する取り組みとして,本論文の先行研究では,ウェブ閲覧者にとって見易く,分かり易く,かつ,役に立つページであるために充足すべき因子を深層学習によって機械的に特定し,「解説型ウェブページ」の分かり易さと見易さを自動評定する仕組みを提案している.ただし,その基準が人間による直観にどの程度一致しているかを慎重に吟味することが必要となる.そこで,本論文では,深層学習のための教師用事例として蓄積された学術用語解説ウェブページを対象として,「分かり易さ」・「見易さ」の詳細な因子についての分析を行う.本論文では,特に,「分かり易さ」と「見易さ」のうち,「分かり易さ」のみが充足され,「見易さ」が充足されない場合,および,逆に,「見易さ」のみが充足され,「分かり易さ」が充足されない場合に焦点を当て,それぞれ「見易さ」あるいは「分かり易さ」を損なう因子群を網羅的に分析した結果を報告する. スナリバラフト 深層学習によるテスト理論:DeepResponseModel. 近年,Web上でテストを実施するeテスティングが注目を集めている.一般に,eテスティングの運用では,難易度や識別力などのパラメータが既知のテスト項目を,アイテムバンクと呼ばれるデータベースに蓄積する必要がある.しかし,項目パラメータの尺度はその受験者集団によって異なる.したがって,多くの場合,アイテムバンクを作成する際には,全ての項目のパラメータが同一尺度上に存在するように変換する等化という作業を行う必要がある.等化を行う際には,各テストの実施前に共通受験者や共通項目の選定を行うなどの等化計画が必要である.一般に,等化計画に基づくテスト実施には,膨大な時間的・経済的コストが生じるため,eテスティング導入の妨げとなっている.この問題を解決するために,本研究では,深層学習を用いて,綿密な等化計画を行っていない場合でも高精度に能力パラメータの推定,受験者の解答予測が可能なモデルを提案する.具体的には,受験者と項目を独立したニューラルネットワークの入力とし,それらの出力を組み合わせ,解答を予測することで,隠れ層が能力パラメータを保持するように設計した深層学習モデルを開発し,評価を行う. スナリバラフト 物体検出を用いた調理の時系列パターンによる分類. 本報は,調理動画を対象とした深層学習による物体検出の応用と時系列データの分析に関するものである.私たちの最終目標はパーソナライズされたキッチンの提案であり,そのためにこれまでは目視観察とスプレッドシートソフトウェアを用いた分析を行ってきた.しかし,この従来の手法は十分な精密さと被験者数を得るために膨大な工数がかかった.然して分析視点も限定的にならざるを得なかった.そこで私たちは自動化ツールとして深層学習による物体検出を導入した.約90種類の物体を含む一連の調理動画に対して物体検出を適用し,Pythonを用いてデータ抽出と分析を行い,シンクエリアにおける物体検出数の時系列データが3パターンに分類されることを発見した.この発見は,パーソナライズされたキッチンの提案に向けた調理パターンの理解に貢献する. スナリバラフト 深層学習を用いた食道癌CT画像の分類. 食道癌は10年生存率が20%前後の癌であり,膵臓癌や肝細胞癌と並んで致死率の高い癌である.また,食物を運ぶ蠕動運動による狭窄と癌による狭窄の判別が難しく診断の難しい癌であることも知られている.そこで本研究では,過去に食道癌と診断された患者のCT画像を用いて畳み込みニューラルネットワーク(CNN)と再帰型ニューラルネットワークの学習を行うことにより,新規のCT画像に食道癌が存在するか否かを判別するシステムの構築を目的とした.結果として,CNNとLSTMを用いた診断支援システムの構築に成功し,80%を超える精度で分類を行うことができた. スナリバラフト マルチモーダル深層学習による切羽剥落の予測. 山岳トンネル工事では切羽状況の見落としによる肌落ち災害が問題になっている.そこで当社では一部の岩盤性状の情報を用いて切羽の剥落予測する技術を開発したが,剥落に関連する他の要因が考慮されていないため十分な精度が得られていないと考えられる.本稿では,予測精度向上の可能性を検証することを目的に,岩盤性状の情報と切羽画像を組み合わせたマルチモーダルモデル深層学習によって切羽剥落予測を行った.その結果,切羽画像と岩盤性状の数値を組み合わせたモデルで他のモデルより高い精度が得られた. スナリバラフト PLSTMによるチャットボット対話の精度検証. LSTMを用いたチャットボットシステムへの研究開発が注目されている.しかし,現状のチャットボットは全体最適化されたAI応答を選択するものが主であり,個人の特性に応じたAI応答を選択することはできていない.この問題に対し,過去のユーザ発話系列を個人の特性として学習し,現在の発話に加え,AI応答の推定に活用するPersonalizedLSTMモデル(PLSTM)がある.PLSTMはユーザの過去の発話列から,現在の発話と関係付けられるトピックをアテンションモデルを応用して抽出し,ユーザの現在の発話の表現ベクトルに反映する.それにより,ユーザの現在の発話と過去の発話履歴,両方に応じて個人化されたAI応答選択を実現する.本稿では時系列の情報を含んだ実データセットを用いて,PLSTMが個人の特性に応じたAI応答を高い精度で選択できることを確認した. スナリバラフト 疑似ラベリングを用いた電子顕微鏡連続切片画像セグメンテーション手法の提案. コネクトミクスと呼ばれる研究分野では,生物の脳や感覚器における神経系の構造や接続状態を3次元再構築法により詳細に調べ,その機能的意味を明らかにすることが目指されている.3次元再構築法は,電子顕微鏡の連続切片画像から,ミクロな神経構造を詳細に観察するための重要なプロセスである.先行研究では,3次元再構築のためのラベル付けにかかるコストを削減するために,これを自動化するための様々な手法が提案されている.しかし,多くの先行研究で提案されている教師あり学習ベースの手法は,トレーニングデータが少量しか手に入らない場合,適用することができない.本稿では,この問題に対応するために,疑似ラベリングを用いた学習法を提案する.これにより,少量の学習サンプルをのみを利用して,神経領域の自動セグメンテーションを行うことが可能になる.実験結果から,提案手法は精度に改善の余地がみられるものの,少数サンプルを利用する場合においては通常の教師あり学習法よりも有効であることが明らかになった. スナリバラフト 畳み込みニューラルネットワークを用いたビール缶パッケージの好意度予測及び要因の可視化. 企業において商品を上市する際には,パッケージデザインに関する好意度調査を行い,良好な結果が得られたデザインを採用する事が多い.しかし,十分な消費者パネルを集めた調査には多額の費用が必要である,一度の調査にかけられるパッケージデザインの数に上限があるという課題がある.そこで,未調査のパッケージデザインを好意度調査に供した結果を畳み込みニューラルネットワークを用いて予測する事,その際にパッケージデザインの中で好意度に対して好影響を及ぼすと予測される要素と悪影響を及ぼすと予測される要素をClassActivationMappingを用いて可視化する事,を目的に研究を行った.その結果,パッケージデザインのプレスクリーニングテストや調査においてデザイン上重要であると予測される要素をデザイナーにフィードバックすることが可能になった. スナリバラフト 自律移動ロボットのための事前環境地図を必要としない深層強化学習を用いた動作計画. 本稿では,環境地図を必要としない2D-LiDARのデータと目標位置から連続動作指令を出力する自律移動ロボットのための学習ベースの動作計画を提案する.都市環境での汎化性能が高い自律移動ロボットの安全で効率的なナビゲーションシステムにこの方法を使用することを目的とする.我々はシミュレータ上のみで深層強化学習を用いて地図なし動作計画を訓練できることを示す.提案手法の有効性を検証するために,学習したプランナを実世界の実機に直接適用して衝突回避とナビゲーションの性能を評価する.その結果,事前環境地図を用いずに従来手法と同等のナビゲーション性能が得られることを示した. スナリバラフト 深層学習を用いた動画刺激時の脳活動データからの文生成. 近年脳神経科学の分野において,脳活動データを言語表現で定量的に分析する研究が多く出てきている.本研究は深層学習を用いて動画刺激時の脳活動データから自然言語文を生成することを目的とした.その際,脳活動データ数が少ないことから,事前学習したS2VTモデル(動画説明文生成手法)を援用した.脳活動データをその手法に適応するために,脳活動データと動画特徴量の対応関係を学習した.実験結果としてはまだ適切な文章を生成するには至っていない.今後の課題としてモデルの改良を行う. スナリバラフト 化学プラントシミュレータのための深層学習モデル. 技術の発展に伴い表現力の高いインターネット広告が増えている中,ユーザーと広告主双方に利点のある広告のクリック率(CTR)予測が盛んに行われている.その広告に関連するあらゆる情報,例えば広告の出ているメディアやページ内の表示場所,広告を見たユーザーのデモグラフィック,広告主とその商品,クリエイティブと呼ばれる広告バナーの画像や文面等がクリックを引き起こす要因として考えられる.しかし,高速なレスポンスタイムが求められるインターネット広告では,情報量が多く処理や学習に時間を要してしまうことから,画像や文面を用いて予測性能を改善したり,知識を抽出する研究があまり進んでいない.その解決策として高次元タスクにおいて顕著な成果を上げているDeepLearningを用いて画像やテキストといった各要素をEnd-to-Endに学習させ,得られた結果から配信影響について議論する.また,従来の手法との比較実験から考察とまとめを行う.本研究の目標は,新規の広告に対してCTRを見積もること,また学習されたモデルからCTRに寄与する特徴,配信影響を発見することである. スナリバラフト 深層学習による気象監視カメラからの漏斗雲抽出. 畳み込みニューラルネットワークを利用して気象監視カメラから漏斗雲の検出を行った.画像を階層化,オーバーラップをもたせてブロック化することで障害物の遮蔽による影響が減らして,再現率を高く検出できた. スナリバラフト 深層強化学習による物流プロセスの全体最適化. ブルウィップ効果は,サプライチェーンにおける問題の1つとして知られている.需要予測と意思決定の結果として,需要が増幅しながら下流から上流へと伝播する現象である.この現象は1960年代に発明されたビールゲームによってうまく再現される.一方,ネット通販では,サイバー空間での情報の流れとフィジカル空間でのオブジェクトの流れの間にギャップがある.このギャップは,ブルウィップ効果を促進する要因となる可能性があるが,オリジナルのビールゲームで再現するのは困難である.そこで,ルールと環境を拡張した新しいゲーム「NetshopGame」を準備した.このゲームでは,深層強化学習を用いることで,ネット通販のサプライチェーンで起こり得る局所的な最適化を再現することができ,メタ視点を導入することによってグローバルな最適解を発見するのに有効であることを確認した. スナリバラフト Neural3DMeshRenderer. 既発表論文Neural3DMeshRenderer[Katoetal.CVPR2018]について紹介する. 3次元モデルから2次元画像を生成するレンダリング処理を深層学習のパイプラインへと組み込むため,我々はレンダリングに対して新規な『逆伝播』を提案した.また,このレンダラーを用いて(a)単一画像からの3Dメッシュの再構成(b)画像から3Dへのスタイル転移と3D版ディープドリームを行い,その性能を検証した. スナリバラフト WassersteinAutoencoderを用いた画像スタイル変換. 本稿ではWassersteinAutoencoderを用いた画像スタイル変換を提案する.画像スタイル変換とは,コンテント画像に対してスタイル画像から抽出したスタイルを適用することで,任意のコンテントを任意のスタイルで描画する技術である.スタイル変換はこれまでも広く研究されてきたが,その多くにはスタイルに対して学習が必要なため実行に時間がかかるという問題がある.本稿で提案する手法は,スタイルとコンテントが分離した形で隠れ変数として表現されるようにネットワークを構成することで,スタイル変換を実現する.特定のスタイルに対してネットワークを訓練する必要がないため,任意の画像に対して任意のスタイルを即座に適用できる.CerebAの画像に対していくつかのスタイルを適用したところ,良好な画像が得られることを確認できた. スナリバラフト 擬態によって学習・識別困難な対象のGAINに基づく深層学習. 擬態が可能な生物を識別対象とする際には,訓練画像データのバイアスの影響が大きいと考えられる.本研究は,アノールトカゲを識別例としてGuidedAttentionInferenceNetworks(GAIN)を適用した場合の有効性を検証することが目的である.また,検証結果から分類精度の向上を確認することができた. スナリバラフト 深層学習を使ったPepper用黒線追従式移動システムの開発. Pepperロボットは様々な場所で用いられているが,移動させて利用されている例があまりない.本研究では簡便に用いることができるPepper用のライントレースシステムの開発を目指している.深層学習を用いて床に貼った5方向の黒いテープを識別する機能を開発し,実験環境での動作を確認した. スナリバラフト 進化的計算と方策勾配法による学習を用いた3次元制御タスクにおけるマルチタスク深層強化学習. 深層強化学習においては,探索が不十分な場合や,報酬がスパースな場合に学習が収束が困難である.加えて,特定のタスクでは探索の回数自体が限られている場合がある.従って,上記の課題を解決しつつ解きたいタスクとは別のソースタスクにおいて事前に学習を行い,解きたい様々なターゲットタスクでの学習を効率化することが効果的であると考えられる.本研究では,進化的計算と方策勾配法を組み合わせた事前学習を行うことで,ターゲットタスクで効率的な学習が可能なモデルを得る手法を提案する.本手法では,複数のニューラルネットワークによる多様な探索を行い,進化的計算と方策勾配法による学習を行うことで汎用的なモデルを得ることを目指す.3次元制御タスクにおける実験では,複数のソースタスクにおいて提案手法による事前学習を行うことで得たモデルが,ターゲットタスクとなる複数のタスクで高いパフォーマンスを発揮できることを示した. スナリバラフト エキスパートが複数の環境で生成した軌跡から報酬を推定するベイジアン逆強化学習. 強化学習は深層学習の導入によって多くの成果を挙げているが,タスクの目的を適切に反映した報酬の設計を必要とする.この報酬設計を回避する方法に,エキスパートの軌跡から報酬を推定する逆強化学習がある.既存の逆強化学習法の多くは,ある単一の環境で得られた軌跡からエキスパートの報酬を推定する.しかし,複数の環境におけるエキスパートの軌跡が入手可能な場合もある.例えば,自動車の運転の目的を報酬として表現することは困難だが,運転手は特定の目的の下での運転データを複数の状況で生成できる.本研究では,エキスパートが複数の環境で生成した軌跡を用いて報酬を推定する逆強化学習手法を,ベイジアン逆強化学習に基づいて定式化し,その解法を示す.ExpectedValueDifferenceと呼ばれる指標で,提案法と既存のベイジアン逆強化学習を比較した結果,提案法が既存手法と比較して,よりエキスパートに近い報酬を推定したことを確認した. スナリバラフト 物理過程に基づくニューラルネットワークを用いたモデル残差項の学習. 機械学習システムでは,ノイズ外れ値を含む観測データから学習しているため既知の法則性を無視した出力を得る可能性がある.また,ニューラルネットワークに基づく深層学習では,予測・分類は高精度で行える一方で,学習モデルが複雑になり人間がモデルを解釈することが困難になるという欠点があった.特に原理を探求する自然科学分野では,予測や分類において高い精度が得られたとしても,モデルに説明性がなければ有用なモデルを獲得できたとは言えない.本研究では,自然科学分野で使用される物理モデルを機械学習モデルに統合することにより,このような問題点を解決する手法に着目した.本稿では,予測したい変数のみを教師データとして与え,機械学習モデルからの予測値の中で物理モデルで表すことのできる支配的な要素と,物理モデルのモデル残差を表すことのできるアルゴリズムを提案する.例として,対流圏上層の風を温度風方程式から予測する例に着目した.実験の結果,対流圏上層の風ベクトルのみを教師データとして与え,温度風方程式に基づく地衡風成分とそれ以外の非地衡風成分の特徴を捉え,かつ予測も高精度に行えることが示された. スナリバラフト 絵本創作におけるオブジェクト配置手法の提案. 近年,機械学習の飛躍的な発展を背景として,人工知能(ArtificialIntelligence:AI)が社会における重要な基盤技術として注目されている. しかしながら,創作に関する分野へのAIの適用は現在でも極めて困難であると考えられている. 本研究ではAI技術を用いた人間の心に響く絵本の自動生成について検討し,現在提案中である"ユーザ内のとある感性観測に基づく対話型デジタル絵本''(InteractivedigitalpicturebookwithObserving∃Kansei∈User:IO∃K)において重要な絵本オブジェクトの自動配置手法を提案する. IO∃Kはユーザに内在しているある感性に着目し,その感性に基づいて作られた画像とストーリーを融合してデジタル絵本を作成するシステムである. なお,IO∃Kという名称は,著者たちにとって深い思い入れがある国鉄103系電車に着想を得ている. 今回はIO∃Kの持つモジュールの中で,オブジェクト自動配置モジュールについて提案する. スナリバラフト マルチモーダル学習のための階層ニューラルトピックモデル. 本研究では,実世界のマルチモーダルなセンサデータの学習をより効率的にすることを目的とし,マルチモーダル学習のための新しい階層型ニューラルトピックモデルを提案する.提案モデルでは階層ベイズモデルのパラメータ推論にニューラルネットワークを活用することでモデルのスケーラビリティと表現力を向上させる.具体的なモデルとして,多層マルチモーダルLDA(mMLDA)をニューラルネットワークにより実現したモデルである「Deep-mMLDA」とDeep-mMLDAをノンパラメトリックに拡張し,データに応じたトピック数の調整を可能にしたモデルである「RSB-mMLDA」の2つを説明する. 提案手法を評価するために,スマートハウス内での人の活動に関するマルチモーダルデータを対象とし,2つの提案モデルを用いた学習実験を行った.学習結果を用いたデータの分類結果と分類結果の一致度を先行研究のモデルと比較すると同等の性能を示し,提案手法の有効性が確認された. スナリバラフト ソマティック・マーカー仮説に基づく行動選択. 感情は人において重要な要素であるといわれているが,そのメカニズムは完全には明らかになっていない.その中で有名な仮説として,神経科学者のDamasioは,情動を身体シグナルとし,外部の刺激によって引き起こされる身体シグナルが意思決定を効率化しているというソマティック・マーカー仮説を提唱した.本研究では感情メカニズム解明への足掛かりとして,計算機シミュレーションにて,ソマティック・マーカー仮説の検証を行った.具体的には,深層学習を用い,行動方策を学習するネットワークを構築し,身体シグナルがあることによって,報酬の高い行動の選択が行われるかを検証した.結果として,身体シグナルがあるものが最も報酬の高い行動を選択できるようになっていることが明らかとなった. スナリバラフト 画像テキスト検索における不確かさの評価. 深層学習のアルゴリズムは多くのタスクで成果を上げてきた.しかし,これらのモデルの出力はしばしば,盲目的に正確であると仮定されているが,いつも正しいとは限らない.このような思い込みは,AIの安全性や社会的偏見といった問題を引き起こす.したがって,意味のある不確かさの指標を獲得することは重要である.MonteCarlo(MC)Dropoutはepistemicuncertaintyを評価可能にし,機械学習の様々なタスクでモデルの精度を改善する.この論文では,画像テキスト間検索における不確かさを評価する方法を提案し,その意味を定性的に評価した.また,MCDropoutによって,画像テキスト間検索の精度が向上した. スナリバラフト 画像キャプションに対する表現学習に向けた敵対的生成ネットワーク. ひとつの画像から生成されるキャプションは,表現(例えば注意点または文章表現)に関して互いに異なることが考えられる.しかし,世界中の膨大な量の画像キャプションのデータセットには,潜在変数のアノテーションはほとんどまたはまったく付けられていない.教師なしで画像キャプションの潜在変数を学習することは,条件付き画像キャプショニングの拡張性および解釈可能性の観点から重要である.本研究では,画像キャプションの潜在変数を学習し活用するための深層生成モデルを提案する.実験では,画像キャプショニングの縮小設定として,複数のMNIST画像と正解ラベルを用いた画像分類問題を使用し,本提案モデルがラベルのサブグループを表す潜在変数を獲得したことを示す. スナリバラフト 変分ニューラルネットワークによる推薦システムの構築. 推薦システムを構築する際には,行動ログからユーザおよびアイテムの潜在的な特徴を推測する(協調フィルタリング)と同時に,それらの既知の属性を考慮に入れることが不可欠である.2つの両極端なアプローチ間を自然に補間するため,特に行列分解を拡張する形で,多数のモデルが提案されてきた.本研究では,深層学習技術と高確率的プログラミングソフトウェアの近年の発展に基づいて,非常にシンプルかつ簡潔な実装でありながら,柔軟かつ過学習に対して頑健な(非行列分解型の)モデルを提案し,実サービスのデータに対して性能を評価する.また,提案モデルの予測値と組み合わせ最適化問題を用いて作成された配信計画を実サービスに対して適用し,特定の指標に有意な改善が見られることを示す. スナリバラフト UnsupervisedGroundingofPlannableFirst-OrderLogicRepresentationfromImages. 近年の強化学習では関係構造の学習に注目が集まっているが,既存研究によって得られる「関係」は,一階述語論理に見られるような離散的な論理値ではなく,解釈性が低く,また既存の記号的自動計画ソルバや他者行動目的認識ソルバに入力できない.一方,Latplan[浅井,福永2018]は深層学習ベースの認知システムと自動計画による記号推論の組み合わせを可能にした.そのコア要素の一つに,画像入力を命題論理表現に変換するStateAutoEncoder(SAE)がある.本論文はこの2つを組み合わせ,First-OrderSAE(FOSAE)という,オブジェクトの連続値特徴ベクトルの列から述語記号を発見/接地して述語論理値に変換する教師なし離散表現学習機を提案する.それぞれの述語は,「引数」に相当する複数の特徴ベクトルを入力とし離散的真偽値を返す関数である.実験では,8パズルおよび3Dレンダリングされた「つみ木の世界」を用いて,FOSAEが(1)高い解釈性を持つこと,(2)SAEより小さなモデルで学習できること,(3)離散的グラフ探索が可能な離散表現を返すことを示す. スナリバラフト エッジコンピューティングに適した深層学習を用いた適応的圧縮センシング. 実世界の情報をセンシングし,多様なアプリケーションで活用するため,センサデータの効率的な収集が重要となる.そしてアプリケーションで長期間・広範囲にわたる高精度なデータ分析を行うためには,一般に大量のセンサデータが必要となる.しかしながら,エッジ端末ではデータ送信量の増加に伴う無線リソースや電力の浪費が発生する可能性があり,できるだけ元のデータの情報量を落とさず,送信データ量を削減するといった対策が必要となる.そこで本稿では,データの伝送効率化のために,エッジ端末で実行可能な圧縮センシングの圧縮比を動的かつ直接的に推定する最適化制御を行う手法を提案する.一般に最適化制御には一般に多くの計算量を必要とするが,提案手法では事前に学習した深層学習の教師あり学習・強化学習の学習モデルを用いて推定することにより,最適な圧縮比探索を行う処理負荷を軽減する.社会インフラモニタリングにおいて橋梁に配置された加速度センサで発生するセンサデータを利用して性能評価を行った結果,提案手法は最適な圧縮比を推定する計算負荷を抑えつつ,動的な圧縮比設定により圧縮比と復元誤差率の両方を低下できることが分かった. スナリバラフト 複数の報酬関数を推定可能なタスク条件付き敵対的模倣学習. 模倣学習は,教示者の行動から環境の報酬関数を推定し,その報酬の期待値を最大化する方策を学習する問題として扱う事が可能である.また,教示者の様々な行動に対する複数の報酬関数を推定することで,異なる目的を達成するタスクを表現することができる.しかし,複数の報酬関数に従った教示者の行動データが与えられた場合,学習主体は,それぞれの報酬関数を推定することが難しい.そこで本研究では敵対的模倣学習(GAIL)を拡張し,複数の報酬関数の推定と模倣を同時に行うアルゴリズムを提案する.提案モデルは,GAILにおける生成器と識別器の両方に,潜在変数による条件付け可能な構造を持たせる.さらに,GAILと同様の議論によって提案する目的関数が唯一の最適解を持つことを示す.また,生成器の学習則に対してエントロピー正則化の係数補正項を導入することで,学習速度と獲得する方策の性能の向上を図る.本研究では,グリッドワールド内の異なるポイントへ到達するような,複数の報酬関数を仮定した教示者の行動を模倣する実験において,提案モデルが異なる報酬関数を同時に推定し,各報酬関数に対して方策の学習が可能であることを確認した. スナリバラフト 不確実性を考慮した深層教師なし異常部分検知. 画像をもとにした異常部分のセグメンテーションは,画像解析において基本的なトピックの一つである.特に,未知の系統の異常に対応するような場合には,教師なし学習による方法がよく用いられる.この場合,既知のサンプルの尤度を最大化するよう学習された確率モデルを用いて,推定された尤度が低いものを異常として検出する.しかし,これらのモデルは意味論的な異常よりもデータが持つ複雑な構造に敏感になる傾向がある.本論文では,対数尤度の近似からデータの複雑性を反映する項を取り除くことで,異常セグメンテーションにおける不確実性を考慮した新しい異常度を提案する.実験結果により,提案した異常度がデータの複雑性に対して頑健であることを示す. スナリバラフト 貢献度分配を導入した方策勾配によるNeuralArchitectureSearchの高速化. NeuralArchitectureSearchが深層学習のアーキテクチャを自動的に設計するためのアプローチとして注目を集めている.本研究では,アーキテクチャと重みを同時に最適化するone-shotアーキテクチャ探索の高速化を目的とし,貢献度分配を導入した方策勾配による探索法を提案する.提案手法では,貢献度と呼ばれるアーキテクチャを構成する複数の部分それぞれに対しての報酬を定義し,これをアーキテクチャパラメータの勾配の計算に用いる.実験で,最近提案された勾配法によるone-shotアーキテクチャ探索の先行研究と比較し,提案手法では同程度の精度のアーキテクチャをより高速に発見できることを示す. スナリバラフト 深層学習を用いた鳥行動に基づく追い払いシステムの開発. 本研究では,農園における鳥害防止のための追い払いシステムを提案する.農園での鳥の追い払いでは,鳥が刺激に慣れてしまい,効果が継続する時間が短い問題ある.提案手法は,この問題の解決のために,深層学習によって鳥の位置検出を行い,鳥の行動に合わせて追い払い刺激を与えるアプローチをとった.電動雲台と超指向性スピーカを組み合わせたシステムを開発し,刺激提示範囲を限定できることを実験により確認した. スナリバラフト 深層学習を利用したブレイクダンスにおける新しい価値の創出・評価システムの開発. 本研究では,近年広く普及しつつあるブレイクダンスにおいて,動作を自動的に判別してその結果を可視化するシステムを開発した.その際,加速度センサーを組み込んだ靴(スマートフットウェアOrphe)を使用し,自然な環境下での動作を深層学習によって分類し,その結果をダンサーにフィードバックするシステムの開発を目指した.本発表では,そのシステムの紹介を行うとともに,上記のシステムを応用して動作のオリジナリティーの程度を評価する事例についてもその途中経過を報告する.また,この事例がダンスカルチャーに組み込まれることによってダンサーにどのような影響を及ぼすか考察する. スナリバラフト クラス別敵対的ネットワークの統合による細胞画像のセグメンテーション. 現在,人間の専門家は細胞画像を手作業で分割しており,分割の基準はそれぞれの専門家によって異なる.その結果,主観的な結果が得られる.自動的にセグメンテーションする方法を開発すれば,同一の基準で客観的な結果を得ることができる.本論文では,複数の役割を持つGenerativeAdversarialNetwork(GAN)を用いた細胞画像セグメンテーション手法を提案する.提案方法は従来のpix2pixと比較してセグメンテーション精度を改善した. スナリバラフト U-Netを用いた脳血流SPECTの減弱補正手法. 核医学検査のひとつにSPECTがある.SPECTにおいて体組織による吸収を減弱と呼び,ノイズの原因となる.現在利用されている,CTを用いた減弱補正は有効性が高い.しかし,CT撮影を行うことによる放射線被ばくは健康への悪影響が懸念される.本論文ではU-Netを用いて,減弱補正を再現する手法を提案する.一人の患者につき,補正を行っていないSPECT,CTAC法によって補正されたSPECT画像のペアを用意する.後者を教師画像,前者を入力画像として学習を行った.作成したモデルによって,CTAC法による減弱補正を十分に再現することができた. スナリバラフト 訓練済み深層生成モデルの潜在変数間相互条件付きサンプリングによるマルチモーダル双方向生成モデル. 近年,画像や文章などの異なるデータ間を相互に変換するマルチモーダル生成の研究が実サービスへの応用可能性の観点から注目されている. マルチモーダル生成は,画像の自動注釈,音声の字幕生成,など最近でも大きな成果を得ており産業応用上重要な技術である一方で,大規模なデータセットが必要であるという課題がある. 一方で,機械学習研究分野は,大規模なデータセットを用いて訓練した再利用可能な訓練済みモデルを一般に公開するようになってきており,その数は今後増加すると見込まれる. そこで本研究では,この訓練済みモデルを活用することで,小規模なデータでマルチモーダル生成を実現することを目的とする. 本稿では,個別モダリティの潜在変数が推論可能な訓練済み生成モデルと少量のデータセットによってマルチモーダル生成を行う手法を提案する. 本稿では画像とラベルからなるマルチモーダルデータに提案手法を適用する実験を行い,与えられた訓練済み生成モデルが十分訓練されていれば提案手法によって少数の訓練データでそれらのモデルと同等程度の精度でマルチモーダル双方向生成が可能なことを示した. スナリバラフト DeepQ-Networkを用いたマルチエージェント交通信号制御システム. 都市部では,交通渋滞による一時的および経済的損失が悪化しており,我々の生活に大きな影響を与えている.交通渋滞の原因として,一般道路では不適切な信号切り替えが挙げられる.一般的な信号制御におけるパラメータ操作は,人間の手による経験に基づいて設定され,決して最適ではない.したがって,交通行動を改善するために信号機を制御することは,交通渋滞を解決するための方法になる.本研究では,マルチエージェントシステムとDeepQ-Networkを組み合わせる.この際エージェントとして交差点を使用し,交差点が複数ある道路環境で実験を行った.その結果,エージェントはエージェント間で相互に情報を交換することで適切なパラメータ操作を行えることが示された. スナリバラフト 点眼瓶センサーとDeepLearningによる緑内障患者点眼アドヒアランス自動把握能力の評価. 目的:我々は緑内障点眼アドヒアランスを正確に測ることを目的に,点眼瓶の挙動を検知する点眼瓶センサーと,DeepLearning(DL)による挙動波形自動解析を組み合わせた点眼瓶センサーシステムを開発し,評価を行った.方法と対象:プロスタグランジン点眼液を両眼に点眼中の開放隅角緑内障患者20名を対象にした.点眼瓶センサーを自宅にて設置し,点眼と点眼時刻の自己記載を3日間実施した.点眼瓶センサーに記録された患者データからDL点眼判定モデルにて点眼と判定された波形データを自動取得した.結果:点眼瓶センサーで得られた患者20名,3日間のデータから,DL点眼判定モデルにより計60個の点眼と判定された波形データが自動取得できた.さらに自動取得された60個の波形データの点眼時刻と患者自己記載時刻の差は全て5分以内であり,検出成功率100%であった.点眼瓶センサーとDLの組み合わせにより実際の点眼回数と過不足なく自動把握できた.結論:我々の開発した点眼瓶センサーシステムは緑内障患者の点眼アドヒアランスの自動把握能力を有する. スナリバラフト 実時間連続状態空間マルチエージェント意思決定に対する局面評価関数の設計について. RoboCupサッカーシミュレーションのゲームAIを構築するためには,センサ情報の処理,ボール処理の行動決定,次サイクルのセンサ情報を得るための行動,行動実施のためのミクロアクション決定,他エージェントを支援するための情報提供など,幅広い情報処理と意思決定機構が必要になり,数多くの人工知能的課題を解決しなければならない.このような複雑性もあり,RoboCupサッカーの知見を基にした在庫管理ロボットや深層強化学習モデルの発展につながっている. また,将来必要とされる集団ロボットの協調行動や自動運転におけるAI部分の発展に大きく寄与すると考えられる.本論文では,その中でも意思決定部分に焦点を当て,RoboCupサッカーシミュレーションにおける意思決定メカニズムの研究を解説する. スナリバラフト 調理作業スペースの概念モデルの可視化の検討. 本研究では調理エリアのメンタルモデルの可視化・分析の手法を提案する. ユーザーは作業スペースを分割したエリアとして捉え,そこに目的や用途に応じてアイテム(調理器具および食材)を配置しているという仮説を立てた. このモデルを分析するために,深層学習で検出したアイテムの配置位置を元にエリアを分割し,そのエリアに置かれたアイテムで意味づけを行なった.ここで,物体検出にはSingleshotmultiboxdetector(SSD)を,エリア分割にはEMアルゴリズムを用いたGaussian mixturemodels(GMM)へのフィッティングを,エリアの特徴量抽出にはtermfrequency-inversedocumentfrequency(tf-idf)を用いた,なお,tf-idfにおいてはアイテム/エリアの関係を単語/文書として適用した. 結果として,いくつかの調理中のキッチンと調理アイテムの関係性の概念モデルの形状パターンを可視化した. スナリバラフト 深層学習を用いた不動産間取り図のグラフ化と物件検索への応用. 本研究の目的は,不動産間取り図をその間取りを反映したグラフ構造に自動で変換することである.それには,深層学習によるsemanticsegmentationを行うことで画像中の各部屋やドアを認識し,それらの隣接関係をもとにグラフ構造を作成するという手法でグラフ化を行う.この提案手法により,正解グラフと81%の類似度を持つグラフに変換できることを確認した.さらには,自動変換したグラフを用いて実際に類似間取り検索への応用を示した.間取り図をグラフ構造という構造化された表現に変換することで,間取りの比較や評価,さらには検索が容易になり,間取りを扱うあらゆるシステムへの応用が期待される. スナリバラフト SfMとSemanticSegmentationによる河川護岸の劣化診断支援手法. 河川護岸の管理は技術者の目視情報を中心とする極度に人的資源に依存した定性的管理が主体となっており,定量的データに基づいた合理化が求められている.そのためには劣化検出だけでなく,対策の必要性を判断するための劣化診断も定量的データに基づき実施する必要がある.本研究では河川護岸の診断に必要となる劣化の絶対的な位置(座標)と大きさ(幅・長さ)を,SfMと深層学習を用いて画像から自動抽出する方法を提案し,その技術的実現性について実験により確認した.その結果,劣化診断に資する定量的な情報が自動で得られることが示せた. スナリバラフト 対話システムにおける履歴を考慮した応答の対話行為推定. 対話システムにおいて深層学習を用いた手法が盛んに研究されている. そのような手法は人手による応答ルールやパターンの設計を行わずに応答を生成できるという利点があるが, 一方で,応答生成のメカニズムがブラックボックスになるという欠点がある. その問題を解決するために,解釈可能な応答生成モデルが必要である. そこで,本研究では対話行為に着目し,対話の履歴を用いて次の応答の対話行為を推定する手法を提案する. SwitchBoardDialogueActコーパスを用いて評価実験を行った結果, 既存手法と比較してF値のマクロ平均,全体のAccuracyそれぞれにおいて8.6%,および1.2%精度が向上することを示した. スナリバラフト 深層学習を用いたアパレルアイテム平置き画像から着装状態への変換. この研究は,アパレルアイテムの画像変換に関する研究である.アイテム画像は様々な状態~平置きや着装等~で撮影されるため,変換が難しい.そこで我々は,深層学習,その中でも敵対的生成ネットワークを用いた'pix2pix'を精査/改良することを試み,新規の2段階システムを提案する.いくつかの実験によるStructual Similarity値の分析の結果,我々の提案手法が先行研究より優れていることが明らかになった.さらに,目視による検討により,我々の手法はジッパーやボタンのようなディテール,細かい水玉のような模様を再現できることを確認した.この知見は非常に重要である.何故なら,ボタンが欠けたアイテムは,オリジナルのアイテムとは全く異なるアイテムとして知覚されるからである. スナリバラフト 深層学習を用いた画像変換に基づく会話からの音声抽出 近年盛んである深層学習を用い音源を分離することを目的とする.ネットワークを用い通常の会話から特定の人間の声を抽出することを試みる.画像変換を行うpix2pixに注目する.そのアルゴリズムは純粋な画像変換の手続きに基づくため,追加の手続きとして音声を一度スペクトログラムに変換する必要がある.その後,人間の声を分離するためにネットワークを学習し,特に同性と異性の違いに注意して抽出を行う.この観点から,本稿では男女の声を重ねた音声を使って2つの実験を行った.SSIMとカラーマップを評価の基準に使用した.結果として,女性の声が良く抽出できていることを確認した.ところが,女性同士の発話から抽出はできなかった.今回,分離はうまくいかなかったという結論に至った.しかしながら,生成された音声は自然に再生されたと思われる.今後の課題は,こうした人間の判断を客観的に判定することである. スナリバラフト 最も単純な文書分類器 これまでで最も単純な文書分類器(TheSimplestDocumentClassifier:SDC)を提案する.文書分類器とは,任意の文章を予め定められた一つ,もしくは複数のカテゴリに分類するものである.SDCは既存の深層畳み込みニューラルネットワーク(DCNN)を用いた方法と同等の分類精度を持ちながら,より高速に文書を分類できる.さらに,DCNNでは困難な,分類結果導出過程の分析も可能である.SDCは,カテゴリ分類された各文章内に含まれる各単語に対し,その出現頻度に応じた重み付けをしながら学習する.主要データベースである20Newsgroups,Livedoor-news,IMDB,Twitterを用い,現状最も優れたNNを用いた文書分類器fastTextとパフォーマンスを比較した.その結果,学習時間,分類精度においてSDCの優位性が実証された.また,Twitter文章を例に,分類結果の導出過程を分析した結果,SDCが文書分類分析においても人が直感的に解釈しやすい内部パラメータを持つことが示された. スナリバラフト 冷蔵庫内青果物のための鮮度評価システムの提案. 青果物の消費期限は無記載であり,食品ロス問題が発生する.また,視覚障碍者は,腐敗の状態を判別できず,安全な食事が困難である.そこで,植物ホルモンであるエチレンに着目し,バナナの腐敗過程の定量を試みる.エチレンは発芽,果実の成熟など,植物の成熟過程に広く関与している.本研究では,エチレン計測システムのハードウェアを作成し,またそれに連動してカメラ撮影や温度湿度を日付ごとに記録するソフトウェアを開発する.さらに,これを用いることで,青果物の成熟経過を確認するだけでなく,実際の青果物が腐敗していくか検証し予測することを目的とする.この結果,バナナの鮮度変化と内部品質の関係性が認められたため,実験データを蓄積し機械学習・深層学習を用いて色彩の変化や内部品質の関連性の解析を行うことで, バナナの鮮度を評価・予測できる可能性が示された. スナリバラフト 画像の``写真らしさ"に関する数学的アプローチについて. 画像認識において,画像全体のうち意味のあるものとそうでないものの境界を見極めることは重要な問題である.本稿では準写真という「写真らしい画像」を定義することで,この問題への数学的アプローチを試みた.「写真らしさとは何か」という問いを数学的に定式化するために,depthという画像に対して実数値をとる関数を導入し,その漸近挙動を解析した.また例において実際の写真が準写真であることを確かめた.depthの概念は方体複体の0次パーシステントホモロジーの階数から着想を得ており,将来的に高次の階数を解析することでより精密な画像の分類が得られると期待できる.また画像認識において近年積極的に活用が進められている深層学習の,学習データ選定への応用も期待できると考えている.本稿で画像認識における純粋数学の活用の1つのアプローチを提案したい. スナリバラフト 特徴パターンを用いた機械学習の説明手法. 近年,深層学習をはじめとする高い識別性能をもつ機械学習モデルが様々な分野に応用されている.それらのモデルの多くはブラックボックスであり,ユーザがモデルの挙動や予測の原因について知ることが困難になっており,モデルや予測結果に解釈性に関する研究が活発に行われている.予測の原因となる特徴を特定する手法としてLocalInterpretableModel-agnosticExplanations(LIME)がある.しかしながらLIMEでは,個々の特徴の重要性を測ることはできるが,重要な特徴の組み合わせを特定することはできない.そこで,本研究では予測に影響を与えた特徴の組み合わせに着目した,新たなモデル依存性のない説明手法を提案する.提案手法では,特徴の組み合わせの中から,対象となる予測結果を得るために必要な特徴の組み合わせを探索アルゴリズムによって発見する.計算機実験によって従来のLIMEよりも高い予測能力を持つことが示された.また,画像分類への応用を行い,提案手法の有用性を検証した. スナリバラフト 筆順の類似度に関する評価モデルに対する考察. 近年,機械学習の発展を背景としたAIが注目を浴びている.AIは単純なパターン認識では人間の能力を凌駕する性能を示す一方で,人間の情緒や感性に関する分野へのAIの適用はいまだ難しい.特に絵画情報を理解することは,年齢,国籍,文化にかかわらず,絵画が個人の最も本質的な表現の1つを獲得することである.このため,感性を取り扱う分野での重要なAIの課題の1つとされている.本研究では,CASOOKに深層学習モデルであるsketch-rnnを導入したCASOOK-SRの開発を試みている.さらに,CASOOK-SRを実問題に適用するため,探し絵を自動生成するVSAPSを提案してきた.しかし,過去の研究から生成された筆順の類似性の比較は困難な課題の1つであった.そのため,本稿では,筆順の類似性に関する客観的で比較可能な評価モデルを定義し,その有効性を2種類の実験によって確認する.実験の結果,最終画像の形状が高い類似性を持つ場合,提案する評価モデルの評価値と人による主観的評価の相関係数は0.446となり,筆順の類似性に関する評価モデルの有効性を確認できた. スナリバラフト 深層学習を用いた対話文への「かわいさ」の付与. 深層学習を用いた,対話文の自動生成が行われるようになってきた.対話文の自動生成においては,対話相手との話の繋がりが重要視されるとともに,対話相手のキャラクタ性によって,対話に魅力を感じさせたり,コンピュータの向こう側に人格を感じさせることが重要である.しかしこれまでの研究においては,文章をある地方の方言にや,侍風に変換するなど,変換先の語彙集合が定義しやすいキャラクタ性を対象としてコーパスを作成,特徴を学習し,変換が行われることが多かった. そこで本研究においては,文章に語彙集合の定義が難しいキャラクタ性をもたせる変換を行う.特に本論文においては,「かわいさ」をキャラクタ性としてもたせることを目的とした,任意の文章にかわいさを付与するための方法を検討し,かわいさを付与できる文と付与できない文を評価した.結果,かわいさを感じさせる要素を付与する事はできたが,かわいさは文の内容に大きく依存することがわかった. スナリバラフト 言語から画像を生成する深層学習モデルの挙動に関する考察. 本研究では,ヒトの知能のメカニズムを反映して動作する汎用人工知能の構築に向けた基礎的な取り組みとして,text-to-imageモデルを対象に,計算機構の挙動や特徴表現空間の構造の分析を行う.初めに,入力キャプションから単語の境界情報を欠落させた場合の画像生成を行い,モデルの言語エンコード能力および画像生成能力を調べる.その結果,定性的にも定量的にもキャプション内容に適合する画像を生成し得たが言語の意味の単位をモデルが獲得している様子は確認されなかった.二つ目に,埋め込み空間での単語の意味の構成的特性を分析し,空間を意味する単語間に単語の意味の加法構成性が現れる可能性を示唆する結果を得た. スナリバラフト 密度球を用いたGraphCNN深層学習手法による渋滞予測. 本論文では,多数のサンプルと特徴を持つ交通データセットのための密度球に基づく高次元空間におけるデータクラスタリングを研究し,密度球GraphCNNで特徴から距離行列を作成することによって交通渋滞を予測する.密度球は,高次元空間でデータをクラスタリングするための基準となる密度を表し,データの相関と距離の両方を考慮することでデータの関係を調べることができます.渋滞を再現し,密度球の体積を変えて予測精度を比較する交通シミュレーションモデルを組み合わせて渋滞度を予測した結果に基づいて,高精度な渋滞予測を実現するための仕組みを検討する. スナリバラフト 汎化ゴールにおける連続動作型ロボットアームの深層強化学習手法の開発. 多目的強化学習では,状態だけでなく入力に対しても目標をとるユニバーサルバリュー関数近似(UVFA)が使用されます.我々は7DOFロボットアームのエンドエフェクタをUVFAベースの多目的強化学習を使用して目標に到達させることによってタスクを設計した.一方,我々は目標の数を変更することによって同等のタスクを実行した.UVFAを用いて目標到達可能度をマッピングすることで優れた予測能力を確認した. スナリバラフト 多変量時系列変数マルチチャネル変換画像分類における深層学習の適用 近年,IoTやセンサ技術の発展により,多様な時系列データをリアルタイムで取得可能な時代となっている.現在得られるデータは,変数の種類が単一ではなく,二種類以上のデータが得られる場合が殆どである.このとき,各変数の関連性を特徴抽出することで,より有効性の高い分析手法の確立が求められている.本研究では,3つの同じ時間軸で異なる次元を持つ時系列変数を光の三原色であるRGBに見立て色変化画像とし,畳み込みニューラルネットワークを適用する.これにより,色の視覚刺激の活用により変数間の関連性を最大限抽出可能なデータ分析手法を提案する.我々人間はRGBを一つの色として認識できるが,計算機で処理する場合は,RGB独自に処理されてしまう.そこで,計算機でも人のようにRGBを取り扱うために,RGBを基軸にしたXYZ,Lab色空間を利用した画像変換を行うことで,より効果的な特徴抽出を行うことを目指す.実験の結果,既存分類手法との精度比較を行い,提案手法の有効性を示すことができた.また,多様な色相空間で時系列を変換することで.各変数を独立として処理する場合よりも高性能な特徴抽出を実現できる可能性が示唆された. スナリバラフト ConvolutionalNeuralNetworkforChineseSentimentAnalysisConsideringChineseSlangLexiconandEmoticons. 近年,ソーシャルメディアは私たちの生活に欠かせないものとなっている.インターネットスラングは,日常のオンラインコミュニケーションで使用される非公式の言語であり,感情表現として多く用いられる.同様に,絵文字は,感情のグラフィカル表現の手段としてソーシャルメディアで広く使用されている.したがって,インターネットスラングや絵文字がソーシャルメディアに与える影響を十分に理解することが重要である.本論文では,最も人気のある中国のソーシャルメディアプラットフォームであるWeiboの感情分析のために,中国語インターネットスラングと絵文字を考慮した畳込みニューラルネットワークモデルを提案した.実験結果より,提案手法が感情の極性を予測するための性能を著しく改善したことを確認した. スナリバラフト キーワード条件つき変分Autoencoderによる広告文生成. 近年,デジタル広告の伸長により,速く大量に広告文(いわゆるキャッチコピー)を生成することが求められている.これまでたくさんの生成システムが提案されてきたが,ルールベースのものは生成のバリエーションに乏しく,一方でランダムに近い生成システムになると,広告の目的と合致しない広告文が生成されてしまう.この問題を解消する為,我々はキーワード条件つき変分Autoencoderによる広告文生成の手法を開発した.本手法では,広告文の生成にキーワードの条件づけを課すことで,広告の目的との関連性を強めつつ,一方で,ランダムにサンプルされた潜在変数を入力することで,バリエーションも担保することができる.実験の結果,元のデータベースの出現頻度に比べて50~200倍程度の出現率で,キーワードを含む広告文を生成することができ,また,人間では思いつかない様な広告文の生成も確認された. スナリバラフト 発話と推薦を柔軟に混合させる対話型推薦システムの実現. 対話を通じた推薦での先行研究の多くは,通常の発話と推薦を切り離したシステム設計になっている.しかし,一般的に推薦システムそのものの精度は必ずしも高くないため,しばしば推薦結果がユーザニーズに適合しない.人間であれば,適合しない理由を確認し別の推薦をするサイクルを適切に繰り返すことで,ユーザを満足する解まで誘導することができる.本稿では,ユーザの発話を利用した推薦に基づき,強化学習による対話戦略をとるシステムを提案した.それによって,人間のように会話の中に自然に推薦を織り交ぜ,臨機応変な振る舞いを行う対話システムを実現した. スナリバラフト BidirectionalLSTMを用いた誤字脱字検出システム. カスタマーとクライアントのマッチングビジネスを展開するリクルートでは,クライアントの情報をカスタマーに伝達するために日々大量の原稿が作成されている.本論文では,機械学習を用いてそれらの原稿の誤字脱字を検出する方法を提案する.このシステムは主に2つのパートで成り立っている.1つは複数のBidirectionalLSTMを用いて各文字に対して誤りがないかの確率を算出するパート.もう一つはそれらの出力値を入力として,文全体で誤りがあるかないかを判定するランダムフォレストアルゴリズムである.この方法の有効性を示すために人工で作成した文と我々のサービスで持つ実データを用いて検証を行った. スナリバラフト 多様な動作パターンを有する機器に対応した教師なし異常度推定手法. 近年,IoT・AIなどのデジタル技術を活用した製造現場の課題解決に向けた取り組みが活発である.筆者らはこれまでに,アームロボットやプリンタに代表される,多様な動作パターンを有する機器を対象とした振動異常検知技術の研究開発に取り組んできた.筆者らは振動データ切出の前処理作業を行わずに観測対象の動作異常度を定量的に表すことができる手法を提案している.しかしながら,この手法は正常及び異常データを前提とした教師あり学習であるため,異常時の振動データが十分に取得できない場合に高精度の判別モデルが学習できないという課題があった.この課題に対し,本稿では前述の手法を教師なし学習に改良した振動異常検知手法を提案する.また,提案手法の有効性に関する実機を用いた評価実験結果についても報告する. スナリバラフト ResNetsに対する正則化手法ShakeDrop. 本稿では,ResNet及びその派生手法に対する新たな確率的正則化手法,ShakeDropを提案する. ShakeDropは摂動を含む不安定な学習と通常の学習を確率的に切り替えることによって,摂動による正則化効果を享受しつつ,学習の安定化を実現した. ShakeDropは多様なResNetとその派生手法に適用可能であり,従来手法Shake-Shakeよりも利便性に優れ,一般物体認識精度が高い. CIFAR-100を用いた実験では,従来の手法の認識精度を3%以上改善した. スナリバラフト DecisionMakingforModelBasedDesignbyReinforcementLearning 商品を設計する際には競争力から部品機能への階層的な紐付けを行うModelBasedDesign手法が用いられることが多い.階層が複雑になると設計変数は巨大なデータ空間を持つために意思決定を短い時間で的確に行うことは豊富な経験を有していても難しい.電気自動車の設計に対して強化学習が有効となるか検証した.階層の最上位である車両性能のうちEnergy性能とPackageに対して適用した.電気自動車の場合,これらが競争力を左右する最も重要な設計となる.演算法としてはDQN,MonteCarlo決定木,A3Cを採用した.Energy性能については128の17乗の変数空間から設計理論限界が導かれ,Packageに関しては,10の77乗の変数空間から最適解が学習できた.ModelBasedDesign手法の意思決定として有効であることが検証できたので報告する. スナリバラフト 高環境耐性なCNN回帰モデルのメモリ削減検討. 近年,多分野で画像認識ソリューションの需要が拡大している. 特に交通インフラの分野においては,交通量計測や車両捜査等の監視機能高度化・自動化を行うことが期待されている. しかし,これらの用途は野外での運用となるため,高い環境耐性(気象条件や照明変化等)が要求される. また,限られた計算リソースのエッジ上でリアルタイム処理を行う場合,軽量高速な認識が必要となる. 我々はNP文字認識を対象とし,畳み込みニューラルネットワーク(以下,CNN)回帰モデルのメモリ削減について検討する. 文字認識を行う際,事前に歪みやずれを補正して正面に向ける幾何学変換を行う事で,その後の文字認識精度が向上することが報告されており,NPに対しても有効であることを確認している. 補正を高精度に行うにはCNNの適用が考えられるが,CNNはパラメータ数が増えるため,実行メモリが大きくなることが課題となる. 本稿では,歪み補正の幾何学変換パラメータの推定を行うCNNに対し,多環境下での推定精度の劣化を最小限に実行メモリを大幅に軽量化することを目的とし, 低ランク近似およびfine-tuningを用いた軽量化の検討結果について報告する. スナリバラフト 解釈可能性をもたらすヒートマップの変化に着目した過剰学習がCNNにもたらす影響の検討. ConvolutionalNeuralNetwork(CNN)は,画像認識をはじめとする多くの研究に使われているが,その解釈可能性に関しては問題視されている.そのため多くの既往研究により,入力画像のヒートマップを作成することで,この解釈可能性を補うような研究が進められてきた.そして,それらの手法は全て学習済みのモデルのみで評価をされており,学習過程に注目したものはない.これは,EarlyStoppingなどの指標に基づき学習を止めたものを最適なモデルとして選択しているためである.しかし,既往研究により分類問題に関しては学習を続けるほど(過剰学習),精度が上昇することが報告されており,EarlyStoppingでは精度の面からは,最適なモデルを選択できない可能性が示唆された.そこで本研究では,学習過程でのヒートマップの変化に着目することで,過剰学習が及ぼす影響を検討した.結果として,ヒートマップはEarlyStoppingにより選択したものとは異なる画像として出力されるようになり,出力層のエントロピーと正解クラスの予測確率が不安定になる傾向が見られた. スナリバラフト 飛行ロボットに搭載した360度カメラによる自己位置認識. 本研究では360度カメラを搭載した飛行ロボットの三次元座標と向きの導出を試みる.座標や向きを知る手段はGPSや方位センサ等様々なものがある.しかし,室内や磁場の安定しないような場所では正確な向きや座標を知ることはできない.そこで本研究では,360度カメラを用いて飛行ロボットの向きと座標の取得を目指した.具体的な方法として,基準としたい場所にカラーオブジェクトを2枚設置し,そのカラーオブジェクトと飛行ロボットの相対的な座標を取得し目的達成を目指した.今現在x座標,y座標,z座標の誤差の平均は400mmを下回る結果となった.そして,向きの誤差の平均は約30度となった. スナリバラフト ディープラーニングを用いた暗示的怒りの自動検出手法. これまで日本語の文書から明示的な感情を検出することは自然言語処理の分野で精力的に研究されてきた.しかし日本人は感情の表出を抑制する傾向にあり,怒りを表現する際にはそれが特に顕著である.そのため,日本語の文書から怒りを検出するには明示的な怒りだけではなく感情が抑制された暗示的表現による怒りも含めた検出が求められる.そこで,暗示的表現による怒りの自動検出技術の確立を目指し,本稿では暗示的表現による怒りが含まれる文書の特徴に基きディープニューラルネットを用いて怒り文書を検出する手法を提案し評価した.結果,3つの提案方式のうち1つが,従来方式より10ポイント程度良い正解率が得られた.しかし全く検出されない怒りがあったことから暗示的怒り検出手法が確立できたとは言い難い.感情の出現順序や頻度に着目した検出手法では精度が0.18と低い性能となった.各文の感情分類として正解を付与し,文書全体の怒りを判別する部分のみを評価したところ精度は0.49となったことから,暗示的怒りの検出のために,文書中に現れる感情の順序,頻度も活用すべきであることが示唆された. スナリバラフト AI活用による不動産分野のUX革新の取り組み. 本発表では,人工知能(AI)技術によって不動産分野のユーザーエクスペリエンス(UX)を革新する試みについて述べる.(1)不動産物件写真にディープラーニングを適用することにより,物件写真への自動アノテーションの実装と,「街頭にスマートフォンのカメラをかざすだけで物件を検索する」という新しいUX創出を実現した.(2)適正な価格の推定が難しいという不動産売買取引におけるUXの問題に対して,機械学習による参考価格算出アルゴリズムにより,日本全国のマンションの参考価格を地図上に提示するサービスを開発した. スナリバラフト ペアワイズニューラルネット距離による不変表現学習. 観測に含まれる特定の因子に対して不変な表現を学習する不変表現学習は,ドメイン汎化や公平性配慮など広範な応用範囲を持つ基礎技術である.本稿は不変表現学習の問題に対して次の3つの貢献をする.第1に,State-of-the-artな不変表現学習手法である敵対的特徴学習は理論的には条件付きエントロピーの最大化という妥当な解釈ができる一方で実際的には不安定な挙動をする場合があることを実験的に示す.第2に,敵対的特徴学習が目的とする条件付きエントロピーの最大化はペアワイズな分布間距離の最小化問題として再定式化可能であることを示し,ペアワイズな分布間距離を最小化する手法としてWasserstein距離にもとづく新たな手法を導出した.最後に,ペアワイズな分布間距離の最小化という解釈によって引き起こされる計算論的な困難性に対して,パラメータ共有による解決策を提示した.実験では,提案手法が既存手法と比較してより短い更新回数で不変な表現に到達すること,また不変表現学習の応用例の1つであるドメイン汎化で良い性能を達成することを示す. スナリバラフト スキップ接続によるプーリング層の構成および表現力に基づくそれらのモデルの解析. 深層学習で用いられるニューラルネットワークモデルの設計は,いくつかのレイヤー(ベクトル関数)を階層的に積み上げることで行われる.ここで,「どのようにレイヤーを積み上げるか」「どのようなレイヤーを積み上げるか」が重要な研究課題である.一方で,現在の提案モデルは経験則によるものが多く,モデル設計に関する体系的な理論は存在していない. 本研究では,ニューラルネットワークモデルの設計を体系化することを目的として,表現力の観点からプーリング層やスキップ結合などの構造について考察する.結果として,広く用いられているこれらの構造は単純なニューラルネットワークモデルに結合のスキップ接続を導入することで構成できることを数学的に示した.特に,プーリング層は陽に表現力を低下させること,加算と結合のスキップ接続は全結合ニューラルネットにおいて表現力に差異を与えないこと,そして,現在有効とされているSingleActivation構造が,MultiActivation構造と比較して表現力の意味で優位性を持つことが示された.以上,表現力の観点からモデル設計における一つの指針を与えることができる. スナリバラフト 制限ボルツマンマシンによる自由エネルギー最小化に基づく能動的知覚. 多様な情報にあふれる実世界で活動するロボットにとって,環境や自身の状態を認識するために複数の感覚情報を処理することが重要である.複数の感覚情報を統合・処理することで物体のカテゴリや感情といった概念構造が獲得され,概念構造を獲得したロボットは,一部の感覚情報からでも概念情報を予測することができる.しかし本来複数の感覚情報を処理することで獲得された概念情報を,一部の感覚情報から予測するとは難しい.このような場面で概念情報の推定に効果的な感覚情報を選択・知覚することを能動的知覚と呼ぶ.近年の神経科学研究において,人の能動的知覚(推論)を説明する基本原理としての自由エネルギー原理が注目されている.本研究ではこの自由エネルギー原理に基づいた能動的知覚のための計算論モデルと手法を提案する.具体的には深層学習モデルの1つであるRBMを用いた多感覚情報統合モデルにおいて,観測情報から概念情報を介して未観測情報を予測し,その中で自由エネルギーが最も小さい感覚情報を選択する.本稿では提案する能動知覚手法と既存手法を,人とロボットの感情コミュニケーション場面を想定した場面において評価した結果について示す. スナリバラフト 勾配積分法に基づく脳波識別に貢献した周波数領域特徴の説明. 深層学習は物体認識だけでなく,脳波を入力とした識別でも高い識別性能を有する.この識別器を医療診断支援に応用する場合,その診断根拠を示すことが重要となる.そのため,誤差逆伝播を用いて各入力特徴が識別に貢献した度合いを求める手法が提案されているが,これらの手法は入力空間での貢献のハイライトを求めるものである.医学・神経科学での知見の蓄積のある周波数空間は識別器の入力空間ではない.本研究では誤差逆伝播に基づく説明法である勾配積分法を用いて,周波数ごとの振幅成分と位相成分の貢献を,少ない計算量で正確に計算することを目指す.識別器入力の空間を人が理解しやすい空間へと変換し,その変換が微分可能であれば,勾配積分法により変換後の空間での貢献の計算が可能になる.脳波の場合,高速フーリエ変換(FFT) が微分可能であることを利用して,周波数空間での貢献を計算する.今回,三つのデータセットを用いて提案法の有効性を実験的に示す. スナリバラフト 認知的満足化関数の線形関数近似. レコメンドも,動物の採餌行動も,同じく試行錯誤と通じた報酬の最大化を目指している.しかしながら,複雑極まりない現実の世界において,報酬の最大化は困難であり,特定の目的を達成するか否かを優先すると考えられる.さらに言えばそれらはなるべく少ない情報でそれを達成することを目指していると思われる.そのような生物の持つ意思決定傾向は満足化と呼ばれる.本研究では満足化を目指して選択を行うRSアルゴリズムに着目し,より広い問題範囲への拡張を目指して線型近似関数への適応したLinRSを考案した.それにより広告配信などに応用されるContextual-banditProblemに対応することが可能になり,一般的な既存の選択アルゴリズムとの比較を行った.本研究で実現したLinRSの線形関数近似は,目的達成を重視したRSによる早く効率的な探索アルゴリズムを深層強化学習に応用するための第一歩である. スナリバラフト 画像解析による洋ナシ果実の外観品質評価システムの検討. 新潟県の特産品である洋ナシ「ルレクチエ」(以下,洋ナシ)は高級果実として知られ,等級を左右する外観品質が特に重要視されている.そのため,洋ナシの外観品質を劣化させる傷や病気に対して出荷規格基準が定められており,外観品質劣化要因の特定が必要である.本研究では,洋ナシの出荷規格基準に則った外観品質評価システムを構築することを目的とし,色特徴を用いて洋ナシの外観劣化部分の検出をした上で,画像から特徴量の自動抽出が可能な深層学習を用いることで,洋ナシ果実の外観品質劣化要因の分類を行う手法を提案する.本稿では,洋ナシの外観劣化部分のデータセットを用意し,畳み込みニューラルネットワークを用いた分類モデルを構築し,分類精度を検証した.実験の結果,画像枚数に偏りのないデータセットで平均正解率60.50%を達成した.また,分類モデルの精度向上に必要なデータセットの要件をまとめた. スナリバラフト 連続行動空間上での決定型方策勾配を用いた深層強化学習によるマルチキャリアエネルギーハブ管理. マルチキャリアエネルギーハブは,エネルギー管理システムの柔軟性を高めました.その一方で,エネルギーハブのエネルギー管理における異なるエネルギーキャリアの相互影響により,より困難になります.エネルギー管理の目的では,数学的最適化ツールが使用されますが,リアルタイムの最適化は最適な管理に挑戦します.一方,エネルギーの需要と供給は非常に変わりやすいため,最適化の目的は異なる場合があります.リアルタイム管理のために,環境の変化と多目的オプションのAIが目的とされています.この作業では,マルチキャリアエネルギーハブ最適化の操作は,ディープ決定論的ポリシーグラジエント(DDPG)アルゴリズムを含むマルチエージェントAIアルゴリズムを実行することによって解決されています.研究マルチエージェントシミュレーション結果は,AIエージェントがエネルギーハブコストを最適化するために需要と供給の間のバランス,貯蔵剤の適切な充放電を管理できることを示した.また,AIを使用した価格決定方法についても説明します.これは,市場の需要と供給管理の目的に適しています. スナリバラフト segmentedVRAEと遺伝的プログラミングに基づく音楽の創作. 本研究ではGeneticProgramming(GP)に基づく対話型楽曲自動生成システムを提案する. GPにおける楽曲の近似評価方法として,VRAE(VariationalRecurrentAuto-Encoder)を拡張したsegmentedVRAEを用いた. segmentedVRAEでは一般的なVRAEとは異なり楽曲を一定幅ごとに潜在変数に写像し,楽曲を複数の潜在変数によって扱う.この結果,楽曲の全体の長さに左右されることなく潜在変数を獲得することができる.得られた潜在変数をもとに適応度関数を作成することで,ユーザの嗜好を示す入力楽曲の要素を適切に反映しつつ定量的な楽曲生成を目指す. 実験ではsegmentedVRAEおよび従来のVRAEを比較することで,segmentedVRAEが可変長の楽曲に対して高い精度を示すことを確認した.また,segmentedVRAEを基づく近似評価に従い,GPがユーザの入力に沿った楽曲最適化に成功したことを示した. スナリバラフト 屋内空間を巡回するロボットのための協調型転移深層学習に基づく人物再同定とそのTA業務支援への適用. 人物識別は,犯罪の捜査やその防止,マーケティング情報の収集など,社会の中で重要な役割を果たしている.その中でも人物再同定は,視野を共有しない複数の固定カメラに映る人物画像から,同一人物を識別する問題と定義される.本研究では,特定の集団に定期的にサービスを提供するロボット向けの人物再同定を提案する.公開されている大規模データセットと,移動ロボットで収集した自作のデータセットを使用した実験により,本手法の有用性を評価することができた. また,ロボットが各個人に合わせた最適なサービスを提供するためには,人物再同定に加えて名前等の個人識別子を用いた情報検索を組み合わせることが重要である.本研究では,提供するサービスの一例として演習授業のTA(TeachingAssistant)支援を取り上げ,人間とロボットが互いの特性を活かして受講学生の学習支援を提供するシステムを構築する.ロボットには名前と外見を結びつけるための学生証読み取り機能を搭載し,名前から得られる情報に基づいて各個人に合わせた学習支援の提供を目指す.実際の演習授業でロボットを動作させ,TA支援の可能性を検証した. スナリバラフト 車いす走行データと位置情報による弱教師を用いた路面状態の評価. 移動弱者のために,歩道のアクセシビリティ情報を提供することは重要な社会的課題である.これまで筆者らは,車いすに設置した加速度センサデータに対して教師あり学習を行うことで,路面状態を推定し歩道のアクセシビリティを評価してきた.教師データのためのビデオ撮影やその動画を用いた加速度センサデータへのラベル付けには,膨大なコストを要し問題となっている.本稿では,弱教師あり学習の一手法として走行時に自動取得済みの位置情報をラベルとして用いる路面状態評価システムを提案・評価した.その結果,位置情報をラベルとした弱教師あり学習を用いた手法が詳細な路面の特徴を獲得することができ,教師あり学習による路面の分類精度に近い0.57の平均F値,0.71の正答率で路面を坂/縁石/点字ブロック/その他に分類可能であることが示された. スナリバラフト 畳み込みニューラルネットワークを用いたアナリスト往訪記録における景況感判定. 投資家の資金を預かり,その運用を行う運用会社では,投資対象の企業を決定するため,各企業にアナリストがヒアリングして財務状況や将来計画などの情報を収集している.この調査分析結果は往訪記録やアナリストレポートとしてまとめられ蓄積されているが,その量が膨大であるため,たとえ熟練したファンドマネージャであっても,これらから適切な投資判断を導き出すことは容易でない.そこで,本研究では,ファンドマネージャーやアナリストの調査分析にかかる労力を軽減し,企業や業界の景況感判定を適切に行えるようサポートする機械学習システムを提案する.一文書内に極性が混在するアナリスト往訪記録の特性から,可読性と極性揺らぎへのロバスト性をあわせもつと期待される畳み込みニューラルネット(CNN)を用い,往訪記録に対する景況感判定を試みる.三井住友DSアセットマネジメント株式会社から提供された往訪記録に対し,CNNによる極性分類を試みた結果,81.4%の判定精度が得られ,Word2VecやDoc2Vecなどで得られた組み込みベクトルで分類するモデルに比べて5.7%精度が向上した.