Bi-LSTM学習におけるバッチごとの系列長調整について

まただいぶ更新期間が空いてしまいました。 今回は、表題の通り、深層学習でのBi-LSTMなどの系列学習において、バッチごとに系列長を調整できるようにしてみます。 例えば、Kaggleのカーネルコンペなどで、自然言語の分類…続きを読む続きを読む

Dropoutによる近似ベイズ推論について2

以前に、Dropoutによる近似ベイズ推論に関する記事をあげました。 上記では、ソフトマックス関数の出力値の平均を、カテゴリカル分布のパラメータと見て、その不確実性をエントロピーとして算出していました。 これについて、少…続きを読む続きを読む

TensorFlow Eager Executionを試してみた

今年2月頃、TensorFlow 1.5が公開され、TensorFlowをDefine by Runで実行できる「Eager Execution for TensorFlow」が追加されました。 TensorFlowとい…続きを読む続きを読む

Dropoutによる近似ベイズ推論について

割と今更ですが、深層学習において、汎化性能を保つための工夫の一つであるDropoutを使って推論を行うことが、近似的にベイズ推論になっているという論文がありますので、それについて記します。 また、実際に試験的にMNIST…続きを読む続きを読む

Chainerによる転移学習とファインチューニングについて(VGG16、ResNet、GoogLeNet)

画像系の深層学習では、学習済みモデルの重みを利用する「転移学習」や「ファインチューニング」と呼ばれる手法がよく利用されます。 転移学習: 学習済みのモデルから特徴量を抽出すること ファインチューニング: 学習済みモデルの…続きを読む続きを読む

白線の教師なしセマンティックセグメンテーションを頑張ってみた

セマンティックセグメンテーションは、画像系ディープラーニングの一種で、画素レベルでそれが何かを認識するタスクを行う手法です。 やっていることは割りと簡単で、画像分類のタスクでは、画素情報をクラスの次元に落とし込んでいまし…続きを読む続きを読む

深層強化学習でシステムトレードしてみたかった

不労所得を目指します。← 表題の通りです。 やっては見たものの、結果として、エージェントの設計により、あまり面白くない結果になってしまった感が否めないため、「してみたかった」系タイトルです。 今回は以下のアルゴリズムで、…続きを読む続きを読む

Kaggleの氷山コンペに参加してみた

今更ですが、明けましておめでとうございます。 表題の通り、Kaggleの氷山コンペにソロで参加していましたので、簡単にですが、その時の手法とか結果とか書いてみます。 コンペ自体は、1月末の時点で終了しています。 http…続きを読む続きを読む

Chainerでファインチューニングして特徴量抽出してみた

さらに続きとしてやってみました。 前回は、花の画像データセットで、VGG16の学習済みモデルを使って特徴量を抽出してみました。 今回は表題の通り、タグ付け情報を用いてファインチューニングを行った後に、特徴量を抽出して様子…続きを読む続きを読む

Chainerで転移学習・特徴量抽出して類似度を測ってみた

一応、前回の続編的な感じになります。 前回は自己符号化器で画像の画素値を次元圧縮し、得られた特徴量を使って類似度計算を行ってみました。 今回は、モデルを一から学習するのではなく、転移学習で得られた特徴量を使って類似度計算…続きを読む続きを読む

TensorFlowで自己符号化器で特徴量抽出して類似度を測ってみた

表題の通り、画像データセットから自己符号化器で特徴を学習し、類似度を測ってみました。 データセットはKaggleからお借りし、ライブラリはTensorFlowを使いました。 画像処理と自己符号化器、そしてTensorFl…続きを読む続きを読む

TensorFlowでニューラルネットワーク、CNNを実装してみた

今回は、TensorFlowでニューラルネットワーク、畳み込みニューラルネットワークの実装について記します。 以前にChainerやPyTorchでも各種ニューラルネットワークを実装していますので、今回も同様のタスクを実…続きを読む続きを読む

PyTorchで深層強化学習(DQN、DoubleDQN)を実装してみた

以前に勉強したDeep Q-Network(DQN)を、やっぱり離散的な状態を返す簡単なゲームでなく、連続的な状態のゲームにも適用してみたいと思い、久しぶりにまた勉強しました。 最近の深層強化学習の研究を見てみたところ、…続きを読む続きを読む

畳み込みニューラルネットワークで為替予測してみたかった

タイトルの通り、為替データを畳み込みニューラルネットワーク(CNN)で読み込んで予測させるまでを、Chainerで実装してみました。 今回は順を追って、データの取得と加工、モデルの構築、学習と予測をしていきます。 まずは…続きを読む続きを読む

CNN、RNNで文章分類を実装してみた

深層学習において文脈情報を学習させる方法としては、再帰的ニューラルネットワーク(RNN)を用いる方法と畳み込みニューラルネットワーク(CNN)を用いる方法があります。 今回はそれぞれの方法で、文章を学習させてラベル分類を…続きを読む続きを読む

PyTorchでニューラルネットワーク、RNN、CNNを実装してみた

今回は、PyTorchでニューラルネットワーク、再帰的ニューラルネットワーク、畳み込みニューラルネットワークの実装について記します。 以前にChainerの実装をまとめたときのものと同じタスクを実装してみて、比較しやすい…続きを読む続きを読む

Attention Seq2Seqで対話モデルを実装してみた

MLPシリーズの「深層学習による自然言語処理」を読みました。 深層学習による自然言語処理 (機械学習プロフェッショナルシリーズ) posted with ヨメレバ 坪井 祐太,海野 裕也,鈴木 潤 講談社 2017-05…続きを読む続きを読む

Chainerでニューラルネットワーク、RNN、CNNを実装してみた

RNNの実装の勉強もしました。 今回は整理と備忘録も込めて、Chainerでニューラルネットワーク、リカレントニューラルネットワーク、畳み込みニューラルネットワークの実装について記します。 ニューラルネットワーク(Neu…続きを読む続きを読む

Open AI GymのFrozenLakeを深層強化学習(DeepQ-Network)で解いてみた

前回、強化学習で解いた問題を、今回は深層強化学習(Deep Q-Network、以降DQN)で解いてみます。 DQNを使うほどの問題ではないのですが、実装の勉強のため、簡単な問題で解いてみました。 Deep Q-Netw…続きを読む続きを読む

Chainerでニューラルネットワーク及び畳み込みニューラルネットワークを実装してみた

追記(2017-06-20) 再帰的ニューラルネットワークも実装してみて、再度まとめました。 明けました。 本年もどうぞ、よろしくお願いいたします。 機械学習系のライブラリは去年から何かしら使ってみたいなーと思っていまし…続きを読む続きを読む