DeepLearning勉強会 - Assignment 6: LSTMs - Problem 1, 2

概要 深層学習勉強会の課題6(問題1+2)です。今回はLSTMを使って、言語モデルを作ることです。 課題の難易度が急に高くなりますね。 準備 データセットについて 学習データはtext8というデータセットを使います。 $ unzip text8.zip $ wc text8 0 17005207 100000000 text8 $ less text8 text8は17005207単語、100000000バイトというでかいテキストファイルです。最初の500文字を表示すると、 $ head »

DeepLearning勉強会 - 講義ノート6

Sequences of Varying Length word2vecにより単語のモデルができました。次はテキスト(つまり単語のシーケンス)をモデル化しましょう。 今まで勉強したのは、入力いつもが固定サイズでした。固定サイズというのは入力をベクトル化できて、そのベクトルをニューラルネットワークに入れることができるとのことです。でも、テキストや音声などは固定サイズではなく可変長なシーケンスです。どうします? RNNs (Recurrent Neural Networks) CNN (畳み込みニューラルネットワーク)は空間的共有重みにより画像のパータンを抽出しました。 今イベントのシーケンスがあって、各時点で何が起こったのかを決定したい場合は、同じ共有重みのアイデアで、時間的共有重みも考えられます。 »

DeepLearning勉強会 - 講義ノート4

Convolutional Neural Networks(畳み込みニューラルネットワーク)の続きです。前半はこちら。 Convolutional Networks 主な概念 ストライド (stride): フィルタを順に適用していく際に、何ピクセルずらすのかという値です。 stride = 1: 出力が入力の大体同じサイズになります。 stride = 2: 出力が入力の大体半分のサイズになります。 大体といった理由は画像の端に何をするかによって変わるためです。 valid padding: 普通に画像の端からフィルタを適用していきます。こうすると、例えばstride = 1でも出力が入力より少し小さくなります。 »

DeepLearning勉強会 - 講義ノート3

Lesson 3はConvolutional Neural Networks(畳み込みニューラルネットワーク)について勉強します。 Intro Lesson 3 Lesson 2には一般ニューラルネットワークについて勉強いました。しかし、もしデータが画像だったり、シーケンスだったり、そのデータに対してもっといいニューラルネットワークがあります。 Statistical Invariance Translation invariance:画像の中に猫があるかどうかを判定するニューラルネットワークがあります。猫の位置、左だったり、右だったり、どこでも同じ猫です!猫は位置に依存せず、どこでも同じという性質はtranslation »

DeepLearning勉強会 - 講義ノート1

What is Deep Learning? Vincent先生はGoogleのサイエンティストで、機械学習・AIを研究しています。 ディープラーニングは機械学習分野の一部で、データをたくさん・たくさん使って、人間しかできなかったことをコンピューターに教えることです。 最近、ディープラーニングがコンピュータービジョン・音声認識のほか、たくさんの分野に応用されます。例えば、新薬の発見、自然言語理解、検索結果のランキングなどです。 Course Overview 大きくは4つのレッスンがあります。 1. 機械学習からディープラーニングへ logistic »