Deep Learning - The Big Computing

kerasでLeNet(1988年版)を作り、当時に思いを馳せる

kerasでLeNetを作ります。偉人に経緯を表し、歴史の勉強をさせていただいております。 kerasとは、2022年現在はtensorflowの文法のことです。LeNetとは、FacebookのVice Preside […]

「マクスウェルの悪魔」「熱力学第二法則」という言葉を聞いたことはないだろうか。「部屋に閉じこもっていても酸素がゼロにならない」ことや「磁石にN極とS極があって、磁石を2つに割ってもまた磁石になる」ことを不思議に感じたこ […]

CVPR2020にリモート参加した。時差があるので夜中の1:00に始まるので大変だった。CVPR自体は3日だが、前後にWorkshopが付いており、合計6日参加した。費用は非会員なので$350だった。安い。知の交流を守 […]

画像認識AI歴数年のエンジニアによる入門記事です。物体認識について、初期のアルゴリズムから2020年ぐらいのDeep Learningまでカバーしています。(会社の仕事内容・独自技術・特許は秘密) ※長くなったのでまとめ […]

何が問題なのか前にMath Powerというイベントで発表させていただいたのだが、Seq2Seqというディープニューラルネットワークは四則演算を学習できる。これは、Seq2Seqが”Domain Indep […]

何が問題なのかどうでもいいことが気になって仕方ない。 LSTMは宇宙の真理を表しているのは周知の事実だが、果たしてsin波を学習することは出来るのだろうか。出来るに決まってるだろうって？いやいや、それは誤解だ。Seq2 […]

根本的な疑問 ResNetのshortcut(short circuit)は層をディープに(152とか)するためのものだが、ふと浅くしたらどうなるのだろうと思った。浅くしたら、resnetの理論の証明が可視化できるのでは […]

http://tinyclouds.org/residency/ node.jsを発明した人が1年Googleにフルタイムで滞在した時の話。 Deeplearningを簡単という人が言うけど、やっぱ難しいよなぁ。コモディ […]

AlphaGoを構成するブレイクスルーは何か? まずは「1手先を読む」タスクに寄与したもの CNNを使ったこと(教師あり学習でランダム比140倍の性能) バリューネットワークという、世界初の囲碁の評価関数の導出しかしな […]

今年(1/1〜2/28)一番感動した論文である「足し算をする機械」をコードをパクって実装することができた。感動である。途中いろいろ苦労したので、メモを残した。この機械は、繰上げや2桁の数、二項演算といった概念形成をする […]

ワークフロー Audioファイルの蓄積特徴抽出音響モデルの構築言語モデルの構築出力 sEnd-to-End Modeling 通常必要とされる途中過程(GMMとかHMMとか)をすっとばして、特徴ベクトルから直に音 […]