# よくわかるディープラーニングの仕組み ## Metadata * [[谷田部卓]]  * ASIN: B01LXP9S2B * Reference: https://amazon.co.jp/dp/B01LXP9S2B * [Kindle link](kindle://book?action=open&asin=B01LXP9S2B) ## 要約 ## 読書メモ ## Highlights >[!quote] >教師データから学習して、自動的に行うことができるのです。この特徴量の自動抽出がディープラーニングの最大の特徴となっています。 — location: [135](kindle://book?action=open&asin=B01LXP9S2B&location=135) ^ref-41119 --- >[!quote] >自ら画像の特徴を抽出できることが画期的でした。 — location: [212](kindle://book?action=open&asin=B01LXP9S2B&location=212) ^ref-35944 --- >[!quote] >ディープラーニングは生物の脳をモデルとしたニューラルネットワークが原型です。 — location: [225](kindle://book?action=open&asin=B01LXP9S2B&location=225) ^ref-56703 --- >[!quote] >複雑なモデルであるニューラルネットワークは過学習に陥りやすいのですが、過度に教師データに依存した（ 汎化 できていない）状態と言えます。原因としては、教師データが足りなくデータに偏りがあるためと考えられ — location: [346](kindle://book?action=open&asin=B01LXP9S2B&location=346) ^ref-62808 --- >[!quote] >可変長データをニューラルネットワークで扱うため、隠れ層の値を再び隠れ層に入力するというネットワーク構造にしたのが、 RNN（ Recurrent Neural Network） です。 — location: [361](kindle://book?action=open&asin=B01LXP9S2B&location=361) ^ref-7384 --- >[!quote] >2011 年の音声認識コンテスト、 2012 年の画像認識コンテストでのディープラーニングの圧勝によって、現在の 3 回目のブームとなったのです。 — location: [422](kindle://book?action=open&asin=B01LXP9S2B&location=422) ^ref-31965 --- >[!quote] >大きくは「 CNN（ 畳み込みニューラルネットワーク）系」と「 RNN（ LSTM）系」の 2 種類で、実用化が始まっています。 — location: [504](kindle://book?action=open&asin=B01LXP9S2B&location=504) ^ref-51745 --- >[!quote] >ディープラーニングの応用先としては、 CNN が得意とする「 パターン認識系」、最も応用範囲が広がるであろう「 自然言語処理系」、自動運転車を代表とする「 操作系」が考えられます。 — location: [509](kindle://book?action=open&asin=B01LXP9S2B&location=509) ^ref-1331 --- >[!quote] >パターン認識の分野は、今まで人間しか行えない領域でしたが、前述しましたように CNN は画像認識精度で既に人間を凌駕しています。 — location: [514](kindle://book?action=open&asin=B01LXP9S2B&location=514) ^ref-33147 --- >[!quote] >人間のオペレータによるヘルプデスク業務は、数年でディープラーニングによる自動応答に置き換わっていくでしょう。 — location: [523](kindle://book?action=open&asin=B01LXP9S2B&location=523) ^ref-62978 --- >[!quote] >文章の自動要約や意味抽出まで進んでいくと、人間の事務職の大半はディープラーニングで置き換えが可能と考えられ — location: [524](kindle://book?action=open&asin=B01LXP9S2B&location=524) ^ref-31806 --- >[!quote] >自動運転は数年で実用化が始まり、普及も急速に進んでいくはずです。 — location: [530](kindle://book?action=open&asin=B01LXP9S2B&location=530) ^ref-24503 --- >[!quote] >日本企業は、技術を自社だけで囲い込もうという意識が強すぎるため、研究成果を広く公開したり、アイデアを募るような研究ができない体質のようです。 — location: [546](kindle://book?action=open&asin=B01LXP9S2B&location=546) ^ref-57289 --- >[!quote] >2016 年 9 月末には、 Facebook、 Amazon、 Google、 IBM、 Microsoft の 5 社が、 AI に関して歴史的な提携を発表したと報道されています。 — location: [552](kindle://book?action=open&asin=B01LXP9S2B&location=552) ^ref-41476 --- >[!quote] >エンジニアを囲い込んだりせず、基礎研究の段階から幅広い英知を求めていくべき — location: [563](kindle://book?action=open&asin=B01LXP9S2B&location=563) ^ref-28716 --- >[!quote] >偏りのないあらゆるパターンで、かつ大量の訓練データを与えることにより改善ができます。 — location: [573](kindle://book?action=open&asin=B01LXP9S2B&location=573) ^ref-55586 --- >[!quote] >ディープラーニングは、その原理を生物の脳に求めており、ニューロンとシナプスを模したものがその原型 — location: [578](kindle://book?action=open&asin=B01LXP9S2B&location=578) ^ref-9679 --- >[!quote] >過学習が生じる前の幼児の段階で、できる限り様々な体験をさせるべきなのではないでしょうか。 — location: [594](kindle://book?action=open&asin=B01LXP9S2B&location=594) ^ref-20132 --- >[!quote] >実体験が無理なら、色々な絵本を読み聞かせることで、たとえ仮想でも体験の幅は格段に広がり、過学習を生じさせない柔軟な頭脳になるのかもしれません。 — location: [597](kindle://book?action=open&asin=B01LXP9S2B&location=597) ^ref-33330 --- >[!quote] >視覚や聴覚から入力されてくる空間的・時系列的な情報をパターン化・抽象化することで大幅に情報圧縮し、有限の脳に大量の情報を詰め込めることができるようになりまし — location: [605](kindle://book?action=open&asin=B01LXP9S2B&location=605) ^ref-59817 --- >[!quote] >言語」は、その抽象化された情報、すなわち記憶を外部化・表出したものです。さらに「文字」の発明が、記憶を外部に長期間記録することを可能とし、より大量の情報を人類は共有できるようになったのです。 — location: [606](kindle://book?action=open&asin=B01LXP9S2B&location=606) ^ref-16536 --- >[!quote] >は『ディティールを削ぎ落して抽象化された言葉』 — location: [618](kindle://book?action=open&asin=B01LXP9S2B&location=618) ^ref-64200 --- >[!quote] >大人になると抽象的概念を使って複雑な事象も考えることができるようになります。知識や経験を積むことで、ニューラルネットワークの階層が深くなっているかのようです。人間も過学習に陥らないように、すなわち「偏見」を持たないように、幅広く見識を積むべきなのでしょう。 — location: [622](kindle://book?action=open&asin=B01LXP9S2B&location=622) ^ref-44707 ---