生成AIはPythonと共に＿その活用と陥穽

2024-06-23

おって作成します。

生成AIの最前線

ChatGPTの理論を学ぶ

  • はじめに
  • 編注 　Wolfram言語の基本
  • 第１部 　 ChatGPTは何をしているのか、なぜ動くのか
    • 実は、1つずつ単語を足しているだけ
    • 確率はどこから求めるのか
    • モデルとは何か
    • 人間と同じような処理をこなすモデル
    • ニューラルネット
    • 機械学習とニューラルネットの訓練
    • ニューラルネットの訓練の実践と知見
    • 「ネットワークが十分に大きければ何でもできる」のか
    • 埋め込みの概念
    • ChatGPTの内部
    • ChatGPTを訓練する
    • 基本的な訓練の次にあるもの
    • 実際にChatGPTを動かしているもの
    • 意味空間と「意味論上の運動の法則」
    • 意味文法と計算言語の力
    • ということで、ChatGPTは何をしているのか、なぜ機能するのか
    • 謝　辞
  • 第２部 　 Wolfram|Alpha ──計算知識の強大な力をChatGPTに
    • ChatGPTとWolfram|Alpha
    • 基本的な例から
    • そのほかの例をいくつか
    • 今後の展望
  • 監訳者解説 参考資料
  • 正誤表/免責事項　献辞　賞賛の声　まえがき　謝辞
  • 第1章　大規模言語モデルの革命
    • １　自然言語処理とは？
    • ２　大規模化による超進歩
    • ３　GPTの名前の由来
      • 1.3.1 Generative(生成的な)
      • 1.3.2 Pre-trained(前学習済みの)
      • 1.3.3 Transformer (トランスフォーマ)
      • 1.3.4 Seq2Seq
    • ４　 Transformerのアテンションメカニズム
    • ５　GPTの歴史
      • 1.5.1 GPT-1
      • 1.5.2 GPT-2
      • 1.5.3 GPT-3
      • 1.5.4 ChatGPT
      • 1.5.5 GPT-4
    • 6 OpenA! API公開のビジネス界への影警
    • 7 OpenAI APIの利用
  • 第2章　ChalGPTの4つの実行例
    • 1　 ChatGPTの実行
    • ２　ブロンブトとコンブリーション
    • ３　標準的なNLPタスクのパフォーマンス
      • 2.3.1 テキスト分類
      • 2.3.2 固有表現認識(Named Entity Recognition)
      • 2.3.3　文章要約
      • 2.3.4 テキスト生成
    • ４　プロンプトエンジニアリングとデザイン
    • ５　この章のまとめ
  • 第3章　OpenAI APIの機能と活用
    • １　Playgroundの概要
      • 3.1.1 Playgroundの起動
      • 3.1.2 ChatGPT をまねる
      • 3.1.3 SYSTEM の設定
    • ２　パラメータの設定
      • 3.2.1 [Mode]
      • 3.2.2 [Model]
      • 3.2.3 [Temperature]と[Top P]
      • 3.2.4 [Maximum length]
      • 3.2.5 [Stop sequences]
      • 3.2.6 [Frequency penalty] と [Presence penalty]
    • ３　APIの呼び出し
      • 3.3.1 APIキーの取得
    • ４　トークンとコスト
      • 3.4.1 トークン
      • 3.4.2 コス
      • 3.4.3 ダッシュポード
    • ５　Pythonを使った呼び出し
      • 3.5.1 公式Pythonバインディングのインストール
      • 3.5.2 プロンプトの構築とコンプリーションの取得
      • 3.5.3 ChatGPTをまねたプログラム
      • 3.5.4 [SYSTEM]に役割を指定
      • 3-5.5　履歴の保持
    • ６　Node.jsを使った呼び出し
    • ７　Goを使った呼び出し
    • ８　その他の機能
    • ９　この章のまとめ
  • 第4章　GPTによる次世代スタートアップの拡大
    • １　MaaS (Model-as-a-Service)
    • ２　GPTベースの起業ーケーススタディ
      • 4.2.1 Fable Studioークリエイター向けアプリケーション
      • 4.2.2 Viableーデータ解析アプリケーション
      • 4.2.3 Quickchatーチャットポットアプリケーショ
      • 4.2.4 Copysmithtーマーケティングアプリケーション
      • 4.2.5 Stenographtーコーディングアプリケーション
    • ３　投資家から見たGPTのスタートアッブ・エコシステム
    • ４　この章のまとめ
  • 第5章　GPTによる企業華新のネクストステップ
    • １　ケーススタディ—GitHub Copilo
      • 5.1.1 Copilotの内部構造
      • 5.1.2 GitHub Copilot の開発
      • 5.1.3 ローコード/ノーコード・プログラミングとは?
      • 5.1.4 APIとスケーリング
      • 5.1.5 GitHub CopilotO 次の展開は?
    • ２　ケーススタディ—Algol ia Answers
      • 5.2.1 　他モデルの評価
      • 5.2.2 データのプライバシー
      • 5.2.3 コスト
      • 5.2.4 スピードと遅延
      • 5.2.5　得られた学び
    • ３　ケーススタディ—MicrosoftのAzure OpenAI Service
      • 5.3.1　運命的なバートナーシップ
      • 5.3.2　AzureネイティブのOpenAI API
      • 5.3.3　リソース管理
      • 5.3.4　セキュリティとデータブライバシー
      • 5.3.5　企業にとってのMaaS
      • 5.3.6　その他のMicrosoftのAlサービス
      • 5.3.7　企業へのアドパイス
      • 5.3.8　OpenAI かAzure OpenAI Serviceか
    • この章のまとめ
  • 第6章 　GPTのリスク
    • １　バイアスとの戦い
    • ２　バイアス対策
    • ３　低品質コンテンツと誤情報の拡散
    • ４　LMの環境への影響
    • ５　注意しながら進める
    • ６　この章のまとめ
  • 第7章　AIへのアクセスの”主化
    • １　ノーコード? ノープロブレム！
    • ２　AIへのアクセスとMaaS
    • ３　最後に
  • 参考文献　索引
  • はじめに
  • ご案内
  • 第1章 ChatGPTの概要
    • 1.1 ChatGPT登場の背景と社会的反響
    • 1.2 言語モデルの歴史
  • 第2章 ChatGPTの動作原理
    • 2.1 トランスフォーマー
    • 2.2 BERT
    • 2.3 GPT-3
    • 2.4 RLHF
  • 第3章 他の大規模言語モデル
    • 3.1 LaMDAとBard
      • 3.1.1 LaMDA
      • 3.1.2 Bard
    • 3.2 PaLM
    • 3.3 LLaMA
  • 第4章 ChatGPTのAPI
    • 4.1 ChatGPTのAPIとは？
    • 4.2 アクセス取得及び最初の呼び出し
      • 4.2.1 支払い設定とAPIキーの取得
      • 4.2.2 openaiライブラリでのAPI呼び出し
      • 4.2.3 モデルグループ別のAPI選択と関数
    • 4.3 入力及び応答のフォーマット
      • 4.3.1 入力のフォーマットとパラメータ
      • 4.3.2 応答のフォーマット
    • 4.4 アドバンスドな利用方法
      • 4.4.1 レートリミット
      • 4.4.2 コストの考慮
      • 4.4.3 プライバシーとセキュリティ
      • 4.4.4 モデルの最適化
      • 4.4.5 複数ターンの対話
      • 4.4.6 テストと回答の改善
      • 4.4.7 情報検索
      • 4.4.8 チャットボット
      • 4.4.9 データ拡張
  • 第5章 APIを用いたファインチューニング
    • 5.1 ファインチューニングの準備
      • 5.1.1 データセットをjsonlにフォーマット変換
      • 5.1.2 モデルを選びデータをアップロード
    • 5.2 ファインチューニングの実行
    • 5.3 推論の実行
  • 第6章 HuggingFaceを用いたファインチューニング
    • 6.1 Pythonスクリプトによる学習の準備
    • 6.2 モデルの学習
    • 6.3 推論
    • 6.4 RLHFの再現
  • 第7章 プロンプトエンジニアリング
    • 7.1 プロンプトエンジニアリングの概要
    • 7.2 プロンプトのパターン
      • 7.2.1 入力セマンティック
      • 7.2.2 出力のカスタマイズ
      • 7.2.3 エラー追究
      • 7.2.4 プロンプト改善
      • 7.2.5 インタラクション
      • 7.2.6 文脈制御
      • 7.2.7 組み合わせ
    • 7.3 日本語のプロンプトエンジニアリング
  • 第8章 Microsoftのサービスで始めるLLMシステム
    • 8.1 本章に書くこと・書かないこと
    • 8.2 LLMを組み込んだMicrosoft製品
      • 8.2.1 Microsoft社とOpenAI社の関係
      • 8.2.2 Copilot導入製品
      • 8.2.3 LLMとMicrosoft Office製品の連携の仕組み
    • 8.3 Azure OpenAI Serviceという選択肢
      • 8.3.1 Azure OpenAI Serviceが提供する機能
      • 8.3.2 OpenAI Python v0.28.1からv1.0への変更点
    • 8.4 RAGアーキテクチャ
      • 8.4.1 RAGとは？
      • 8.4.2 基本的なRAGの構成と心構え
      • 8.4.3 RAGの処理フロー
      • 8.4.4 独自データベースの準備
    • 8.5 研究者のためのクイックなRAG環境構築：Azure　OpenAI Serviceとカスタム実装
      • 8.5.1 データドリブンでRAG環境の検証を進めたい方へ
      • 8.5.2 手法や前処理を変更してRAG環境を検証したい方へ
    • 8.6 本章の最後に
  • 第9章 ChatGPTの限界を越えて
    • 9.1 ChatGPTの限界
      • 9.1.1 物理的世界の理解
      • 9.1.2 リアルタイム情報の反映
      • 9.1.3 事実の頻繁な誤り（ハルシネーション）
    • 9.2 外部APIを用いたChatGPTの改善
      • 9.2.1 Toolformer
      • 9.2.2 Visual ChatGPT
      • 9.2.3 HuggingGPT
      • 9.2.4 TaskMatrix.AI
      • 9.2.5 DALL・E 3
    • 9.3 ChatGPT生成文章の識別
    • 9.4 ChatGPTとAGI
  • 第10章 マルチモーダル大規模モデルの数々
    • 10.1 テキストによる画像生成
      • 10.1.1 背景知識：拡散モデルとCLIP
      • 10.1.2 テキストからの画像生成モデル
    • 10.2 テキストによる動画生成
      • 10.2.1 テキストからの動画生成モデル
    • 10.3 テキストによる音声・音楽生成
      • 10.3.1 テキストからの音声生成モデル
      • 10.3.2 テキストからの音楽生成モデル
  • 第11章 今後の課題
    • 11.1 言語モデルの現状
    • 11.2 言語モデルの今後
      • 11.2.1 GPT-4
      • 11.2.2 Llama2
    • 11.3 結語
  • 謝辞
  • 文献一覧
  • 著者プロフィール

生成AIとPython

Posted by murachan54