クラバートの樹

（前回より続く） この記事は、No.365「高校数学で理解する ChatGPT の仕組み（１）」の続きです。記号の使い方、用語の定義、ニューラル・ネットワークの基本事項、単語の分散表現などは、前回の内容を踏まえています。 ３．Transformer  Attention Is All You Need  Google社は、2017年に "Attention Is All You Need" という論文（以下、"論文" と記述）を発表し、"Transformer" という画期的な技術を提案しました。Transformer は機械翻訳で当時の世界最高性能を発揮し、これが OpenAI 社の GPT シリーズや ChatGPT につながりました。 Attention（アテンション）とは "注意" という意味で、Transformer に取り入れられている "注意機構"（Attetion mechanism）を指します。"Attention Is All You Need" を直訳すると、 　「必要なのはアテンションだけ」 ですが、少々意訳すると、 　「アテンションこそがすべて」 となるでしょう（蛇足ですが、ビートルズの "All You Need Is Love" を連想させる論文タイトルです）。 Transformer を訳すと "変換器" ですが、その名の通り「系列 Ａ から系列 Ｂ への変換」を行います。系列 Ａ ＝ 日本語、…