quotejungle

[quotejungle]

ChatGPTの開発元OpenAIのCEOサム・アルトマン氏やマイクロソフトの共同創業者ビル・ゲイツ氏など、大手テクノロジー企業の幹部は、データセンターの増大する電力需要に対する解決策として原子力エネルギーを推奨している。 アルトマン氏は、5月に白紙小切手合併により株式を公開した原子力発電の新興企業オクロ( OKLO.N )の出資者であり会長も務めている。一方、ゲイツ氏が共同設立した新興企業テラパワーは、6月に原子力施設の建設を開始した。

AIデータセンターのブームとサステナビリティ技術の復活

[quotejungle]

世界的な AI 需要により、2027 年までにデータ センターで1 兆ガロン以上の真水が消費される可能性があると推定しています。1 兆ガロンの水は、オリンピック サイズのプール約 150 万個分に相当します。

AIデータセンターのブームとサステナビリティ技術の復活

[quotejungle]

データセンターは現在、世界の電力使用量の1％以上を占めている。この数字は劇的に増加すると予想されており、2026年までにはデータセンターの消費エネルギーがスウェーデンやドイツなどの国全体と同量になる可能性があると予測されている。

AIデータセンターのブームとサステナビリティ技術の復活

[quotejungle]

ChatGPT は従来の Web 検索の15 倍のエネルギーを必要とすると Arm の幹部は述べています。 「10 年前は、30 メガワットのデータ センターは巨大だと考えられていました。今では、企業が 300 メガワットのデータ センターを建設する計画を発表しても、誰も驚きません。AI のおかげで、1 ギガワットのデータ センターが標準になっています」

AIデータセンターのブームとサステナビリティ技術の復活

[quotejungle]

データセンターが最も多い国はどこですか?

(AIデータセンターのブームとサステナビリティ技術の復活から)

[quotejungle]

BigTech の設備投資は 2024 年の 2,000 億ドルから 2025 年には 3,000 億ドルにまで増加する可能性が高いことが分かっています (モルガン スタンレーの予測)。必要なエネルギーと水はどこから来るのでしょうか? Google と Meta はそれぞれ 626 億ドルと 523 億ドルを投資する予定である一方、Amazon と Microsoft はそれぞれ 964 億ドルと 899 億ドルを投資し、設備投資をリードすると予想されています。Microsoft、Amazon、Google、Oracle などのクラウド プロバイダーは、米国国内だけでなく、Microsoft のような東南アジアから Google のような南米まで、海外でも新しいデータセンターを構築するペースを拡大しています。 データセンターは今後数年間でかなりの量の電力を消費すると予想されています。ゴールドマン・サックスは、世界のデータセンターの電力需要が 2030 年までに 160% 増加し、総電力消費量の約 1 ～ 2% から約 3 ～ 4% に増加すると予測しています。

AIデータセンターのブームとサステナビリティ技術の復活

[quotejungle]

プロンプトは LLM に直感的なインターフェイスを提供しますが、このインターフェイスは完璧からは程遠いものです。多くのモデルは、プロンプトの小さな変更に過度に敏感です。プロンプトの文言や構造を微調整すると、誤った予期しない結果につながる可能性があります。このため、効果的なプロンプトを作成するには、重要なドメインの専門知識が必要であり、求められるスキルとなっています。

自動プロンプト最適化 - Cameron R. Wolfe 博士著

[quotejungle]

中国の研究者は、 Meta のラマをモデルにして軍事利用のための AI モデルを名目上開発している。

AI #89: トランプカード - Zvi Mowshowitz 著

[quotejungle]

サム・アルトマン：私は神が私の味方になってくれるように祈ったりお願いしたりすることはありません。私は神の味方になりたいと祈り、願っています。ディープラーニングに賭けることは、天使の味方になったような気分になるのです。

AI #89: トランプカード - Zvi Mowshowitz 著

[quotejungle]

マイクロソフトは、a16z に全力を注���、「人間よりも賢いものも含め、最先端のモデルの開発を妨げることは何もせず、その上で「技術の応用と悪用に焦点を当てる」という計画を支持している。 彼らはここで、モデルをトレーニングする際に著作権規則を完全に無視できるべきだと言っている「学習する権利」という大きな取り組みを提案しています。

AI #89: トランプカード - Zvi Mowshowitz 著

[quotejungle]

サム・アルトマン氏は「我々は[AGI]は現在のハードウェアで実現可能だと信じています」と語る。

AI #89: トランプカード - Zvi Mowshowitz 著

[quotejungle]

AI に最も欠けている優れた芸術の鍵は、独創性と創造性です。しかし、AI が存在することで、芸術に直接 AI を使用しなくても、物事を揺さぶることで、人間が独創的で創造的になる新しい道が開かれます。できるうちに、その利点を活用しましょう。

AI #89: トランプカード - Zvi Mowshowitz 著

[quotejungle]

ナイアシンはビタミン B3 としても知られ、体内の 500 以上の生化学反応に不可欠な小分子です。エネルギー生成、DNA 修復、細胞シグナル伝達に重要な役割を果たしており、全体的な健康に不可欠で、ペラグラなどの欠乏症を予防します。

Niacin: The Real Story - Lies are Unbekoming

[quotejungle]

現代の LLM の進化ツリー

(大規模言語モデルの理解から)

[quotejungle]

さまざまな入力モダリティ (オーディオ、テキスト、画像、ビデオ) を受け入れ、出力モダリティとしてテキストを返すマルチモーダル LLM の図。

(マルチモーダル LLM について - Sebastian Raschka 博士著から)

[quotejungle]

大手テクノロジー企業は、より大規模なモデルをトレーニングするために必要なデータセンターの構築を急いでおり、必要な電力を供給するために原子力発電所全体をリースし始めています。

ディープラーニングブームがほとんどの人を驚かせた理由

[quotejungle]

上の赤​​い四角の数字 2 のような手書きの 10 進数を識別できるネットワークを作成するとします。このようなネットワークは、画像内の各ピクセルの強度値を受け取り、0、1、2 などの 10 個の可能な数字の確率分布を出力します。

このようなネットワークをトレーニングするには、まずランダムな重みで初期化します。次に、一連のサンプル画像で実行します。画像ごとに、ネットワークを正しい答え (この場合は、「2」出力の高確率値) に導く接続を強化し、間違った答え (「2」の低確率と他の数字の高確率) に導く接続を弱めて、ネットワークをトレーニングします。十分なサンプル画像でトレーニングすると、モデルは 2 が表示されたときに「2」の高い確率を予測し始め、それ以外の場合は予測しなくなります。

(ディープラーニングブームがほとんどの人を驚かせた理由から)