AIの時代に追いつくための読書リスト

 

AIがexpotntialと表現されるほど驚異的なスピードでテック業界の話題をさらっています。実際に株価もAI関連銘柄は全て上昇しているというレベルで期待が込められています。

少し前にWhy Software Is Eating The Worldを読んだ感想を書きましたが、同様に一般人がAIに追いつくための記事とその解説をここに書き殴っていきます。テック業界の人たちの勉強量って他の産業にいる人よりも体感的ですけど、2-3倍ぐらいあるんですよね。それは新しいテクノロジー然り、基礎領域の知識然り、語学然り。波においてかれないように必死こいてインプット量を上げていければと思います。

Software 2.0: Andrej Karpathyが著者です。2017年の時点で新しいAIの波がなぜ重要なのかを説明しています。2023年の6年後にドンピシャで当ててます。LLM(Large language model)が急速に成長しているため、この論点は非常に先見の明があったといえます。

Software 1.0 is code we write. Software 2.0 is code written by the optimization based on an evaluation criterion (such as “classify this training data correctly”). It is likely that any setting where the program is not obvious but one can repeatedly evaluate the performance of it (e.g. — did you classify some images correctly? do you win games of Go?) will be subject to this transition, because the optimization can find much better code than what a human can write. Andrej Karpathy

State of GPT: Microfoftのオフィシャルサイトにも掲載されている動画になります。Open AI のResearcher and Founding MemberであるAndrej Karapathyが解説してくれています。Open AIと言えば、年収がヤバイことになってます(笑)levels.fyiによると、わずか社会人歴2~4年で92.5万ドルなので、150JPY=1$計算だとざっくり1億3875万円ですw

Who Owns the Generative AI Platform? : Andreessen HorowitzにいるMatt, Guido, Martinによって書かれたAI Platformの覇権争いの予想記事。文系出身の人はこっちの方が読みやすいし、気になるのでは。彼らの見解は、2023年1月19日時点では不明と書いてますけど。 ただ、機関投資家として考えると、「MOATをどうやって構築するか」が最大の論点であるわけです。一般的な経営戦略で語られる、Go-to-market、Product、Ecosystem、Supply-chainといった組み合わせでは語りきれない点が、テクノロジー会社の経営戦略を理解するのが難しい点だと思います。

There don’t appear, today, to be any systemic moats in generative AI. As a first-order approximation, applications lack strong product differentiation because they use similar models; models face unclear long-term differentiation because they are trained on similar datasets with similar architectures; cloud providers lack deep technical differentiation because they run the same GPUs; and even the hardware companies manufacture their chips at the same fabs.

There are, of course, the standard moats: scale moats (“I have or can raise more money than you!”), supply-chain moats (“I have the GPUs, you don’t!”), ecosystem moats (“Everyone uses my software already!”), algorithmic moats (“We’re more clever than you!”), distribution moats (“I already have a sales team and more customers than you!”) and data pipeline moats (“I’ve crawled more of the internet than you!”). But none of these moats tend to be durable over the long term. And it’s too early to tell if strong, direct network effects are taking hold in any layer of the stack.

Based on the available data, it’s just not clear if there will be a long-term, winner-take-all dynamic in generative AI.