海行（うみゆき） @umiyuki@mstdn.soysoftware.net
へえ。Googleの内部レポートが流出だって。これがマジならさすがGoogleにも思慮深い人がおるんやなあという感じ。どういう話かと言うと、オープンソースLLMの攻勢がアツい！という話。メタのLLaMAはリークされた途端に世界中のハッカーが弄くり倒して超高速で進化してった。LoRAによって誰でも手元でサ… https://t.co/07E4BX4y8y
RT @tairo: ソース：
皮肉なことにLLMモデルを流出されてしまったMeta社がオープンソースAIで有利な立ち位置では？という視点が面白い。
OpenAIのポリシーが「クローズド」であるというという逆説についても議論の余地があるとしています。
次へ ↓
OpenAIって10億ドル資金調達→100億ドル→1000億ドルってケタが増えてってるのはすごいけど、今の時点でまだ赤字垂れ流しなんかあ！今が赤字なのにこれから先黒字化できる見込みあるんかな。競合が逝った途端にAPIの値段3倍になっちゃうとか？ →RT
RT @kubotamas: 今後数年以内に1000億ドル(13兆円)の資金調達をするかもとサム・アルトマンが発言。シリコンバレーの歴史上最も資本集約的なスタートアップになるだろうと。… https://t.co/IoRfIVHjim
脳の空間モデル化と予測誤差の仕組みを鑑みると、オイクメネやP.Tみたいな空間ループするけど何かが違う系ホラーゲームの面白さの秘密も分かる気がする。人は空間を学習して予測した上で、何かが予測と違うから驚く
RT @Jey_P: 予測誤差で色んなエンタメを捉えるのはマジで有用だと思う。お笑いの大喜利とかモロに予測との距離感の勝負って感じするし、ゲーム実況も人気の人は予測させるのが上手い。兎田ぺこらとか可能英孝とか典型的だと思ってる。
RT @Jey_P: これに近い話、自分も『予測する心』を読んだとき『ゲーマーズブレイン』で「サプライズ」が重視されてたのを思い出したことあったな。「受け身のコンテンツ」と「能動的な行為」の話も、意識的に注意を向けることと行動がどちらも行為推論として説明されてた気がする。 https://t.co/GILEToyg7B
ブログを書きました
脳の予測とクリエイティブ能力の関係。予測的符号化理論、ストーリー、音楽、ゲーム、そして観察力 https://t.co/9OcxuP1Q7l
RT @ddPn08: diffusersベースのstable diffusion webuiとりあえずリリースしました
Deepfloyd IF とか TensorRTとか使えるようにしてます。
とりあえずまだ機能不足ですがいろいろ追加していく予定です（たぶん）
https://t.co/TBKuEBWKYX
RT @itnavi2022: ChatGPTで書いたサイバーパンク小説の電子書籍をAmazonで初出版しました。AIの書いた小説に関心のある方は是非!
ChatGPTが書いた小説をAmazonでセルフ出版してみた｜IT navi @itnavi2022 #note #ChatGPT https://t.co/O9w7kAK3Tx
RT @karaage0703: 自分は同じことやろうとして全然安定させれなかったので、これは試してみたい。あとはAIモデルが変わったら不安定にならないかは気になりますね
RT @shi3z: RWKV13BをAlpaca-Cleaned-JapaneseでファインチューニングしたLoRAのEpoch320とEpoch500のチェックポイントを追加
Epoch500でlossが0.62まで下がっています
https://t.co/J4s0fxf480
RT @akinoriosamura: 謎だらけのAI、深層学習の賢さ説明できず 人の意図超す - 日本経済新聞 https://t.co/u8EdL9e9zr
なんか前もこういう研究あった気がするけど、テニスの試合の動画をAI学習して、それだけで2人プレイのテニスゲームになったよ！って話らしい。すげ〜。AI時代にはこれがPONGより簡単に作れちゃうのか？ →RT
RT @_akhaliq: Learning Physically Simulated Tennis Skills from Broadcast Videos
paper: https://t.co/Y0KpOuBWrQ
project page: https://t.co/pFFIX9VQnc https://t.co/MNfWgjR25Y
おいおい、昨日だかに「殺人ロボがヤバい！」ってツイしたら「いやロボは未知の環境とか歩くの無理ですから」とか草生やされたけど、Googleはロボを未知の屋外環境でGoogleマップデータとか併用して目的地まで歩いて辿り着けるようになったってよ！どうしてくれんのコレ →RT
RT @GoogleAI: Presenting an algorithm that uses #ReinforcementLearning to train a navigation policy in simulated indoor environments and then transfers that same policy to real outdoor settings in order to enable efficient long-range robotic navigation outdoors → https://t.co/Gome7XTHXb https://t.co/AqMMBZZwIx
H100はA100に比べてtransformerのトレーニング速度がどうかというと、モデルサイズに応じて2.2〜3.3倍らしい →RT
RT @DrJimFan: Most people haven’t had a chance to use H100 yet. Theoretical FLOPs mean nothing - true speedup on Transformers is all that matters.
How does H100 fare against A100 in real battles?
Results on GPT from a third party @MosaicML: the larger model you train, the more time you save. https://t.co/EMR3u4Tjs9
RT @hiro_gamo: うおまじか！
ChatGPTに続きBing Chatにもプラグイン！
しかも先行してマルチモーダル対応。確かにBing ChatはGPT-4だしな。会話履歴も追加と。
神アプデか。え、詳細どこ？探そ。 https://t.co/BumvbCaMuq
