海行（うみゆき） @umiyuki@mstdn.soysoftware.net
RT @_oshizo_: load_in_8bitの難点は推論が遅くなることで、bloomz-7b1で測るとデフォの設定では倍ぐらいかかる（6.2sec→12.8sec/100tokens）。
外れ値判定の閾値を下げるとfp16で計算する次元が増えて緩和される（8.4sec）。
メモリが増えるのでは？と思うが、nvidia-smiの数値では増えてない（なぜ？） https://t.co/DR3RpXAjFt
RT @_oshizo_: 混合精度分解は、推論時にhidden stateから外れ値を含む特徴量次元は分けておき、外れ値次元はfp16で計算、それ以外はint8に量子化して計算して最後に足す。
外れ値にする閾値はfrom_pretrainedの引数load_in_8bit_thresholdでロード時に設定できる（デフォは6.0）
RT @_oshizo_: 昨年夏の記事だけど、load_in_8bitで使えるbitsandbytesのLLM.int8()推論の解説記事を読んだ。かなり面白い内容。
単に8bitに丸めて計算すると誤差が大きそうな気がして、大丈夫か？と思っていたけど混合精度分解という工夫がある。
https://t.co/CockXvep5Y
記憶が改竄されて植え付けられると言えばダークシティ
画像AIは歴史改変に便利 →RT
RT @ideafuls: 元カレや元カノとの思い出写真を別のものに変えてしまうアプリPicsart。「別れた後の写真処理に困る」というインサイト突き過ぎて、誰もが共感できるサービスだし、元カノがフランスパンに変わるとかシュール過ぎて誰かに言いたくなるところまで設計されていて素晴らしい。https://t.co/vqR7jLN2FN https://t.co/A8PoHOGZci https://t.co/AwMQoknZvk
RT @shigekzishihara: OpenAIの音声認識モデルWhisperを利用し音声からテキストを書き起こしてくれるMacアプリ「MacWhisper (Whisper Transcription)」がリリース。 https://t.co/oW10hVHS7v
RT @alfredplpl: お絵描きAIアプリの株式会社AI Picassoと資本業務提携 | 面白法人カヤック https://t.co/ud48hYp7xI
シェイングウ氏の回のウィークリー落合聴いた。人間が手でpython書いてたなんて信じられない時代が来そうって言ってたけど、今で言う「人間が手で機械語書いてたんですか！？」のと同じ感じで将来「人間がコード書いてたんですか！？」とか言われるようになるのかな
RT @npaka123: GPT Index でのTensorflowHubの埋め込みモデルの利用｜npaka @npaka123 #note https://t.co/CVWZ9awIOt
RT @shanegJP: 3週間前からChatGPTは毎週違うモデルが出ています。
ヒントン教授がMNISTを一枚一枚見分けられうように、どの週のChatGPTモデルか見分けられるようになるくらいChatGPTを使いましょう。いつかChatGPTブラインドテイスト大会を開きたいです。
RT @ksk_st: AIの試行回数の速度感やばいな〜〜検証と検討しまくれるからどんなキャラだって作れそうな感覚になる
最終的にモデリングするなら生成したものそのまま使うわけじゃないし
OpenAIのシェイングウ氏が絶対に言っときたい事「OpenAIは一時のトレンドじゃなくてこのままずっとブチ上がっていきます。OpenAIはclubhouseとは全く違います！」
加速サトウさんは早くも自らAIで素晴らしいi2i動画作ってるけど、これに世界はどう答えるの？ →RT
RT @ksk_st: AI変換してみました。
顔が所々かわいくなってる…！ ↑AI ↓元動画
ミクさん3Dモデルとアニメーションは全て自作です。 https://t.co/PpTe3l34OV https://t.co/3fJvrCq9BD
もうGPT Indexをサービス化したようなのが出てるやん →RT
RT @sho_furu: Embedding APIのWebインターフェースって感じの"HUMATA"がよさそう
日本語を含むファイルではエラーになってしまったけど、英語のPDFをアップロードすると、その内容に基づいて回答するAIが簡単にできる
・長い文章の要約
・瞬時に回答
・ファイルに基づいて文章も作成
思ったより判断が遅くない！ →RT
RT @shodaiiiiii: Microsoft BingにGPT-4を組み込んだであろうチャット機能が一部のユーザーでテストされてるみたいですね😉
https://t.co/kDFybUw8fs https://t.co/aQ0o5C0r1p
twitterが不穏だからマストドンに戻ってくる事を考え始めた
