• GenosseFlosse@feddit.org
    1·
    1 month ago

    Kommt drauf an wie teuer die abos sind, vs hardware beschleuniger. Ab einem bestimmten preispunkt wird es leute geben die sich ausrechnen das 2 jahre abo teurer sind als eine lokale hardware die einen 4-stelligen betrag kostet. Ein anderes kaufargument koennte privatsphaere sein, oder das man seinen code, finanzen oder bauplaene nicht in die US cloud schickt.

    Kann mir nicht vorstellen das man bei sowas softwareseitig noch viel optimieren kann. Wennes einfach waere, haette esi sicher schon jemand gemacht…

    • PreppaWuzz@discuss.tchncs.de
      1·
      1 month ago

      Vierstellig reicht halt nicht. Alleine eine RXT4090 oder 5090 liegt im Bereich 3-4.000€ und eine reicht nicht.

      Die richtigen KI-Beschleuniger liegen ab 10.000€ (Nvidia A100) über den mittleren fünfstelligen Bereich (A200) bis in den sechsstelligen Bereich (H200).

      Das alles rechnet sich nur, wenn man es auch wirklich ausführlich nutzt. Im Privatbereich definitiv zu teuer.

      Daß man durchaus optimieren kann, zeigt ja gerade Kimi, die soweit ich das verstanden haben, zwar ein große Modell mit vergleichbar vielen Parametern im Training nutzen, aber bei der Verwendung eine eingeschränkte Anzahl Parameter auswerten. Keine Ahnung wie das genau geht, aber es deutet darauf hin, dass noch jede Menge Potential besteht. Ist auch eigentlich nicht verwunderlich, wir sind immer noch erst am Anfang dieser Technik, das ist noch lange nicht ausgereizt.