pohrávám si s myšlenkou že bych český whisper nasadil veřejně do cloudu tak abychom jej mohli jednoduše používat nejen my ale i naši laičtí klienti bez silného HW.
Přes jednoduché web UI (co by umělo i nahrávat z mikrofonu) i přes API pro integraci do skriptů a aplikací.
Ideálně jestli se podaří, tak do TEE (tedy v cloudové secure enclave, skoro tak privátní jako lokálně), aby to bylo ok i pro intimní konzultace v sociální práci nebo firemní porady.
Chtěl by to používat i někdo jiný než já?
Jak moc silný by byl požadavek na soukromí? (Sleduju že mnohým stačí jen slib nelogování a provozu na území ČR/EU. Bylo by to pak levnější než TEE.)
Proč tento model? Protože je dotrénovaný na českých datech a má lepší výsledky než i ty nejlepší cloudové modely, které češtinu sice umí, ale jsou v ní horší než ty majoritní jazyky.
Srovnání na krátké nahrávce na low-end mobilu:
mikr/whisper-large-v3-czech-cv13:
Takže jmenovat asi nebudu, klientka šila na stroji, prošívala její výrobek, obal na knihu, prošívala přední část obalů s částečnou fyzickou pomocí samozřejmě, protože sama by to nezvládla.
A po prošití předního dílu nebo vnějšího dílu obalu jsme obal uvedli do rozměrů, potřebných rozměrů, strašný teda to je, jako vymyslet to tak.
A dílili jsme společně se šily. V bátku jsme se špendlili a na šicím stroji se šily.
Parakeet v3:
Takže jmenovat asi nebudu klientka piela na strojí, proší její výrobek obal na kníhu prošívala přední část přední část obalů s částečnou fyzickou pomocí samozřejmě, protože sama by to nezvládá. A pošití předního dílu nebo vnějšího dílu obalu. J jsme. Oval uvedli do rozměrů. Potřebných rozměrů, strašný teda to je, jak vymyslet to takhle. A díli jsme společně se šili. Páku jsme se špendlili aší tím stroji se šili.
Eleven Labs:
Prosím.
Eh, takže, eh, jmenovat asi nebudu. Klientka šila na stroji, proší-šila její výrobek, obal na knihu, prošívala přední část, eh, přední část obalu.
Eh, s
částečnou fyzickou pomocí samozřejmě, protože sama by to nezvládla. A,
eh, po prošití, eh, po prošití předního dílu nebo vnějšího dílu obalu jsme, hm, eh, jsme,
jsme
obal uvedli do, eh, rozměrů,
potřebných rozměrů. Strašný teda to je jako vymyslet to takhle. A díly jsme společně sešily. Pátku jsme sešpendlili a na šicím stroji sešily.
Google:
Takže jmenovat asi nebudu Klientka šila na stroji. Prší v její výrobek obal na knihu prošívala přední část přední část obalu s částečnou fyzickou pomocí samozřejmě, protože sama by to nezvládla a po prošití po prošití předního dílu nebo vnějšího obalu. Jsme jsme jsme obal uvedli do rozměrů potřebných rozměrů strašný teda to je jako vymyslet to takhle a dělali jsme společně sešli.
Ahoj, to zní super! Co by stál provoz, resp. kolik organizací / uživatelů by bylo třeba, aby to na každého vycházelo nějak rozumně a přitom se to dostalo nákladově na nulu?
Ahoj, zkoušel jsem to počítat za předpokladu nízkého vytížení a startování jen na vyžádání:
Položka
Odhad ceny
Cold start (30 s)
≈ 0,0012 USD
1 minuta audia
≈ 0,0023 USD
1 minuta audia včetně startu (1 min ve session)
≈ 0,0035 USD
10 minut audia v jednom běhu
≈ 0,024–0,025 USD (≈ 0,0024–0,0025 USD/min)
60 min audia
0,1392 USD
Za TEE je tam příplatek cca 30%. Jsou tam nějaké drobné náklady navíc, ale výhledově i možnosti úspory z rozsahu. Cena je pokud se výkon nastaven tak že 1min audia trvá zpracovat cca 1min, jde to zrychlit s vyššími náklady. Dá se něco ušetřit při dávkovém zpracování (počká si hodiny), ale to pak asi nebude možná atestace (frontend neověří že na druhé straně je skutečně TEE).
Nepočítám náklady na vývoj, takže by to chtělo nějakou marži, ale jak koukám na konkurenci, tak nebude problém být především při nezisk slevě pořád výrazně levnější než konkurence, co ale používá ty horší multijazykové modely.
Osobně nejsem příznivce subscriptions a freemium, takže by to bylo pay-per-use a pokud si to chceš vyzkoušet, tak si nabij alespoň ten 1$.
Ale reagoval jsi na toto vlákno zatím jen ty, tak si nejsem jistý poptávkou. Možná pokud ti to @Romana_Pokorna dává smysl, tak bys to mohla zmínit třeba v příštím interním newsletteru?
My od července startujeme nový projekt zaměřený na organizace poskytující (sociální) služby v oblasti péče o duševní zdraví a už nyní z terénu slyšíme, že využívání AI – zejména na přepisy – začíná být poptávaná služba. A tak jako se vším digitálním, i tady bude klíčová kombinace bezpečnosti dat a cenové dostupnosti. Takže si dovedu představit, že tohle může být přesně způsob, jak téhle poptávce vyjít vstříc.
@matej, kdyby to pak bylo zajímavé, možná ti @Romana_Pokorna říkala, že řešíme ten use case u jedné z NNO v rámci Nezisk.Digital včetně celého flow od nahrávky až po její zpracování, kde bychom mohli taky brainstormovat a vymyslet něco pokročilejšího. Jen high-level nápad.
My bysme to využili pro noviny, na přepis podcastů a rozhovorů. Stačila by nám nejspíš garance, že se data neukládají. Potřebovali bychom to ale spíš rychlejší, kdybychom měli na přepis půlhodinového podcastu čekat půl hodiny, realisticky bychom asi časem skončili u jiné služby.
Stačí nám slib, jakákoliv technická garance je podle mě stejně náročná v situaci, kdy nejsem ochoten investovat čas do auditu toho celého řešení. Ale hlavně se u novin bavíme o něčem, co pak jde stejně ven, i když už v upravené podobě.
Podle mě bysme za hodinku rychlého přepisu klidně dali řádově desetikoruny, tedy něco jako 5–10X víc oproti té levnější a pomalejší variantě, cos psal?
Jak jsem se teď do toho ponořil, tak zajistit ty
kryptografické garance a zároveň automatické škalování a zároveň možnost atestovat asynchronně by bylo fakt složité postavit.
Jak říkáš, tak málokdo si to reálně bude auditovat a tak asi bude stačit slib nelogování. Pak můžu docela jednoduše udělat i to škálování pro rychlý přepis.
Cenu od oka bych klidně střelil někde k 10x cena za 5x zrychlení při CPU. Další zrychlení je s GPU, ale teď si nejsem jistý jestli to jde kupovat na sekundy a jestli se to tedy neprodraží na nějakých minimálních platbách.
@HonzaPoboril Zdravím Honzo, zastupuji organizaci Práh Jižní Morava a hlasový přepis je pro momentálně nás v organizaci velké a žádané téma. Rádi bychom ho využívali na zápis schůzek našich sociálních pracovníku s klienty s duševním onemocněním. Nejednalo by se o přepis schůzky, ale až následný zápis, který pracovník diktuje. Momentálně používáme speech-to-text přes prohlížeč, kde jsme měli nejlepší zkušenost s MS Edge, nicméně i tak pracovníci mají hodně výhrad, že přepis často neodpovídá mluvenému slovu a poohlížíme se po lepších řešeních. Co se týče požadavků na soukromí, jelikož vše putuje externě již teď poučujeme pracovníky, že nemají diktovat žádné údaje, co by mohly sloužit k identifikaci klientů. Takže za nás by také nejspíše stačil ten slib nelogování
Pro zápis používáme databázi Highlander, kde bychom si případně za spolupráce s paní programátorkou databáze přáli funkci integrovat.
Mohli bychom se případně nějak spojit, prodiskutovat a whisper si vyzkoušet? Moc díky.
@MartinKonecny ~ nechci narušovat vlákno a konverzaci s Honzou, jen doplním, že poslední kurzový běh jsem tento use case řešil docela intenzivně pro SPONDEA a máme z toho velké množství podkladů od modelu samotného po bezpečnost, soukromí, ochranu dat, compliance a možností instalace v rámci self-hosted varianty, pokud by to bylo pro vás zajímavé.
Tím, že jsme na podzimní běh vzájemně přidělení, rád - dle zájmu - poskytnu info, pokud bychom to v rámci kurzu řešili. Ve SPONDEA jsme to dotáhli do hodně funkčního modelu a bylo by super to předat dál.
