Tumgik
#fuzzysearch
govindhtech · 2 months
Text
Use The Azure Maps API To Enable Location Analytics
Tumblr media
Azure Maps API documentation
Imagine discovering a wealth of knowledge hidden inside your current data sets that transforms the way you perceive the real world. Location analytics makes that possible. About 80% of enterprise data now contains “location data,” which is any data that has a geographic component. Data is generated from a variety of sources, including credit card transactions, Internet of Things (IoT) devices, linked cars, GPS units, and consumer databases. The science of adding and evaluating layers of location data to your current corporate data in order to extract novel insights is known as location analytics.
Many of the experiences you have on a daily basis are made possible by organisations using location analytics. For example, when you book a hotel in another country, the pricing is frequently displayed to you immediately in your currency. Hotel firms use location services in the background to map hotel locations and translate your IP address to your country. This makes it easier for them to give you the information you need without any hassle, improving your online booking experience.
Businesses from various sectors using Azure Maps APIs
Businesses all around the world are using location data to build mobile and online applications and experiences using Microsoft Azure Maps in order to solve important problems, obtain novel insights, and enhance their operations. With the help of Azure Maps’ portfolio of location services, developers and businesses can create scalable, map-based experiences.
Services accessible via Azure Maps APIs open up a multitude of use cases in many industries. Here is a brief summary of some of our services and some examples of their applications:
With data enrichment services, you may augment your existing data with additional information. Reverse geocoding is the process of converting coordinates into addresses and physical addresses into coordinates using the Geocoding service. Users can avoid paying additional fees and reusing the service repeatedly by using the Azure Maps Geocoding API to store the geocoded addresses for as long as they have an active Azure account. Addresses can be transformed and then used for additional analysis by visualising them on a map with the Get Map Tiles API service.
The healthcare sector is one of the most common uses for these location services. Here, organisations utilise the geocoding API to turn patient addresses into coordinates, and then utilise the Map Tiles service to see the locations of patients on a map and identify the closest medical facilities. In order to shorten emergency response times, some ambulance operators are also using location analytics to strategically position ambulances at “hot spot” locations. Because Azure Maps is based on Microsoft Azure and complies fully with the Health Insurance Portability and Accountability Act (HIPAA), healthcare organisations may feel secure while handling extremely private and sensitive patient data.
The time or distance needed to get from one place to another can be determined using routing services. The logistics sector is one of the most well-known use cases for routing, as companies utilise routing APIs to design the most effective vehicle routes for delivery of goods. Routes that are optimised help firms save money and time by promoting operational efficiency.
Azure and Nvidia recently agreed to leverage Nvidia cuOpt for multi-itinerary optimisation. Large logistics organisations frequently work with hundreds of drivers and drop locations; in order to select the most efficient routes, they must build a matrix of potential routes. It now takes only a few seconds instead of several minutes to generate and analyse the route matrix thanks to Nvidia’s cuOpt, a cutting-edge GPU-accelerated engine.
Temperature, air quality, storm information, and historical, normal, and real data are all provided by weather data services for any latitude and longitude. Additionally, the weather service offers useful information for modelling and prediction based on current and expected data, allowing for the creation of weather-informed applications.
Utilising historical and present weather data to forecast weather conditions is a common use case in the retail sector. They can use this information to organise their inventory and set prices and make educated judgements about sales and operations. Retailers may improve the efficacy of their marketing campaigns overall by using weather data to generate more focused advertisements and promotions.
Here Geocoding & search API
Map with assurance and accuracy
With Azure’s Geocoding API, you can look up and convert any address from a street intersection to a city or state into latitude and longitude and vice versa.
Strong global mapping
With the help of the robust geocoding and reverse geocoding features provided by Azure Maps APIs, you can track property, location, and regional boundaries and give your application a competitive advantage.
Address Reverse
Address Reverse Convert a GPS feed of coordinates into a street address or area boundary that is comprehensible to humans.
Polygon Search
You can also obtain polygon data of an area outline for a certain geographic region, like a city or region, from the Geocoding API.
Fuzzy Search
To find the coordinates of an address, point of interest, or location, do a fuzzy search for iterations of these items.
Batch Geocoding API
Make a single call to the API to send many batches of queries. For lightweight batch queries, this is perfect.
Global Location Intelligence
You can get unparalleled global geographic mapping with Azure Maps. Observe Azure geocoder’s flawless platform integration and outstanding worldwide coverage. Applications ranging from asset tracking, logistics, and mapping to optimised service delivery depend on the Azure Maps Geocoding API.
Reverse Geocoding API
Reverse geocoding is a feature of the API that lets you enter coordinates and have them translated into a street address, city location, or even a border.
Azure Maps Search API
In order to provide user services in your application, you can query the database for addresses, nearby points of interest, and other geographical information by combining geocoding with other Search APIs.
Fuzzy Search
The most ambiguous inputs, such as a mix of addresses or POI tokens, can be handled via the geocoding API. Additionally, a search radius or set of locations can be used to weight or completely confine the API.
Autocomplete
The geocoder is fairly forgiving of mistakes and partially completed addresses. If you misspell something, the API will provide you with the best contextual match for your search, which you may use to get the coordinates of the misspelt word.
Batch Geocoding API
You can use the Geocoding Batch API to batch query the geocoder up to 100 times with a single API call. This facilitates the simultaneous conversion of multiple addresses into geographic coordinates.
Read more on govindhtech.com
0 notes
diginyze · 5 months
Text
Harnessing Fuzzy Search to Enhance Online Sales with Diginyze
Lost sales due to misspelled search terms? Not anymore!
Discover the magic of fuzzy search and how it can revolutionize your online store with Diginyze's AI-powered search: https://www.diginyze.com/blog/harnessing-fuzzy-search-to-enhance-online-sales-with-diginyze/
Tumblr media
0 notes
cassassinate123 · 1 year
Text
im fucked if i dont put in 10 hours today
fuzzysearch
college dataset merge
meeting with that guy
ann dataset
10 leetcodes
30 minutes cloud computing video
Tumblr media Tumblr media
also everyone is ahead of me. im averaging 3 hours ugh
21 notes · View notes
deletedg1rl · 1 year
Text
September 8
worst day everrrr. i did not have my laptop for 6 whole hours so im gonna have to work from 1am to 6am now.
diamond dataset ANN
fuzzysearch learn
college dataset merge
dsa 10 leetcodes
god help me. im doing dsa first bcs that's something i respect.
Tumblr media
i was supposed to start heaps or backtracking today but i cannot do that bcs i hate those things. so im doing 10 for sliding window
7 notes · View notes
growwwth · 1 year
Video
youtube
How to Add Fuzzy Search in WordPress to Improve Results? (For Free) Tutorial 🔎 https://www.youtube.com/watch?v=UW9wIwfc1ls #FuzzySearch #WordPress #Guide
0 notes
uwteam · 1 year
Text
14 lipca 2023
Tumblr media
◢ #unknownews ◣
Witaj w kolejnym przeglądzie interesujących treści z branży IT z ubiegłego tygodnia.
Sponsorem tego wydania jest firma Connectis_, która posiada społeczność na Discordzie skoncentrowaną na rozwoju kariery ekspertów IT. Jednocześnie Connectis_ przygotował innowacyjną platformę C_hub, która samodzielnie proponuje ciekawe projekty ekspertom, bazując na ich kompetencjach i doświadczeniu. Sprawdź możliwości C_Huba i dołącz do społeczności.
1) Fotobudka z efektem "bullet time" https://there.oughta.be/a/bullet-time-video-booth INFO: Prawdopodobnie kojarzysz efekt bullet time, znany np. z filmu Matrix (np. scena, gdy Neo ucieka przed kulami). Autor wpisu postanowił zbudować 'fotobudkę weselną' realizującą taki właśnie efekt. Pomysłowa konstrukcja. Na początku tekstu masz link do filmu prezentującego działanie budki w praktyce.
2) Jak wyglądał typowy setup komputera developera z lat 90? https://retrocoding.net/the-90s-developer-starter-pack INFO: Windows XP, proces 486 i RAM liczony w megabajtach brzmią znajomo? Też na takim sprzęcie zaczynałem przygodę z programowaniem. Odrobina nostalgii dla programistów mocno po 30-stce.
3) Przegląd aktualnych trendów w UI (film, 9 minut) https://www.youtube.com/watch?v=TBOmUuG-9BY INFO: Paski postępu, customowe kursory, ogromne teksty nagłówkowe na stronie, obiekty 3D, przekombinowane animacje i wiele, wiele innych. Zobacz, co teraz jest modne (i wkurzające przy okazji z punktu widzenia autorki filmu) w świecie UI.
4) Jak zaimplementować sprytną wyszukiwarkę w PostgreSQL? https://xata.io/blog/postgres-full-text-search-engine INFO: Importujesz dane do bazy, a później chcesz efektywnie je wyszukiwać. Jak się do tego zabrać? Czym jest szukanie wektorowe i jak zaimplementować 'fuzzysearch'? O tym w artykule.
5) Klasyczne narzędzia unixowe i ich zastosowanie przy obchodzeniu zabezpieczeń https://gtfobins.github.io/ INFO: Czy typowe narzędzia takie jak cat, gzip, tail, awk, at itp. mogą stanowić zagrożenie w systemie Linux/Unix? Mogą! Pod warunkiem że system jest niepoprawnie skonfigurowany. Każde narzędzie ma podany przykład, co złego może przytrafić się w jednym z dwóch przypadków: gdy dany tool ma ustawiony bit SUID lub gdy użytkownik ma prawa do wykonania tego narzędzia przez sudo.
6) Jakiego RAID-a wybrać pod NAS-a? https://www.backblaze.com/blog/nas-raid-levels-explained-choosing-the-right-level-to-protect-your-nas-data/ INFO: Świetne opracowanie tematu RAIDów prosto od Backblaze. Bardzo przystępnie opisana zasada działania każdej z wersji, wraz z plusami i minusami danego rozwiązania.
7) Connectis C_hub - projekty dopasowane do Twoich umiejętności i zainteresowań [sponsorowane] https://connectis.pl/c-hub INFO: Dzięki C_hub, oszczędzisz czas na poszukiwaniu projektów, które CIę interesują. Dzięki temu rozwiązaniu to projekty znajdą Ciebie. Zarejestruj się w serwisie i sprawdź, jak to działa. Warto także dołączyć do społeczności na Discordzie związanej z projektem.
8) Dlaczego Polska była pod wodą w Windows XP i Windows 2000? https://devblogs.microsoft.com/oldnewthing/20061027-00/?p=29213 INFO: Za czasów WIndowsa 95 wszystko działało poprawnie, jednak przy wprowadzeniu na rynek Windowsa XP/2000, nagle zamiast Polski pojawiło się... polskie morze, a konkretniej mówiąc niebieska plama wody w miejscu, w którym powinien być nasz kraj. Skąd wzięło się 'Polish Sea'? Ciekawy (choć już dość stary) opis przyczyny tego buga.
9) Wideo kurs "NGINX w godzinę" - wersja 2.0 [autopromocja] https://nginx.mikr.us/ INFO: Nowa odsłona mojego kursu NGINXa, rozbudowana o 4 nowe lekcje związane z loadbalancingiem, cachowaniem, basic auth i mapami w konfiguracji. Kurs jest dostępny w stałej sprzedaży, ale tylko do soboty obowiązuje jeszcze cena z wersji 1.0. Jeśli kupiłeś pierwszą wersję, to na Twoim koncie jest już dostępna aktualizacja do wersji 2.0.
10) Niedostrzegalne elementy przy projektowaniu interakcji - czego nie widzi user? (UI/UX) https://rauno.me/craft/interaction-design INFO: Wszyscy znamy linki, przyciski, paski przewijania, ale to tylko wierzchołek góry lodowej w kategorii interakcji z użytkownikiem. Istnieją jeszcze metody interakcji z interfejsem, które są tak naturalne, że praktycznie ich nie zauważamy, ale ktoś jednak musiał je zaimplementować. Ten artykuł świetnie pokazuje, jak taki 'interaction design' może wyglądać.
11) Wyjaśnienie HTMX in 100 seconds https://www.youtube.com/watch?v=r-GSGH2RxJs INFO: Jest szansa, że słyszałeś o bibliotece HTMX, która pozwala na szybkie zaprogramowanie frontendu bez konieczności pisania kodu JS, tworząc interakcje (łącznie z obsługą Ajaxa, WebSocketów itp.) w samym HTML. Pod spodem oczywiście działa JS, ale magia polega na tym, że programista pisze jedynie kod HTML. Ten film wyjaśnia, na czym polega użycie tej biblioteki.
12) Omówienie najpopularniejszych architektur API (film, 5 minut) https://www.youtube.com/watch?v=4vLxWqE94l4 INFO: SOAP, RESTful, GraphQL, gRPC i kilka innych. Czym się od siebie różnią i jak działają? Bardzo zwięzła prezentacja dająca ogólny pogląd na daną technologię.
13) Jak bezpieczne będzie współczesne szyfrowanie w 2030 roku? https://articles.59.ca/doku.php?id=em:20482030 INFO: Przez lata twierdzono, że 2048-bitowe klucze RSA są wystarczająco bezpieczne. Obecnie jednak sugeruje się używanie kluczy o minimalnej mocy 3072 bitów, ponieważ te poprzednio rekomendowane będą teoretycznie łatwo łamliwe do 2030 roku. Skąd takie przypuszczenie i co to dla nas oznacza? Tego dowiesz się z artykułu.
14) Raport "State of API 2023" od Postmana https://www.postman.com/state-of-api/ INFO: Duże badanie przeprowadzone na ponad 37 tysiącach programistów na temat tego, jak korzystają z API. Jakie technologie wykorzystują i jak wygląda ich praca. Nawigacja po raporcie jest bardzo niewygodna. Kliknij "Read the Report" na końcu tekstu, aby zobaczyć spis treści.
15) Jak zrozumieć Apache Kafka za pomocą... gry Factorio https://ruurtjan.medium.com/understanding-kafka-with-factorio-74e8fc9bf181 INFO: Autor tłumaczy niektóre z koncepcji znanych z Kafki na przykładzie mechanizmów działających w grze Factorio (to gra poniekąd związana z programowaniem/automatyzacją - warto rzucić okiem).
16) Używać DOM­Content­Loaded do śledzenia wydajności frontendu? https://csswizardry.com/2023/07/in-defence-of-domcontentloaded/ INFO: Wielu frontendowców mierzy szybkość ładowania aplikacji poprzez wspomniany event. Z jednej strony jest to jakaś sensowna, policzalna metryka. Z drugiej jednak (co zobaczysz na pierwszym animowanym przykładzie na podlinkowanej stronie), nie zawsze przekłada się to na realny user experience. Co więc mierzyć i jak mierzyć, aby było dobrze?
17) Jak mały może być skompilowany program w .NET? https://blog.washi.dev/posts/tinysharp/ INFO: Autor podjął wyzwanie stworzenia najmniejszego możliwego pliku wykonywalnego, wypisującego zdanie "Hello World" w technologii .NET. Artykuł omawia krok po kroku zastosowane optymalizacje. Interesujące.
18) Czy da się zdobyć imię użytkownika Maca za pomocą mDNS? https://fingerprint.com/blog/apple-macos-mdns-brute-force/ INFO: Ciekawy eksperyment pokazujący, że w pewnych warunkach możliwe jest sprawdzenie, jak ma na imię użytkownik odwiedzający stronę. Zgadywanie imienia odbywa się metodą siłową z użyciem mDNS i działa jedynie wtedy, gdy w nazwie Twojego komputera występuje Twoje imię (co jest domyślnym ustawieniem na MacOS / iOS).
19) Server Side CSS? - tak, to możliwe ;) https://dev.to/thormeier/dont-try-this-at-home-css-as-the-backend-what-3oih?s=35 INFO: Nie wnikajmy, w jakim celu autor używa CSS-a do generowania zawartości stron, wykonywania obliczeń matematycznych i ustawiania routingu w aplikacji webowej. Używanie CSS-a jako backendu, jest to oczywiście 'sztuka dla sztuki', ale jakby nie patrzeć, czegoś z tego podejścia można się nauczyć. Przyjemna lektura.
20) Opus Clip - automat AI do tworzenia Rolek/Shortów https://www.opus.pro/ INFO: Nagrywasz filmy na YouTube i chcesz przerobić je możliwie szybko i łatwo na zajawki wrzucane do sieci społecznościowych? Ten automat zrobi to za Ciebie. Sam wybierze interesujące fragmenty, sam je wytnie, wyrenderuje i z jednego filmu przygotuje Ci nawet 10 materiałów wideo. Mają w ofercie plan darmowy.
21) Generator zestawu ćwiczeń fizycznych https://workout.lol/ INFO: Wybierz, jakie akcesoria posiadasz w domu (a może nie masz niczego?), następnie zaznacz, które mięśnie chcesz ćwiczyć i przystąp do ćwiczeń. Każdy element workoutu posiada instrukcję wykonywania ćwiczenia w formie wideo.
22) IMMICH - alternatywa selfhosted dla Google Photos https://immich.app/ INFO: Nie chcesz trzymać swoich zdjęć i filmów w chmurze Google, a jednocześnie dysponujesz własnym serwerem (może być VPS)? To rozwiązanie jest dla Ciebie. Automatycznie backupuje media z telefonu i wrzuca je na samohostowalną platformę.
23) Parsujesz adresy URL dostarczone przez użytkownika? https://azeemba.com/posts/what-is-a-url.html?ref=refind INFO: Parsowanie URLi nie jest takie proste, jak mogłoby się wydawać i zaawansowany użytkownik (agresor chcący zaatakować aplikację) może wykorzystać to na swoją korzyść. Warto rzucić okiem na artykuł i przy okazji zapoznać się z nagraniem prelekcji z początku tekstu.
24) Clickvote - otwartoźródłowy mechanizm do implementacji ocen w aplikacji webowej https://dev.to/github20k/clickvote-open-source-upvotes-likes-and-reviews-to-any-context-3ef9 INFO: Chcesz podpiąć 'gwiazdki' z ocenami do dowolnej fotki, formularza, czy produktu na stronie? Jeden mały fragment kodu i gotowe. Sekretem jednak jest to, co siedzi pod spodem. Linkuję do artykułu opisującego budowę Clickvote, a nie do samego repo.
25) Rejestratorzy domen polecani przez developerów https://blog.pragmaticengineer.com/domain-registrars-which-developers-recommend/ INFO: Wyniki mini ankiety (250+ uczestników) na temat polecanych rejestratorów domen. Kogo lubią i za co? Co sprawia, że używają tego, a nie innego dostawcy domen?
26) DriverJS - biblioteka do tworzenia przewodników po aplikacji https://driverjs.com/ INFO: Kojarzysz typowy onboarding stosowany często w aplikacjach typu SaaS, gdzie podświetlane są różne funkcje w panelu użytkownika i tooltipy informują jak korzystać z tej konkretnej appki? To Driver potrafi przygotować taki właśnie tour po aplikacji. Kliknij czarny przycisk z demo, a zobaczysz, o co dokładnie chodzi.
27) AppTotal - informacje na temat aplikacji SaaS korzystających z OAuth https://apptotal.io/ INFO: Logujesz się do aplikacji przez OAuth, ale czy zastanawiałeś się kiedyś, kto jest jej autorem? Dokąd wysyłane są Twoje dane i czy wymagane uprawnienia są naprawdę potrzebne tej aplikacji? AppTotal potrafi prześwietlić aplikację np. na podstawie Googlowego Client ID, czy też po jej nazwie.
28) Wygeneruj pełną aplikację React/Node.js przy pomocy ChatGPT https://magic-app-generator.wasp-lang.dev/ INFO: Opisz własnymi słowami, jaką aplikację chcesz stworzyć (im dokładniejszy opis, tym lepsze efekty), a sztuczna inteligencja wygeneruje dla Ciebie gotowy i działający kod napisany z użyciem React, Node.js, Prismy i Waspa.
29) Generator scrollowanych screenshotów https://damngood.tools/tools/scrolling-screenshots INFO: Podajesz adres strony, wybierasz urządzenie i format wyjściowy, a w odpowiedzi otrzymujesz plik z filmem pokazującym scrollowanie po Twojej stronie. Może to być atrakcyjny sposób pokazania np. miniatury layoutu, czy filmów z kursu online.
30) Jak sprytnie wykonać comboboxy w aplikacji webowej? https://adrianroselli.com/2023/06/under-engineered-comboboxen.html INFO: Zacznijmy od tego, czym są tajemnicze 'comboboxy'. To skrzyżowanie inputa z selectem. Możesz tam wpisać własną wartość albo wybrać coś z predefiniowanych wartości. Przy wpisywaniu działa jeszcze autouzupełnianie. Jak taki efekt osiągnąć?
31) Praca z wirtualnymi maszynami na Macu https://jvns.ca/blog/2023/07/10/lima--a-nice-way-to-run-linux-vms-on-mac/ INFO: Użytkownicy Maców od lat używali Virtualboxa, aż tu nagle pojawiła się rodzina procesorów ARM i Virtualbox musiał pójść w odstawkę (obsługuje on tylko x86). Jak najwygodniej rozpocząć pracę z VM na procesorach M1/M2? Autorka sugeruje dwie aplikację: Limę oraz OrbStack. Ja bym dorzucił jeszcze UTM-a.
32) Napisz własny generator "tierlist" w Pythonie https://www.freecodecamp.org/news/python-tier-list-maker/ INFO: Tierlisty, to coś na wzór rankingów. Czasami prezentuje się w ten sposób najlepsze książki, ulubione seriale, aktorów itp. Gdy zobaczysz przykład w artykule, to jest szansa, że zrozumiesz, o co chodzi. Autor wyjaśnia tutaj, jak stworzyć generator takich zestawień, którego efektem pracy jest plik graficzny ze wspomnianą tierlistą.
== LINKI TYLKO DLA PATRONÓW ==
33) Jak bezpiecznie tworzyć aplikacje wykorzystujące AI https://uw7.org/un_480123b42cd94 INFO: Mowa tutaj nie o generowaniu kodu aplikacji, a o integrowaniu swojej aplikacji z AI. Taka integracja niesie ze sobą spore ryzyko w związku z niebezpieczeństwem wycieku danych, ataków prompt injection itp. Jak temu zaradzić?
Jeśli chcesz otrzymywać takie zestawienie na maila, to zapisz się na newsletter.
0 notes
hackgit · 3 years
Text
Fuzzy Search Inspired by bevacqua/fuzzysearch, a fuzzy matching library written in JavaScript....
Fuzzy Search Inspired by bevacqua/fuzzysearch, a fuzzy matching library written in JavaScript. But contains some extras like ranking using Levenshtein distance and finding matches in a list of words. Fuzzy searching allows for flexibly matching a string with partial input, useful for filtering data very quickly based on lightweight user input. The current implementation uses the algorithm suggested by Mr. Aleph, a russian compiler engineer working at V8. https://github.com/lithammer/fuzzysearch
Tumblr media
GitHub - lithammer/fuzzysearch: Tiny and fast fuzzy search in Go - GitHub :pig: Tiny and fast fuzzy search in Go. Contribute to lithammer/fuzzysearch development by creating an account on GitHub.
0 notes
machineexperiments · 3 years
Text
LJSpeech Ultimate Progress [Developing]
Neural text-to-speech models like Tacotron 2 requires data, and many times a lot of single-speaker data. The most prevalent large single-speaker dataset available for anyone to use is LJSpeech.
While it has served pretty well to train several models with good performance, the LJ Speech dataset presents a few, glaring problems:
1) It is only distributed in 22KHz sampling rate, limiting the audio quality of OSS TTS
2) The sibilants (SSS sounds) are very sharp, to the point where it becomes unpleasant to listen to above a certain volume
3) Many of the clips have background noise, like the humming of fans.
First stage of the plan involves extracting audio from Linda Johnson's LibriVox recordings and applying various filters and effects. They're easily available there, and 128kbps MP3s are ready for download.
Then, after collecting a lot of recordings, I used batch processing to apply de-essing, de-noising, de-reverb, and de-clicking filters. I collected about 40 hours of processed audio, quite overkill, but the next step is going to discard a lot of it. My dataset is going to be in 44.1KHz. Here is a sample of the processed audio:
Now, we need to get a way to transcribe the audios. We could just run it through ASR and call it a day, but not for me. Since our speaker is reading public domain audiobooks, I can first transcribe it with ASR, split automatically based on a threshold of breaks (most STT gives timing information for each word), and use fuzzy string search to match recognized text sequences to actual audiobook ones.
The original LJSpeech dataset was made by force aligning texts to their audios then splitting based on audio silences. Let's see if my way will work.
Update 05/08/2021: I tested my way of aligning and it worked well, here's a sample filelist and wavs, made from a 6 minute cut. Currently doing entire dataset. I'm using TensorSpeech/TensorFlowASR's Conformer model BTW. Coqui's refuses to run in Colab and Windows, and I have no interest in dealing with the Kaldi nightmare that is ESPNet
06/08/2021:
Currently running the auto-collection script locally. I used glob + ffmpeg to split each audio into 5 minute chunks.
Tumblr media
07/08/2021:
Done! About 22 hours at an efficiency rate of 35% to 60%, didn't bother to collect more detailed statistics.
Tumblr media
Here is a Google Drive link. I'm currently training a TensorFlowTTS/Tacotron2 on it
Now, you might be wondering, why so inefficient? Which, by the way, is a good question. As I said earlier, my method utilizes timing information from ASR instead of audio silences to decide clips. I prefer this method better because it gives me more precise control over clipping.
Tumblr media
The two key parameters here are cut_interval and max_dist. The former details the threshold gap between a word before a new cut is made. I generally found that 0.62 was a good middle ground for this speaker. Too high, and it extracts mostly long clips, too little, and too short clips.
max_dist, however, is the maximum Levenshtein Distance that the fuzzy string search (see fuzzysearch) will accept between the ASR'd clip and the actual book text. I had to set this to a quite conservative value because while higher distances would extract a lot more perfectly acceptable transcripts, they would also introduce some problems like clips where the transcript misses a word or two, and since I don't want to manually go hunting for problems too much, and because I could afford it since I had collected lots of data, I set it to be quite restrictive.
Also another one of note is paddy, that is an interval in seconds that is added to the end interval of a clip, so that the audio doesn't end so abruptly. However, if the timing indicates that another word will overlap, it will reduce accordingly, so some clips do end pretty harshly.
I also noticed that the speed difference in Conformer ASR between a Tesla T4 in Colab and my Ryzen 5 3600 wasn't significant, in fact, almost negligible. Either that or my chronic overconsumption of coffee has completely fried my perception of time.
Final Denoising Pass
After finishing the clipping, I noticed that some still had just a little bit of background noise. Thankfully, I already had a nice tool, in the form of my program's batch denoising extra feature.
Tumblr media
This uses RNNoise, which is quick, effective against constant noises like fans, with minimal to no quality loss.
As I said earlier, here is the Google Drive link, at V0.2 since I had to re-export as 16-bit PCM wavs.
0 notes
manzanitas · 7 years
Text
A tweet
fuzzysort – Fast SublimeText-Like Fuzzy Search for JavaScript https://t.co/IJcwhvfXaj #search #javascript #fuzzy #fuzzySearch #SublimeText http://pic.twitter.com/eM6AMTS27b
— jQuery Plugins (@jQueryPlugins_) August 19, 2017
0 notes