Usługi wyszukiwania słów kluczowych. Poprawa trafności wyszukiwania w sphinxsearch wyszukiwania gołębi pospolitych za pomocą słów kluczowych php

Mam pola tytułu (varchar), opisu (tekst), słów kluczowych (varchar) w mojej tabeli mysql.

Zachowałem pole słów kluczowych, ponieważ myślałem, że będę wyszukiwać tylko w tym polu. Ale teraz muszę przeszukać wszystkie trzy pola. więc dla słów kluczowych „słowo1 słowo2 słowo3” moje zapytanie brzmi

WYBIERZ * Z myTable GDZIE (nazwa JAK "%word1%" LUB opis JAK "%word1%" LUB słowa kluczowe JAK "%word1%" LUB nazwa JAK "%word2%" LUB opis JAK "%word2%" LUB słowa kluczowe JAK "% słowo2%” LUB nazwa JAK „%word3%” LUB opis JAK „%word3%” LUB słowa kluczowe JAK „%word3%”) ORAZ status = „aktywny”

Wygląda trochę niechlujnie, ale to działa. Ale teraz muszę zaimplementować wyszukiwanie synonimów. więc dla danego słowa, zakładając, że dostępnych jest kilka synonimów, to zapytanie staje się bardziej nieuporządkowane, gdy przeglądam wszystkie słowa. Ponieważ wymagania stają się coraz wyraźniejsze, będę musiał dołączyć tę tabelę myTable również do innych tabel.

Czy uważasz, że powyższy sposób jest chaotyczny i będzie powodować problemy w miarę wzrostu danych?

Jak mogę uniknąć powyższego bałaganu? Czy jest jakieś czystsze rozwiązanie, które mogę zastosować? Każdy przykład będzie mi pomocny.

• Czy możesz mi polecić jakąś inną metodę/technikę?

EDYTOWAĆ

@Peter Stuifzand zasugerował mi, że mogę utworzyć jedną tabelę search_index i przechowywać w niej informacje o wszystkich 3 polach (tytuł, słowo kluczowe, opis) i przeprowadzać wyszukiwanie pełnotekstowe. Rozumiem, że dodatkowo ta tabela będzie zawierać również odniesienie do klucza podstawowego myTable.

Ale moje zaawansowane wyszukiwanie może obejmować połączenie mytable z tabelą kategorii, tabelą lokalizacji geograficznej (do wyszukiwania w promieniu 10, 20 mil itp.), filtrowanie według innych kryteriów i oczywiście sortowanie wyników wyszukiwania. Czy myślisz, że użycie pełnotekstowego mysql nie spowolni tego?

Przez Ibrahim Diallo

Opublikowano 2 lipca 2014 r. ~ 16 minut czytania

Wyszukiwanie jest ważną funkcją witryny internetowej. Kiedy kilku moich czytelników chce poszukać konkretnego fragmentu na moim blogu, korzysta z pola wyszukiwania. Kiedyś był obsługiwany przez wyszukiwarkę Google, ale od tego czasu zmieniłem go na własną, warzoną w domu wersję nie dlatego, że potrafię lepiej, ale dlatego, że było to ciekawe wyzwanie.

Jeśli się spieszysz i chcesz, aby Twoją witrynę można było przeszukiwać, zrób to samo, co zrobiłem wcześniej, użyj Google.

// W pliku search.php $term = isset($_GET["zapytanie"])?$_GET["zapytanie"]: ""; $termin = kod urlen($termin); $witryna = urlencode("www.twojastrona.com"); $redirect = "https://www.google.com/search?q=site%3A($website)+($term)"; header("Lokalizacja: $przekierowanie"); Wyjście;

To, co robi, jest całkiem proste. Uzyskaj hasło przekazane przez użytkownika i prześlij je na stronę wyszukiwania Google. Zawęź wynik wyszukiwania do naszej aktualnej domeny, używając słowa kluczowego site: w zapytaniu wyszukiwania. Wszystkie Twoje strony zaindeksowane przez Google będą teraz dostępne w wyszukiwarce. Jeśli jednak chcesz zająć się wyszukiwaniem w domu, czytaj dalej.

Domowe rozwiązanie wyszukiwania

Zanim przejdziemy dalej, spróbuj skorzystać z pola wyszukiwania na tym blogu. Wykorzystuje ten sam proces, który opiszę poniżej. Jeśli czujesz, że tego właśnie chcesz, czytaj dalej.

To rozwiązanie jest przeznaczone dla małych witryn internetowych. Używam LIKE z symbolami wieloznacznymi na obu końcach, co oznacza, że ​​Twoje wyszukiwanie nie może zostać zindeksowane. Oznacza to, że rozwiązanie będzie działać dobrze w przypadku Twojego bloga lub osobistej witryny internetowej, która nie zawiera ton danych.Przenieś je do większej witryny i może działać bardzo wolno.MySQL oferuje wyszukiwanie pełnotekstowe, czego tutaj nie robimy.

Notatka: Jeśli masz 5000 postów na blogu, nadal wszystko jest w porządku. .

Jako punkt odniesienia przyjmiemy strukturę tego bloga. Każdy wpis na blogu zawiera:

• Tytuł p_title
• Adres URL p_url
• Podsumowanie p_summary
• Treść wpisu p_content
• Oraz kategorie kategoria.tagname

Za każde pole pasujące do wyszukiwanego hasła przyznamy mu ocenę. Wynik będzie ustalany na podstawie ważności meczu:

// dokładne dopasowanie terminu znajduje się w tytule $scoreFullTitle = 6; // dopasuj tytuł do części $scoreTitleKeyword = 5; // dokładne dopasowanie terminów znajduje się w podsumowaniu $scoreFullSummary = 5; // dopasowuje podsumowanie w części $scoreSummaryKeyword = 4; // dokładne dopasowanie terminu znajduje się w treści $scoreFullDocument = 4; // dopasowuje dokument do części $scoreDocumentKeyword = 3; // pasuje do kategorii $scoreCategoryKeyword = 2; // dopasowuje adres URL $scoreUrlKeyword = 1;

Zanim zaczniemy, należy usunąć kilka słów, które nie wnoszą większego wkładu w wyszukiwanie. Przykład „w”, „to”, „a”, „the”, „of”… . Odfiltrujemy je i możesz dodać dowolne słowo, które Twoim zdaniem jest nieistotne. Inną rzeczą jest to, że chcemy ograniczyć długość naszego zapytania. Nie chcemy, aby użytkownik napisał powieść w polu wyszukiwania i spowodował awarię naszego serwera MySQL.

// Usuń niepotrzebne słowa z wyszukiwanego hasła i zwróć je jako funkcję tablicową filterSearchKeys($query)( $query = trim(preg_replace("/(\s+)+/", " ", $query)); $words = array(); // rozwiń tę listę swoimi słowami $list = array("in","it","a","the","of","or","I","ty", „on”, „ja”, „nas”, „oni”, „ona”, „do”, „ale”, „to”, „to”, „te”, „wtedy”); $c = 0; foreach(explode(" ", $query) as $key)( if (in_array($key, $list))(kontynuuj; ) $words = $key; if ($c >= 15)( break; ) $c++ ; ) return $words; ) // ogranicz liczbę słów w słowach funkcja limitChars($query, $limit = 200)( return substr($query, 0,$limit); )

Nasze funkcje pomocnicze mogą teraz ograniczać liczbę znaków i filtrować niepotrzebne słowa. Sposób, w jaki zaimplementujemy nasz algorytm, polega na przyznawaniu punktów za każdym razem, gdy znajdziemy dopasowanie. Będziemy dopasowywać słowa za pomocą instrukcji if i gromadzić punkty w miarę dopasowywania kolejnych słów. Na koniec możemy użyć tego wyniku do posortowania wyników

Notatka: Nie będę pokazywał jak połączyć się z bazą danych MySQL. Jeśli masz problemy z efektywnym połączeniem się z bazą danych, polecam przeczytanie tego.

Nadajmy najpierw naszej funkcji strukturę. Uwaga: zostawiłem symbole zastępcze, abyśmy mogli oddzielnie implementować sekcje.

Funkcja search($query)( $query = trim($query); if (mb_strlen($query)===0)( // nie ma potrzeby pustego wyszukiwania, prawda? return false; ) $query = limitChars($query) ; // Wyniki ważenia $scoreFullTitle = 6; $scoreTitleKeyword = 5; $scoreFullSummary = 5; $scoreSummaryKeyword = 4; $scoreFullDocument = 4; $scoreDocumentKeyword = 3; $scoreCategoryKeyword = 2; $scoreUrlKeyword = 1; $keywords = filtrKlucze wyszukiwania( $query); $escQuery = DB::escape($query); // zobacz uwagę powyżej, aby uzyskać obiekt db $titleSQL = array(); $sumSQL = array(); $docSQL = array(); $categorySQL = array (); $urlSQL = array(); /** Pasujące pełne wystąpienia PLACE HOLDER **/ /** Pasujące słowa kluczowe PLACE HOLDER **/ $sql = "SELECT p.p_id,p.p_title,p.p_date_published,s. p_url, p.p_summary,p.p_content,p.thumbnail, ((-- Wynik tytułu ".implode(" + ", $titleSQL).")+ (-- Podsumowanie ".implode(" + ", $sumSQL) .")+ (-- dokument ".implode(" + ", $docSQL).")+ (-- tag/kategoria ".implode(" + ", $kategoriaSQL).")+ (-- url ". implode(" + ", $urlSQL).")) jako trafność OD postu p GDZIE p.status = "opublikowany" MAJĄcy trafność >

W zapytaniu wszystkie wyniki zostaną zsumowane jako zmienna trafności i możemy jej użyć do sortowania wyników.

Dopasowywanie pełnych wystąpień

Najpierw upewniamy się, że mamy kilka słów kluczowych, a następnie dodajemy nasze zapytanie.

If (count($keywords) > 1)( $titleSQL = "if (p_title LIKE "%".$escQuery."%",($scoreFullTitle),0)"; $sumSQL = "if (p_summary LIKE "%" .$escQuery."%",($scoreFullSummary),0)"; $docSQL = "if (p_content LIKE "%".$escQuery."%",($scoreFullDocument),0)"; )

To mecze z wyższą punktacją. Jeśli wyszukiwane hasło pasuje do artykułu, który je zawiera, szanse na pojawienie się na górze będą większe.

Wystąpienia pasujących słów kluczowych

Przeglądamy wszystkie słowa kluczowe i sprawdzamy, czy pasują do któregoś z pól. Do dopasowania kategorii użyłem zapytania podrzędnego, ponieważ post może mieć wiele kategorii.

Foreach($keywords as $key)( $titleSQL = "if (p_title LIKE "%.DB::escape($key)."%",($scoreTitleKeyword),0)"; $sumSQL = "if (p_summary LIKE "%".DB::escape($key).."%",($scoreSummaryKeyword),0)"; $docSQL = "if (p_content LIKE "%".DB::escape($key)."% ",($scoreDocumentKeyword),0)"; $urlSQL = "if (p_url LIKE "%".DB::escape($key).."%",($scoreUrlKeyword),0)"; $categorySQL = " if ((WYBIERZ liczbę(kategoria.tag_id) Z kategorii DOŁĄCZ post_kategoria ON post_kategoria.tag_id = kategoria.tag_id GDZIE post_kategoria.post_id = p.post_id ORAZ kategoria.nazwa = "".DB::escape($key).") > 0,($scoreCategoryKeyword),0)"; )

Jak zauważył komentator poniżej, musimy się upewnić, że te zmienne nie są pustymi tablicami, w przeciwnym razie zapytanie zakończy się niepowodzeniem.

// Na wypadek, gdyby było puste, dodaj 0 if (empty($titleSQL))( $titleSQL = 0; ) if (empty($sumSQL))( $sumSQL = 0; ) if (empty($docSQL))( $docSQL = 0; ) if (pusty($urlSQL))( $urlSQL = 0; ) if (pusty($tagSQL))( $tagSQL = 0; )

Na koniec wszystkie zapytania są łączone i sumowane, aby określić związek postu z wyszukiwanym hasłem.

// Usuń niepotrzebne słowa z wyszukiwanego hasła i zwróć je jako funkcję tablicową filterSearchKeys($query)( $query = trim(preg_replace("/(\s+)+/", " ", $query)); $words = array(); // rozwiń tę listę swoimi słowami $list = array("in","it","a","the","of","or","I","ty", „on”, „ja”, „nas”, „oni”, „ona”, „do”, „ale”, „to”, „to”, „te”, „wtedy”); $c = 0; foreach(explode(" ", $query) as $key)( if (in_array($key, $list))(kontynuuj; ) $words = $key; if ($c >= 15)( break; ) $c++ ; ) return $words; ) // limit słów liczba znaków funkcja limitChars($query, $limit = 200)( return substr($query, 0,$limit); ) funkcja search($query)( $query = trim ($query); if (mb_strlen($query)===0)( // nie ma potrzeby pustego wyszukiwania, prawda? return false; ) $query = limitChars($query); // Wyniki ważenia $scoreFullTitle = 6; $ scoreTitleKeyword = 5; $scoreFullSummary = 5; $scoreSummaryKeyword = 4; $scoreFullDocument = 4; $scoreDocumentKeyword = 3; $scoreCategoryKeyword = 2; $scoreUrlKeyword = 1; $keywords = filterSearchKeys($query); $escQuery = DB::escape($zapytanie); // zobacz uwagę powyżej, aby uzyskać obiekt db $titleSQL = array(); $sumSQL = tablica(); $docSQL = tablica(); $kategoriaSQL = tablica(); $urlSQL = tablica(); /** Pasujące pełne wystąpienia **/ if (count($keywords) > 1)( $titleSQL = "if (p_title LIKE "%".$escQuery."%",($scoreFullTitle),0)"; $sumSQL = "if (p_summary LIKE "%".$escQuery."%",($scoreFullSummary),0)"; $docSQL = "if (p_content LIKE "%".$escQuery."%",($scoreFullDocument), 0)"; ) /** Pasujące słowa kluczowe **/ foreach($keywords as $key)( $titleSQL = "if (p_title LIKE "%".DB::escape($key)."%",($scoreTitleKeyword ),0)"; $sumSQL = "if (p_summary LIKE "%".DB::escape($key)."%",($scoreSummaryKeyword),0)"; $docSQL = "if (p_content LIKE "% ".DB::escape($key)."%",($scoreDocumentKeyword),0)"; $urlSQL = "if (p_url LIKE "%".DB::escape($key).."%", ( $scoreUrlKeyword),0)"; $categorySQL = "if ((WYBIERZ liczbę(kategoria.tag_id) Z kategorii DOŁĄCZ post_kategoria ON post_kategoria.tag_id = kategoria.tag_id GDZIE post_kategoria.post_id = p.post_id ORAZ nazwa.kategorii = "" . DB::escape($key)."") > 0,($scoreCategoryKeyword),0)"; ) // Na wypadek, gdyby było puste, dodaj 0 if (empty($titleSQL))( $titleSQL = 0 ; ) if (pusty($sumSQL))( $sumSQL = 0; ) if (pusty($docSQL))( $docSQL = 0; ) if (pusty($urlSQL))( $urlSQL = 0; ) if (pusty($tagSQL))( $tagSQL = 0; ) $sql = " WYBIERZ p.p_id,p.p_title,p.p_date_published,p.p_url, p.p_summary,p.p_content,p.thumbnail, ((-- Wynik tytułu ".implode(" + ", $titleSQL). ")+ (-- Podsumowanie ".implode(" + ", $sumSQL).")+ (-- dokument ".implode(" + ", $docSQL).")+ (-- tag/kategoria ".implode (" + ", $categorySQL).")+ (-- url ".implode(" + ", $urlSQL).")) jako istotność OD postu p WHERE p.status = "opublikowany" MAJĄcy trafność > 0 ZAMÓW PRZEZ znaczenie DESC,p.page_views DESC LIMIT 25"; $wyniki = DB::query($sql); if (!$results)( return false; ) return $results; )

Teraz Twój plik search.php może wyglądać następująco:

$term = isset($_GET["zapytanie"])?$_GET["zapytanie"]: ""; $search_results = search($term); if (!$search_results) ( echo "Brak wyników"; exit; ) // Wydrukuj tutaj stronę z wynikami.

Stworzyliśmy prosty algorytm wyszukiwania, który może obsłużyć znaczną ilość treści. Arbitralnie wybrałem wynik dla każdego meczu, możesz go dostosować do czegoś, co będzie dla Ciebie najlepsze. I zawsze jest miejsce na ulepszenia.

Dobrym pomysłem jest śledzenie wyszukiwanych haseł pochodzących od użytkowników, dzięki czemu możesz sprawdzić, czy większość użytkowników szuka tego samego. Jeśli istnieje wzór, możesz zapisać im podróż i po prostu zapisać wyniki w pamięci podręcznej Memcached.

Jeśli chcesz zobaczyć ten algorytm wyszukiwania w działaniu, spróbuj poszukać artykułu w polu wyszukiwania na górze strony. Dodałem dodatkowe funkcje, takie jak zwracanie części tekstu, w której znaleziono dopasowanie. Zachęcamy do dodawania funkcji do swoich.

Czy podobał Ci się ten artykuł? Możesz subskrybować, aby przeczytać więcej niesamowitych. .

A propos, oto kilka interesujących artykułów.

Czas raz na zawsze rozprawić się z funkcjami mysql_*. Metody te są przestarzałe i powolne. Czas aktualizacji już dawno minął, a wciąż widzimy to wszędzie. Ponieważ nie mogę zmusić każdego autora do aktualizacji swoich tutoriali i blogów, zdecydowałem się napisać post, który, miejmy nadzieję, poprawi ranking i dostarczy niezbędnych informacji, aby pomóc nowym użytkownikom.

Utworzenie własnej witryny internetowej nie powinno być zbyt trudne. Firmy hostingowe, takie jak Godaddy lub Hostgator, bardzo ułatwiają każdemu rozpoczęcie pracy; pozwalają stworzyć całą witrynę internetową bez konieczności pisania kodu. Większości ludzi wystarczy uruchomienie Blog WordPress. Jeśli tego właśnie szukasz, powinieneś już teraz udać się na Godaddy.com. Na tym skończyliśmy. Ale z drugiej strony, jeśli chcesz mieć kontrolę i nie być ograniczonym przez wady hostingu współdzielonego bez rujnowania portfela, trafiłeś we właściwe miejsce.

Vim to mój ulubiony edytor tekstu na terminalu. Po krótkiej zabawie z nano i emacsem w końcu zdecydowałem się na vima ze względu na jego prostotę (proszę mi pomóc). Chociaż można go dostosować i używać jak całego IDE, używam go głównie do edycji plików na moich serwerach i wprowadzania drobnych, ale kluczowych zmian. Nie wdawajmy się w wojnę z redaktorami i zaczynajmy.

Komentarze(45)

Zaryel 12 sierpnia 2015:

Iana Mustafę 26 września 2015:

Obrabować 29 września 2015:

przyznaję 11 lutego 2016:

Iwan Wenediktow 9 kwietnia 2016 r.

Oczywiście o znaczeniu metatagów wie każdy, kto choć trochę ma pojęcie o promocji w wyszukiwarkach. Każdy zdaje sobie sprawę, jak ważne są tytuł, opis, h1-h6, alt i inne tagi. Nikt nie zaprzecza, że ​​wpływają one na optymalizację serwisu. Jednak wyszukiwarki mają ambiwalentny stosunek do jednego z tagów – tagu słów kluczowych.

W ostatnich latach w Internecie toczy się gorąca dyskusja, która trwa do dziś: czy w ogóle warto stosować metatag słów kluczowych? Niestety nikt nie jest w stanie udzielić dokładnej odpowiedzi. Rozważmy różne punkty widzenia i spróbujmy zrozumieć tę kwestię.

Co to są słowa kluczowe?

Słowa kluczowe to słowa kluczowe (nie więcej niż 20 na jedną stronę serwisu) odpowiadające treści strony.

W kodzie strony ten metatag wygląda następująco:

Początkowo tag miał znaczący wpływ na trafność stron serwisu, a co za tym idzie, na jego ranking na najwyższych pozycjach w wyszukiwarkach.

Wiedząc o tym, właściciele witryn zaczęli oszukiwać - nadużywać słów kluczowych lub dodawać do tego tagu dużą liczbę nieodpowiednich słów. Wyszukiwarki odkryły to dość szybko.

Co się dzieje teraz?

Jak mówią, ze skrajności w skrajność: w rezultacie wyszukiwarki przestały w ogóle przywiązywać jakiekolwiek znaczenie do tego tagu.

Yandex

Przedstawiciele Yandex tak stwierdzili na temat słów kluczowych: „...można wziąć pod uwagę przy ustalaniu, czy strona jest istotna dla wyszukiwanych haseł”.

Należy pamiętać, że słowem kluczowym jest tutaj Może. Mimo wszystko Może wcale nie znaczy uwzględnić.

Google

System nie pozostawia żadnych wątpliwości i nie daje podstaw do myślenia. Tutaj wszystko jest zwięzłe i jasne: „Nie używamy metatagów słów kluczowych w rankingach wyszukiwania”, „Google ignorowało metatagi słów kluczowych od lat i obecnie nie widzimy potrzeby zmiany tej polityki”.

„Nie używamy metatagu słów kluczowych w rankingach wyszukiwania”, „Google ignorowało metatag słów kluczowych przez wiele lat i obecnie nie ma potrzeby zmiany tej polityki”.

Rambler, Yahoo, Mail.ru

Podzielają zdanie Google i uważają, że metatag słów kluczowych wyczerpał swoją przydatność. Dlatego też nie jest ona w ogóle brana pod uwagę przez te wyszukiwarki.

Ale dlaczego wiele osób nadal używa słów kluczowych?

Najprawdopodobniej wynika to z niejednoznacznego sformułowania Yandex na temat tagu. Logika właścicieli witryn jest następująca: jeśli istnieje nadzieja, że ​​Yandex weźmie tag pod uwagę, a Google, Rambler, Yahoo i Mail.ru są neutralne w stosunku do metatagu, to jego wypełnienie nie pogorszy sytuacji.

A co jeśli tak się stanie?

Wśród optymalizatorów panuje opinia, że ​​wypełnienie tagu słów kluczowych może być szkodliwe. Jeśli wyszukiwarki nie traktują tagu jako tagu, wówczas zawarty w nim tekst jest odczytywany jako zwykły tekst witryny. A jeśli użyłeś już tych kluczy w innych tagach i w treści tekstu, istnieje ryzyko „nadmiernego spamowania” strony kluczami. Cóż, nadmierny spam (nadmierne nudności) może wrzucić Cię pod filtr.

Punkt widzenia 1PS

Jak dotąd opisaliśmy ogólną sytuację i różne opinie na ten temat. Każdy ma swój własny punkt widzenia. Chodzi nam o to, że lepiej nie wypełniać tagu słów kluczowych. Na pewno nie ma z tego żadnych korzyści, ale nadal istnieje ryzyko wpadnięcia pod filtr.

Lepiej promować swoją witrynę za pomocą odpowiednich treści i tagów