Služby pro vyhledávání klíčových slov. Zlepšení relevance vyhledávání ve sphinxsearch Klíčová slova pro vyhledávání holubů hřivnáčů

V tabulce mysql mám pole název (varchar), popis (text), klíčová slova (varchar).

Ponechal jsem pole klíčových slov, protože jsem si myslel, že budu hledat pouze v tomto poli. Nyní však požaduji hledat mezi všemi třemi poli. takže pro klíčová slova "slovo1 slovo2 slovo3" se můj dotaz stane

VYBERTE * FROM myTable WHERE (název LIKE "%word1%" NEBO popis LIKE "%word1%" OR klíčová slova LIKE "%word1%" NEBO název LIKE "%word2%" NEBO popis LIKE "%word2%" NEBO klíčová slova LIKE "% word2%" NEBO název LIKE "%word3%" NEBO popis LIKE "%word3%" NEBO klíčová slova AKO "%word3%") A status = "live"

Vypadá to trochu chaoticky, ale funguje to. Ale teď musím implementovat vyhledávání synonym. takže pro dané slovo za předpokladu, že je k dispozici několik synonym, se tento dotaz stává komplikovanějším, když procházím všechna slova. Protože jsou požadavky stále jasnější, budu muset tuto myTable připojit také k některým dalším tabulkám.

Myslíte si, že výše uvedený způsob je chaotický a způsobí problémy s růstem dat?

Jak se mohu vyhnout výše uvedenému nepořádku? Existuje nějaké čistší řešení, které mohu použít? Každý příklad mi pomůže.

• Můžete mi doporučit nějakou jinou metodu/techniku?

UPRAVIT

@Peter Stuifzand mi navrhl, že bych mohl vytvořit jednu tabulku search_index a uložit do ní všechna 3 pole (název, klíčové slovo, popis) a provést fulltextové vyhledávání. Chápu, že tato tabulka bude navíc obsahovat odkaz na primární klíč myTable.

Ale moje pokročilé vyhledávání může zahrnovat spojení mytable s tabulkou Category, geographic_location table (pro vyhledávání do 10, 20 mil atd.), filtrování podle některých dalších kritérií a samozřejmě řazení výsledků vyhledávání. Myslíte, že to použití fulltextu mysql nezpomalí?

Podle Ibrahim Diallo

Publikováno 2. července 2014 ~ 16 minut čtení

Vyhledávání je důležitou funkcí webu. Když chce mých pár čtenářů vyhledat konkrétní pasáž na mém blogu, použijí vyhledávací pole. Dříve to fungovalo pomocí Vyhledávání Google, ale od té doby jsem ji změnil na svou vlastní domácí verzi ne proto, že bych to uměl lépe, ale protože to byla zajímavá výzva.

Pokud spěcháte a chcete jen, aby se na vašich stránkách dalo vyhledávat, udělejte to, co jsem dělal dříve, použijte Google.

// V souboru search.php $term = isset($_GET["dotaz"])?$_GET["dotaz"]: ""; $term = urlencode($term); $website = urlencode("www.yourwebsite.com"); $redirect = "https://www.google.com/search?q=site%3A($website)+($term)"; header("Umístění: $redirect"); výstup;

Co to dělá, je docela jednoduché. Získejte výraz předaný uživatelem a přepošlete jej na stránku vyhledávání Google. Omezte výsledek vyhledávání na naši aktuální doménu pomocí klíčového slova site: ve vyhledávacím dotazu. Všechny vaše stránky, které jsou indexovány Googlem, budou nyní dostupné prostřednictvím vyhledávání. Pokud však chcete své hledání zvládnout doma, pokračujte ve čtení.

Domácí vyhledávací řešení

Než budeme pokračovat, zkuste použít vyhledávací pole na tomto blogu. Používá stejný proces, který popíšu níže. Pokud máte pocit, že to je to, co chcete, pokračujte ve čtení.

Toto řešení je určeno pro malé weby. Používám LIKE se zástupnými znaky na obou koncích, což znamená, že vaše vyhledávání nelze indexovat. To znamená, že řešení bude fungovat dobře pro váš blog nebo osobní web, který neobsahuje tuny dat. Přeneste jej na větší web a může být velmi pomalý. MySQL nabízí fulltextové vyhledávání, což zde neděláme.

Poznámka: Pokud máte 5000 blogových příspěvků, jste stále v pořádku. .

Strukturu tohoto blogu budeme brát jako referenci. Každý příspěvek na blogu má:

• Název p_title
• Adresa URL p_url
• Souhrn p_summary
• Obsah příspěvku p_content
• A kategorie category.tagname

Každému poli, které odpovídá našemu hledanému výrazu, přidělíme skóre. Skóre bude záviset na důležitosti zápasu:

// přesný termín se nachází v názvu $scoreFullTitle = 6; // shodu názvu v části $scoreTitleKeyword = 5; // přesný termín se nachází v souhrnu $scoreFullSummary = 5; // shodu se souhrnem v části $scoreSummaryKeyword = 4; // přesný termín se nachází v obsahu $scoreFullDocument = 4; // shodu dokumentu v části $scoreDocumentKeyword = 3; // odpovídá kategorii $scoreCategoryKeyword = 2; // odpovídá adrese URL $scoreUrlKeyword = 1;

Než začneme, existuje několik slov, která příliš nepřispívají k vyhledávání, která by měla být odstraněna. Příklad "in","it","a","the","of" ... . Odfiltrujeme je a klidně přidáme jakékoli slovo, o kterém si myslíte, že je irelevantní. Další věc je, že chceme omezit délku našeho dotazu. Nechceme, aby uživatel napsal román do vyhledávacího pole a zhroutil náš server MySQL.

// Odstraňte z hledaného výrazu nepotřebná slova a vraťte je jako funkci pole filterSearchKeys($query)( $query = trim(preg_replace("/(\s+)+/", " ", $query)); $words = array(); // rozšiřte tento seznam svými slovy. $list = array("in","it","a","the","of","or","I","vy", "on", "já","us","oni", "ona","to","ale","tam","toto","ti","potom"); $c = 0; foreach(explode(" ", $query) as $key)( if (in_array($key, $list))( pokračovat; ) $words = $key; if ($c >= 15)( break; ) $c++ ; ) return $words; ) // limit slov počet znaků function limitChars($query, $limit = 200)( return substr($query, 0,$limit); )

Naše pomocné funkce nyní mohou omezit počet znaků a filtrovat zbytečná slova. Náš algoritmus budeme implementovat tak, že pokaždé, když najdeme shodu, udělíme skóre. Slova budeme přiřazovat pomocí příkazu if a shromažďujeme body, jak budeme přiřazovat více slov. Nakonec můžeme toto skóre použít k seřazení našich výsledků

Poznámka: Nebudu ukazovat, jak se připojit k databázi MySQL. Pokud máte problémy s efektivním připojením k databázi, doporučuji si přečíst toto.

Nejprve dáme naší funkci strukturu Poznámka: Nechal jsem zástupné symboly, abychom mohli sekce implementovat samostatně.

Function search($query)( $query = trim($query); if (mb_strlen($query)===0)( // není potřeba prázdné vyhledávání vpravo? return false; ) $query = limitChars($query) ; // Skóre vážení $scoreFullTitle = 6; $scoreTitleKeyword = 5; $scoreFullSummary = 5; $scoreSummaryKeyword = 4; $scoreFullDocument = 4; $scoreDocumentKlíčové slovo = 3;Url $2KeyKeyCategor;$2KeyCategor filterSearchKeys( $query); $escQuery = DB::escape($query); // viz poznámka výše k získání db objektu $titleSQL = array(); $sumSQL = array(); $docSQL = array(); $categorySQL = pole (); $urlSQL = array(); /** Shoda s úplnými výskyty PLACE HOLDER **/ /** Shoda klíčových slov PLACE HOLDER **/ $sql = "SELECT p.p_id,p.p_title,p.p_date_published,p. p_url, p.p_summary,p.p_content,p.thumbnail, ((-- Skóre titulku ".implode(" + ", $titleSQL).")+ (-- Souhrn ".implode(" + ", $sumSQL)) .")+ (-- dokument ".implode(" + ", $docSQL).")+ (-- značka/kategorie ".implode(" + ", $categorySQL).")+ (-- url ". implode(" + ", $urlSQL).")) podle relevance OD příspěvku p KDE p.status = "publikováno" MÁ relevanci >

V dotazu budou všechna skóre sečtena jako proměnná relevance a můžeme ji použít k řazení výsledků.

Odpovídající úplným výskytům

Nejprve se ujistíme, že máme nějaká klíčová slova, a poté přidáme náš dotaz.

If (count($keywords) > 1)( $titleSQL = "if (p_title LIKE "%".$escQuery."%",($scoreFullTitle),0)"; $sumSQL = "if (p_summary LIKE "%" .$escQuery."%",($scoreFullSummary),0)"; $docSQL = "if (p_content LIKE "%".$escQuery."%",($scoreFullDocument),0)"; )

To jsou zápasy s vyšším skóre. Pokud se hledaný výraz shoduje s článkem, který je obsahuje, budou mít vyšší šanci, že se objeví nahoře.

Odpovídající výskyty klíčových slov

Procházíme všechna klíčová slova a kontrolujeme, zda odpovídají některému z polí. Pro shodu kategorií jsem použil dílčí dotaz, protože příspěvek může mít více kategorií.

Foreach($keywords as $key)( $titleSQL = "if (p_title LIKE "%.DB::escape($key)."%",($scoreTitleKeyword),0)"; $sumSQL = "if (p_summary LIKE "%".DB::escape($key).."%",($scoreSummaryKeyword),0)"; $docSQL = "if (p_content LIKE "%".DB::escape($key)."% ",($scoreDocumentKeyword),0)"; $urlSQL = "if (p_url LIKE "%".DB::escape($key)."%",($scoreUrlKeyword),0)"; $categorySQL = "if ((SELECT count(category.tag_id) FROM category JOIN post_category ON post_category.tag_id = category.tag_id WHERE post_category.post_id = p.post_id AND category.name = ".DB::escape($key).") > 0 ,($scoreCategoryKeyword),0)"; )

Jak poukázal komentátor níže, musíme se také ujistit, že tyto proměnné nejsou prázdná pole, jinak dotaz selže.

// Stačí zapouzdřit "je prázdné, přidejte 0 if (empty($titleSQL))( $titleSQL = 0; ) if (empty($sumSQL))( $sumSQL = 0; ) if (empty($docSQL))( $docSQL = 0; ) if (empty($urlSQL))( $urlSQL = 0; ) if (empty($tagSQL))( $tagSQL = 0; )

Na konci jsou všechny dotazy zřetězeny a sečteny, aby se určila relevance příspěvku k hledanému výrazu.

// Odstraňte z hledaného výrazu nepotřebná slova a vraťte je jako funkci pole filterSearchKeys($query)( $query = trim(preg_replace("/(\s+)+/", " ", $query)); $words = array(); // rozšiřte tento seznam svými slovy. $list = array("in","it","a","the","of","or","I","vy", "on", "já","us","oni", "ona","to","ale","tam","toto","ti","potom"); $c = 0; foreach(explode(" ", $query) as $key)( if (in_array($key, $list))( pokračovat; ) $words = $key; if ($c >= 15)( break; ) $c++ ; ) return $words; ) // limit slov počet znaků function limitChars($query, $limit = 200)( return substr($query, 0,$limit); ) function search($query)( $query = trim ($query); if (mb_strlen($query)===0)( // není třeba hledat prázdné správně? return false; ) $query = limitChars($query); // Skóre vážení $scoreFullTitle = 6; $ scoreTitleKeyword = 5; $scoreFullSummary = 5; $scoreSummaryKeyword = 4; $scoreFullDocument = 4; $scoreDocumentKeyword = 3; $scoreCategoryKeyword = 2; $scoreUrlKeyword = 1; $klíčová slova = filterSearchKeys($query); $escQuery = DB::escape($dotaz); // viz poznámka výše pro získání db objektu $titleSQL = array(); $sumSQL = pole(); $docSQL = pole(); $categorySQL = array(); $urlSQL = pole(); /** Odpovídající úplné výskyty **/ if (count($keywords) > 1)( $titleSQL = "if (p_title LIKE "%".$escQuery."%",($scoreFullTitle),0)"; $sumSQL = "if (p_summary LIKE "%".$escQuery."%",($scoreFullSummary),0)"; $docSQL = "if (p_content LIKE "%".$escQuery."%",($scoreFullDocument), 0)"; ) /** Odpovídající klíčová slova **/ foreach($keywords as $key)( $titleSQL = "if (p_title LIKE "%".DB::escape($key)."%",($scoreTitleKeyword ),0)"; $sumSQL = "if (p_summary LIKE "%".DB::escape($key)."%",($scoreSummaryKeyword),0)"; $docSQL = "if (p_content LIKE "% ".DB::escape($key)."%",($scoreDocumentKeyword),0)"; $urlSQL = "if (p_url LIKE "%".DB::escape($key).."%", ( $scoreUrlKeyword),0)"; $categorySQL = "if ((SELECT count(category.tag_id) FROM category PŘIPOJTE SE k post_category ON post_category.tag_id = category.tag_id WHERE post_category.post_id = p.post_id AND category.name = "" . DB::escape($key)."") > 0,($scoreCategoryKeyword),0)"; ) // Stačí, když je prázdné, přidejte 0 if (empty($titleSQL))( $titleSQL = 0 ; ) if (empty($sumSQL))( $sumSQL = 0; ) if (empty($docSQL))( $docSQL = 0; ) if (empty($urlSQL))( $urlSQL = 0; ) if (empty($tagSQL))( $tagSQL = 0; ) $sql = " SELECT p.p_id,p.p_title,p.p_date_published,p.p_url, p.p_summary,p.p_content,p.thumbnail, ((-- Titulní skóre ".implode(" + ", $titleSQL). ")+ (-- Souhrn ".implode(" + ", $sumSQL).")+ (-- dokument ".implode(" + ", $docSQL).")+ (-- značka/kategorie ".implode (" + ", $categorySQL).")+ (-- url ".implode(" + ", $urlSQL).")) podle relevance OD příspěvku p KDE p.status = "publikováno" S relevanci > 0 ORDER BY relevance DESC,p.page_views DESC LIMIT 25"; $results = DB::query($sql); if (!$results)( return false; ) return $results; )

Nyní může váš soubor search.php vypadat takto:

$term = isset($_GET["dotaz"])?$_GET["dotaz"]: ""; $výsledky_hledání = hledání($výraz); if (!$search_results) ( echo "Žádné výsledky"; exit; ) // Tisk stránky s výsledky zde.

Vytvořili jsme jednoduchý vyhledávací algoritmus, který zvládne velké množství obsahu. Skóre pro každý zápas jsem si libovolně vybral, klidně si ho dolaďte na něco, co vám nejlépe vyhovuje. A vždy je co zlepšovat.

Je dobré sledovat hledaný výraz pocházející od vašich uživatelů, tímto způsobem můžete zjistit, zda většina uživatelů hledá totéž. Pokud existuje vzor, ​​můžete jim uložit cestu a výsledky pouze uložit do mezipaměti pomocí Memcached.

Pokud chcete vidět tento vyhledávací algoritmus v akci, pokračujte a zkuste vyhledat článek ve vyhledávacím poli v horní části stránky. Přidal jsem další funkce, jako je vrácení části, kde byla v textu nalezena shoda. Neváhejte a přidejte funkce ke svým.

Líbil se vám tento článek? Můžete se přihlásit k odběru dalších úžasných. .

V souvislosti s tím je zde několik zajímavých článků.

Je čas se jednou provždy vypořádat s funkcemi mysql_*. Tyto metody jsou zastaralé a pomalé. Čas na upgrade už dávno uplynul, ale stále to vidíme všude. Protože nemohu každého autora přinutit, aby aktualizoval své návody a blogy, rozhodl jsem se napsat příspěvek, který snad bude mít lepší hodnocení a poskytne základní informace, které pomohou novým zájemcům.

Vytvoření vlastního webu by nemělo být příliš obtížné. Hostingové společnosti jako Godaddy nebo Hostgator usnadňují každému začít; umožňují vám vytvořit celý web, aniž byste museli psát kód. Většině lidí stačí spustit WordPress blog. Pokud je to to, co hledáte, měli byste hned zamířit na Godaddy.com. Tady jsme skončili. Ale na druhou stranu, pokud chcete mít kontrolu a nebýt omezováni nedostatky sdíleného hostingu aniž byste narušili svou peněženku, jste na správném místě.

Vim je můj oblíbený textový editor na terminálu. Poté, co jsem si chvíli hrál s nano a emacsem, jsem se nakonec spokojil s vim pro jeho jednoduchost (holé se mnou prosím). I když se dá přizpůsobit a používat jako celé IDE, používám ho hlavně pro úpravy souborů na mých serverech a provádění malých, ale zásadních změn. Nepouštějme se do války editorů a začněme.

Komentáře (45)

Zaryel 12. srpna 2015:

Ian Mustafa 26. září 2015:

Okrást 29. září 2015:

adeem 11. února 2016:

Ivan Venediktov 9. dubna 2016.

Každý, kdo má alespoň nějakou představu o propagaci vyhledávače, samozřejmě ví o významu meta tagů. Každý si je vědom důležitosti title, description, h1-h6, alt a dalších tagů. Nikdo nepopírá, že ovlivňují optimalizaci webových stránek. Ale vyhledávače mají k jednomu z tagů ambivalentní postoj – tag keywords.

V posledních letech se na internetu strhla bouřlivá debata, která trvá dodnes: vyplatí se vůbec metatag klíčových slov používat? Přesnou odpověď bohužel dodnes nikdo nedokáže. Zvažme různé úhly pohledu a pokusme se porozumět této problematice.

Co jsou klíčová slova?

Klíčová slova jsou klíčová slova (ne více než 20 na jednu stránku webu) odpovídající obsahu stránky.

V kódu stránky tato metaznačka vypadá takto:

Zpočátku měl tag významný dopad na relevanci stránek webu a následně na umístění webu na předních pozicích ve vyhledávačích.

Majitelé stránek to věděli a začali podvádět – zneužívat klíčová slova nebo přidávat do této značky velké množství nevhodných slov. A vyhledávače to objevily poměrně rychle.

Co se děje?

Jak se říká, z jednoho extrému do druhého: v důsledku toho vyhledávače přestaly tomuto tagu přikládat jakýkoli význam.

Yandex

Zástupci společnosti Yandex uvedli o klíčových slovech následující: „...může být vzato v úvahu při určování, zda je stránka relevantní pro vyhledávací dotazy“.

Upozorňujeme, že klíčové slovo zde je Možná. Po všem Možná vůbec neznamená vzít v úvahu.

Google

Systém nezanechává žádné pochybnosti a nedává žádný důvod k přemýšlení. Zde je vše stručné a jasné: „Nepoužíváme metaznačku klíčových slov při hodnocení vyhledávání“, „Google metaznačku klíčových slov roky ignoroval a v současné době nevidíme potřebu tyto zásady měnit“.

„Nepoužíváme metaznačku klíčových slov v hodnoceních vyhledávání“, „Google ignoruje metaznačku klíčových slov po mnoho let a v současné době není potřeba tyto zásady měnit“.

Rambler, Yahoo, Mail.ru

Sdílejí názor Google a domnívají se, že meta tag klíčových slov vyčerpal svou užitečnost. Proto ji tyto vyhledávače vůbec neberou v úvahu.

Proč ale mnoho lidí stále používá klíčová slova?

S největší pravděpodobností je to způsobeno nejednoznačným zněním značky Yandex. Logika vlastníků stránek je tato: pokud existuje naděje, že Yandex vezme značku v úvahu a Google, Rambler, Yahoo a Mail.ru jsou k metaznačce neutrální, pak její vyplnění nic nezhorší.

Co když ano?

Mezi optimalizátory panuje názor, že vyplňování tagu klíčových slov může být škodlivé. Pokud vyhledávače nepovažují značku za značku, pak se text v ní obsažený čte jako běžný text webu. A pokud jste tyto klíče již použili v jiných značkách a v těle textu, existuje riziko „zaspamování“ stránky klíči. No, přesspam (nadměrná nevolnost) vás může dostat pod filtr.

1PS pohled

Dosud jsme popsali obecnou situaci a různé názory na problematiku. Každý má svůj úhel pohledu. Jde nám o to, že tag klíčových slov je lepší nevyplňovat. Žádný užitek z toho rozhodně není, ale stále hrozí riziko pádu pod filtr.

Je lepší propagovat svůj web pomocí správného obsahu a značek