Servicios de búsqueda de palabras clave. Mejora de la relevancia de la búsqueda en sphinxsearch Búsqueda de palomas torcaces palabras clave php

Tengo campos de título (varchar), descripción (texto) y palabras clave (varchar) en mi tabla mysql.

Mantuve el campo de palabras clave porque pensé que buscaría solo en este campo. Pero ahora necesito buscar entre los tres campos. entonces, para las palabras clave "palabra1 palabra2 palabra3", mi consulta se convierte en

SELECCIONE * DE myTable DONDE (nombre COMO "%palabra1%" O descripción COMO "%palabra1%" O palabras clave COMO "%palabra1%" O nombre COMO "%palabra2%" O descripción COMO "%palabra2%" O palabras clave COMO "% palabra2%" O nombre COMO "%palabra3%" O descripción COMO "%palabra3%" O palabras clave COMO "%palabra3%") Y estado = "en vivo"

Parece un poco desordenado pero esto funciona. Pero ahora necesito implementar la búsqueda de sinónimos. entonces, para una palabra determinada, suponiendo que haya algunos sinónimos disponibles, esta consulta se vuelve más complicada a medida que recorro todas las palabras. A medida que los requisitos se vuelven más claros, también tendré que unir esta myTable a otras tablas.

¿Crees que la forma anterior es complicada y causará problemas a medida que crezcan los datos?

¿Cómo puedo evitar el desorden anterior? ¿Existe alguna solución más limpia por la que pueda recurrir? Cualquier ejemplo me ayudará.

• ¿Hay algún otro método/técnica que puedas recomendarme?

EDITAR

@Peter Stuifzand me sugirió que podía crear una tabla search_index y almacenar la información de los 3 campos (título, palabra clave, descripción) y realizar una búsqueda de texto completo. Entiendo que, además, esta tabla también incluirá una referencia a la clave principal de myTable.

Pero mi búsqueda avanzada puede incluir unir mytable con la tabla de categorías, la tabla de ubicación geográfica (para buscar dentro de 10, 20 millas, etc.), filtrar por otros criterios y, por supuesto, ordenar los resultados de la búsqueda. ¿Crees que usar texto completo de MySQL no lo ralentizará?

Por Ibrahim Diallo

Publicado el 2 de julio de 2014 ~ 16 minutos de lectura

La búsqueda es una característica importante en un sitio web. Cuando mis pocos lectores quieren buscar un pasaje particular en mi blog, usan el cuadro de búsqueda. Solía ​​​​funcionar con la Búsqueda de Google, pero desde entonces lo cambié a mi propia versión casera, no porque pueda hacerlo mejor sino porque era un desafío interesante.

Si tiene prisa y sólo quiere que se puedan realizar búsquedas en su sitio, haremos lo que hice antes: utilizar Google.

// En el archivo search.php $term = isset($_GET["query"])?$_GET["query"]: ""; $término = código de dirección ($término); $sitio web = urlencode("www.susitioweb.com"); $redirect = "https://www.google.com/search?q=site%3A($sitio web)+($term)"; encabezado("Ubicación: $redireccionamiento"); salida;

Lo que hace es bastante simple. Obtenga el término pasado por el usuario y reenvíelo a la página de búsqueda de Google. Limite el resultado de la búsqueda a nuestro dominio actual utilizando la palabra clave sitio: en la consulta de búsqueda. Todas sus páginas indexadas por Google estarán disponibles a través de la búsqueda ahora. Sin embargo, si desea realizar su búsqueda internamente, siga leyendo.

Solución de búsqueda casera

Antes de continuar, intente utilizar el cuadro de búsqueda de este blog. Utiliza el mismo proceso que describiré a continuación. Si cree que esto es lo que desea, continúe leyendo.

Esta solución está dirigida a sitios web pequeños. Utilizo LIKE con comodines en ambos extremos, lo que significa que su búsqueda no se puede indexar. Esto significa que la solución funcionará bien para su blog o sitio web personal que no contenga toneladas de datos. Pórtelo a un sitio web más grande y podría volverse muy lento. MySQL ofrece búsqueda de texto completo, que no es lo que estamos haciendo aquí.

Nota: Si tienes 5000 publicaciones de blog, todavía estás bien. .

Tomaremos como referencia la estructura de este blog. Cada publicación de blog tiene:

• Un título p_title
• Una URL p_url
• Un resumen p_summary
• Contenido de una publicación p_content
• Y categorías categoría.tagname

Por cada campo que coincida con nuestro término de búsqueda, le daremos una puntuación. La puntuación se basará en la importancia del partido:

// el término exacto coincide se encuentra en el título $scoreFullTitle = 6; // coincide con el título en la parte $scoreTitleKeyword = 5; // las coincidencias exactas de términos se encuentran en el resumen $scoreFullSummary = 5; // coincide con el resumen de la parte $scoreSummaryKeyword = 4; // el término exacto coincide se encuentra en el contenido $scoreFullDocument = 4; // coincide con el documento en la parte $scoreDocumentKeyword = 3; // coincide con una categoría $scoreCategoryKeyword = 2; // coincide con la URL $scoreUrlKeyword = 1;

Antes de comenzar, hay algunas palabras que no aportan mucho a una búsqueda y que deberían eliminarse. Ejemplo "en","ello","a","el","de"... . Los filtraremos y no dudes en agregar cualquier palabra que creas que es irrelevante. Otra cosa es que queremos limitar la duración de nuestra consulta. No queremos que un usuario escriba una novela en el campo de búsqueda y bloquee nuestro servidor MySQL.

// Elimina las palabras innecesarias del término de búsqueda y las devuelve como una función de matriz filterSearchKeys($query)( $query = trim(preg_replace("/(\s+)+/", " ", $query)); $words = array(); // expande esta lista con tus palabras. $list = array("en","it","a","the","of","o","yo","tú", "él", "yo", "nosotros", "ellos", "ella", "a", "pero", "ese", "esto", "aquellos", "entonces"); $c = 0; foreach(explotar(" ", $consulta) como $clave)( if (in_array($clave, $lista))( continuar; ) $palabras = $clave; si ($c >= 15)( romper; ) $c++ ; ) return $palabras; ) // límite de palabras número de caracteres función limitChars($consulta, $límite = 200)( return substr($consulta, 0,$límite); )

Nuestras funciones auxiliares ahora pueden limitar el número de caracteres y filtrar palabras inútiles. La forma en que implementaremos nuestro algoritmo es otorgando una puntuación cada vez que encontremos una coincidencia. Relacionaremos palabras usando la declaración if y acumularemos puntos a medida que unimos más palabras. Al final podemos usar esa puntuación para ordenar nuestros resultados.

Nota: No mostraré cómo conectarse a la base de datos MySQL. Si tiene problemas para conectarse de manera eficiente a la base de datos, le recomiendo leer esto.

Primero demos una estructura a nuestra función. Tenga en cuenta que dejé marcadores de posición para que podamos implementar las secciones por separado.

Función de búsqueda($consulta)( $consulta = trim($consulta); if (mb_strlen($consulta)===0)( // no es necesario realizar una búsqueda vacía, ¿verdad? return false; ) $consulta = limitChars($consulta) ; // Puntajes de pesaje $scoreFullTitle = 6; $scoreTitleKeyword = 5; $scoreFullSummary = 5; $scoreSummaryKeyword = 4; $scoreFullDocument = 4; $scoreDocumentKeyword = 3; $scoreCategoryKeyword = 2; $scoreUrlKeyword = 1; $keywords = filterSearchKeys( $query); $escQuery = DB::escape($query); // ver la nota anterior para obtener el objeto db $titleSQL = array(); $sumSQL = array(); $docSQL = array(); $categorySQL = array (); $urlSQL = array(); /** Coincidencia de ocurrencias completas PLACE HOLDER **/ /** Palabras clave coincidentes PLACE HOLDER **/ $sql = "SELECT p.p_id,p.p_title,p.p_date_published,p. p_url, p.p_summary,p.p_content,p.thumbnail, ((-- Puntuación del título ".implode(" + ", $titleSQL).")+ (-- Resumen ".implode(" + ", $sumSQL) ."")+ (-- documento ".implode(" + ", $docSQL).")+ (-- etiqueta/categoría ".implode(" + ", $categoríaSQL).")+ (-- url ". implode(" + ", $urlSQL).")) como relevancia DESDE la publicación p DONDE p.status = "publicado" TENIENDO relevancia >

En la consulta, todas las puntuaciones se resumirán como la variable de relevancia y podemos usarla para ordenar los resultados.

Coincidencia de ocurrencias completas

Primero nos aseguramos de tener algunas palabras clave y luego agregamos nuestra consulta.

If (count($keywords) > 1)( $titleSQL = "if (p_title LIKE "%".$escQuery."%",($scoreFullTitle),0)"; $sumSQL = "if (p_summary LIKE "%" .$escQuery."%",($scoreFullSummary),0)"; $docSQL = "if (p_content LIKE "%".$escQuery."%",($scoreFullDocument),0)"; )

Esos son los partidos con mayor puntuación. Si el término de búsqueda coincide con un artículo que los contiene, tendrá mayores posibilidades de aparecer en la parte superior.

Apariciones de palabras clave coincidentes

Revisamos todas las palabras clave y comprobamos si coinciden con alguno de los campos. Para la coincidencia de categorías, utilicé una subconsulta ya que una publicación puede tener varias categorías.

Foreach($palabras clave como $clave)( $titleSQL = "if (p_title LIKE "%.DB::escape($key)."%",($scoreTitleKeyword),0)"; $sumSQL = "if (p_summary LIKE) "%".DB::escape($key).."%",($scoreSummaryKeyword),0)"; $docSQL = "if (p_content LIKE "%".DB::escape($key)."% ",($scoreDocumentKeyword),0)"; $urlSQL = "if (p_url LIKE "%".DB::escape($key)."%",($scoreUrlKeyword),0)"; $categorySQL = "if ((SELECCIONE recuento (category.tag_id) DE la categoría ÚNASE a post_category EN post_category.tag_id = categoría.tag_id DONDE post_category.post_id = p.post_id Y categoría.nombre = "".DB::escape($key).") > 0 ,($scoreCategoryKeyword),0)"; )

Además, como lo señala un comentarista a continuación, debemos asegurarnos de que estas variables no sean matrices vacías o la consulta fallará.

// En caso de que esté vacío, agregue 0 if (empty($titleSQL))( $titleSQL = 0; ) if (empty($sumSQL))( $sumSQL = 0; ) if (empty($docSQL))( $docSQL = 0; ) if (vacío($urlSQL))( $urlSQL = 0; ) if (vacío($tagSQL))( $tagSQL = 0; )

Al final, todas las consultas se concatenan y se suman para determinar la relevancia de la publicación para el término de búsqueda.

// Elimina las palabras innecesarias del término de búsqueda y las devuelve como una función de matriz filterSearchKeys($query)( $query = trim(preg_replace("/(\s+)+/", " ", $query)); $words = array(); // expande esta lista con tus palabras. $list = array("en","it","a","the","of","o","yo","tú", "él", "yo", "nosotros", "ellos", "ella", "a", "pero", "ese", "esto", "aquellos", "entonces"); $c = 0; foreach(explotar(" ", $consulta) como $clave)( if (in_array($clave, $lista))( continuar; ) $palabras = $clave; si ($c >= 15)( romper; ) $c++ ; ) return $palabras; ) // limitar palabras número de caracteres función limitChars($consulta, $límite = 200)( return substr($consulta, 0,$límite); ) función buscar($consulta)( $consulta = recortar ($query); if (mb_strlen($query)===0)( // no es necesario realizar una búsqueda vacía, ¿verdad? return false; ) $query = limitChars($query); // Puntajes de pesaje $scoreFullTitle = 6; $ puntuaciónTitleKeyword = 5; $scoreFullSummary = 5; $scoreSummaryKeyword = 4; $scoreFullDocument = 4; $scoreDocumentKeyword = 3; $scoreCategoryKeyword = 2; $scoreUrlKeyword = 1; $palabras clave = filterSearchKeys($consulta); $escQuery = DB::escape($consulta); // ver la nota anterior para obtener el objeto db $titleSQL = array(); $sumSQL = matriz(); $docSQL = matriz(); $categoríaSQL = matriz(); $urlSQL = matriz(); /** Coincidencia de ocurrencias completas **/ if (count($keywords) > 1)( $titleSQL = "if (p_title LIKE "%".$escQuery."%",($scoreFullTitle),0)"; $sumSQL = "if (p_summary LIKE "%".$escQuery."%",($scoreFullSummary),0)"; $docSQL = "if (p_content LIKE "%".$escQuery."%",($scoreFullDocument), 0)"; ) /** Palabras clave coincidentes **/ foreach($palabras clave como $clave)( $titleSQL = "if (p_title LIKE "%".DB::escape($key)."%",($scoreTitleKeyword ),0)"; $sumSQL = "if (p_summary LIKE "%".DB::escape($key)."%",($scoreSummaryKeyword),0)"; $docSQL = "if (p_content LIKE "% ".DB::escape($key)."%",($scoreDocumentKeyword),0)"; $urlSQL = "if (p_url LIKE "%".DB::escape($key).."%", ( $scoreUrlKeyword),0)"; $categorySQL = "if ((SELECT count(category.tag_id) DE la categoría ÚNETE a post_category EN post_category.tag_id = categoría.tag_id DONDE post_category.post_id = p.post_id Y categoría.name = "" . DB::escape($key)."") > 0,($scoreCategoryKeyword),0)"; ) // En caso de que esté vacío, agregue 0 if (empty($titleSQL))( $titleSQL = 0 ; ) if (vacío($sumSQL))( $sumSQL = 0; ) if (vacío($docSQL))( $docSQL = 0; ) if (vacío($urlSQL))( $urlSQL = 0; ) if (vacío($tagSQL))( $tagSQL = 0; ) $sql = " SELECCIONE p.p_id,p.p_title,p.p_date_published,p.p_url, p.p_summary,p.p_content,p.thumbnail, ((-- Puntuación del título ".implode(" + ", $titleSQL). ")+ (-- Resumen ".implode(" + ", $sumSQL).")+ (-- documento ".implode(" + ", $docSQL).")+ (-- etiqueta/categoría ".implode (" + ", $categorySQL).")+ (-- url ".implode(" + ", $urlSQL).")) como relevancia DESDE la publicación p DONDE p.status = "publicado" TENIENDO relevancia > 0 ORDENAR POR relevancia DESC,p.page_views DESC LIMIT 25"; $resultados = DB::consulta($sql); si (!$resultados)( devuelve falso; ) devuelve $resultados; )

Ahora su archivo search.php puede verse así:

$term = isset($_GET["consulta"])?$_GET["consulta"]: ""; $resultados_búsqueda = búsqueda($término); if (!$search_results) ( echo "Sin resultados"; exit; ) // Imprime la página con los resultados aquí.

Creamos un algoritmo de búsqueda simple que puede manejar una buena cantidad de contenido. Elegí arbitrariamente la puntuación para cada partido, siéntete libre de modificarla para que funcione mejor para ti. Y siempre hay margen de mejora.

Es una buena idea realizar un seguimiento del término de búsqueda procedente de sus usuarios, de esta manera podrá ver si la mayoría de los usuarios buscan lo mismo. Si hay un patrón, puede guardarles un viaje y simplemente almacenar en caché los resultados usando Memcached.

Si desea ver este algoritmo de búsqueda en acción, continúe e intente buscar un artículo en el cuadro de búsqueda en la parte superior de la página. Agregué funciones adicionales como devolver la parte donde se encontró la coincidencia en el texto. Siéntete libre de agregar funciones a las tuyas.

¿Te gustó este artículo? Puedes suscribirte para leer más increíbles. .

En una nota relacionada, aquí hay algunos artículos interesantes.

Es hora de abordar las funciones mysql_* de una vez por todas. Estos métodos están en desuso y son lentos. El momento de actualizar ya pasó y todavía lo vemos en todas partes. Como no puedo obligar a todos los autores a actualizar sus tutoriales y blogs, decidí escribir una publicación para, con suerte, clasificar mejor y brindar la información esencial para ayudar a los recién llegados.

Crear su propio sitio web no debería ser demasiado difícil. Las empresas de hosting como Godaddy o Hostgator hacen que sea muy fácil para cualquiera comenzar; le permiten crear un sitio web completo sin necesidad de escribir código. Para la mayoría de las personas, basta con ejecutar un Blog de WordPress. Si esto es lo que estás buscando deberías dirigirte a Godaddy.com ahora mismo. Ya hemos terminado. Pero por otro lado, si quieres tener el control y no estar limitado por las deficiencias de un hosting compartido. sin arruinarte la billetera, has venido al lugar correcto.

Vim es mi editor de texto favorito en la terminal. Después de jugar un rato con nano y emacs, finalmente me conformé con vim por su simplicidad (cuidado conmigo, por favor). Aunque se puede personalizar y utilizar como un IDE completo, lo uso principalmente para editar archivos en mis servidores y realizar cambios pequeños pero cruciales. No entremos en la guerra de editores y comencemos.

Comentarios(45)

zariel 12 de agosto de 2015:

Ian Mustafa 26 de septiembre de 2015:

Robar 29 de septiembre de 2015:

adeem 11 de febrero de 2016:

Ivan Venediktov 9 de abril de 2016.

Por supuesto, cualquiera que tenga al menos alguna idea sobre la promoción en motores de búsqueda conoce el significado de las metaetiquetas. Todo el mundo es consciente de la importancia del título, la descripción, las etiquetas h1-h6, alt y otras. Nadie niega que afectan la optimización del sitio web. Pero los motores de búsqueda tienen una actitud ambivalente hacia una de las etiquetas: la etiqueta de palabras clave.

En los últimos años ha habido un acalorado debate en Internet que continúa hasta el día de hoy: ¿merece la pena utilizar la metaetiqueta de palabras clave? Desafortunadamente, nadie todavía puede dar una respuesta exacta. Consideremos diferentes puntos de vista e intentemos comprender este problema.

¿Qué son las palabras clave?

Las palabras clave son palabras clave (no más de 20 por página del sitio) correspondientes al contenido de la página.

En el código de la página, esta metaetiqueta se ve así:

Inicialmente, la etiqueta tuvo un impacto significativo en la relevancia de las páginas del sitio y, en consecuencia, en la clasificación del sitio en las primeras posiciones de los motores de búsqueda.

Sabiendo esto, los propietarios del sitio comenzaron a hacer trampa: abusar de las palabras clave o agregar una gran cantidad de palabras inapropiadas a esta etiqueta. Y los motores de búsqueda lo descubrieron bastante rápido.

¿Qué está pasando ahora?

Como dicen, de un extremo a otro: como resultado, los motores de búsqueda dejaron de atribuir ningún significado a esta etiqueta.

yandex

Los representantes de Yandex dijeron lo siguiente sobre las palabras clave: "...puede tenerse en cuenta al determinar si una página es relevante para las consultas de búsqueda".

Tenga en cuenta que la palabra clave aquí es Tal vez. Después de todo Tal vez no significa en absoluto tenido en cuenta.

Google

El sistema no deja dudas ni da motivos para pensar. Aquí todo es conciso y claro: "No utilizamos metaetiquetas de palabras clave en un ranking de búsqueda", "Google ha ignorado la metaetiqueta de palabras clave durante años y actualmente no vemos la necesidad de cambiar esa política".

“No utilizamos la metaetiqueta de palabras clave en los rankings de búsqueda”, “Google ha ignorado la metaetiqueta de palabras clave durante muchos años y actualmente no es necesario cambiar esta política”.

Rambler, Yahoo, Mail.ru

Comparten la opinión de Google y creen que la metaetiqueta de palabras clave ha agotado su utilidad. Por lo tanto, estos motores de búsqueda no lo tienen en cuenta en absoluto.

Pero ¿por qué mucha gente todavía utiliza palabras clave?

Lo más probable es que esto se deba a la redacción ambigua de Yandex sobre la etiqueta. La lógica de los propietarios de sitios es la siguiente: si existe la esperanza de que Yandex tenga en cuenta la etiqueta y Google, Rambler, Yahoo y Mail.ru son neutrales con respecto a la metaetiqueta, completarla no empeorará las cosas.

¿Y si lo hace?

Entre los optimizadores existe la opinión de que completar la etiqueta de palabras clave puede resultar perjudicial. Si los motores de búsqueda no consideran una etiqueta como una etiqueta, entonces el texto incluido en ella se lee como texto normal del sitio. Y si ya ha utilizado estas claves en otras etiquetas y en el cuerpo del texto, existe el riesgo de "spam excesivo" en la página con claves. Bueno, el exceso de spam (náuseas excesivas) puede ponerlo bajo el filtro.

Punto de vista 1PS

Hasta ahora hemos descrito la situación general y las diferentes opiniones sobre el tema. Cada uno tiene su propio punto de vista. Nuestro punto es que es mejor no completar la etiqueta de palabras clave. Definitivamente no obtendrá ningún beneficio, pero aún existe el riesgo de caer bajo el filtro.

Es mejor promocionar su sitio web con el contenido y las etiquetas adecuadas