zz_deprecated:infojobs_spider
Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revision | ||
internal:infojobs_spider [2018/04/17 08:34] – ↷ Page moved from infojobs_spider to internal:infojobs_spider dodger | zz_deprecated:infojobs_spider [2021/09/22 06:50] (current) – removed dodger | ||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== Descripcion ====== | ||
- | Este script accede a infojobs basándose en una URL predefinida y recorre los identificadores, | ||
- | |||
- | |||
- | ====== Instrucciones ====== | ||
- | Para que el script funcione, hay que crear el fichero de configuración, | ||
- | Para obtener la URL de búsqueda, hay que usar alguna extensión que capture los headers que lanza infojobs cuando se ejecuta la misma y luego cambiar la variable o bien, mirar la página de búsqueda y ver que categorías/ | ||
- | Como variables a tener en cuenta de la URL: | ||
- | ^ Variable ^ Descripcion ^ | ||
- | | < | ||
- | | < | ||
- | | < | ||
- | |||
- | ===== Dependencias ===== | ||
- | * sqlite3 | ||
- | * bash >= 3.0 | ||
- | * wget | ||
- | |||
- | ===== Config File ===== | ||
- | <file config krruke.conf> | ||
- | SEARCHURL=' | ||
- | DBFILE="/ | ||
- | MAIL=" | ||
- | </ | ||
- | |||
- | ===== Script ===== | ||
- | |||
- | <file bash jobs_mailer.sh> | ||
- | #!/bin/bash | ||
- | |||
- | TMPFILE="/ | ||
- | SENDFILE="/ | ||
- | OFFERMARK=" | ||
- | INFOTAGS=" | ||
- | # | ||
- | AVOIDTHIS=" | ||
- | |||
- | get_data() | ||
- | { | ||
- | #wget -O- -q $SEARCHURL | grep -A 6 "< | ||
- | local AUXOFFERID="" | ||
- | local AUXCOMPANY="" | ||
- | local AUXDESC="" | ||
- | local AUXURL="" | ||
- | wget -O- -q $SEARCHURL | grep -A 15 "< | ||
- | do | ||
- | if [ $(sqlite3 $DBFILE " | ||
- | then | ||
- | sqlite3 $DBFILE " | ||
- | fi | ||
- | done | ||
- | } | ||
- | |||
- | createdb() | ||
- | { | ||
- | if ! [ -f $DBFILE ] | ||
- | then | ||
- | sqlite3 $DBFILE " | ||
- | fi | ||
- | } | ||
- | |||
- | mailer() | ||
- | { | ||
- | local let UNSENTJOBS=$(sqlite3 $DBFILE " | ||
- | local SENDME="" | ||
- | if [ ${UNSENTJOBS} -gt 10 ] | ||
- | then | ||
- | > $SENDFILE | ||
- | sqlite3 $DBFILE " | ||
- | echo " | ||
- | #wget -O- -q " | ||
- | SENDME=$(wget -O- -q " | ||
- | if [ ! " | ||
- | echo " | ||
- | else | ||
- | sqlite3 $DBFILE " | ||
- | fi | ||
- | done | ||
- | sqlite3 $DBFILE " | ||
- | cat $SENDFILE | mail -s "Jobs $(date +%Y/ | ||
- | fi | ||
- | } | ||
- | clean_all() | ||
- | { | ||
- | for i in $SENDFILE $TMPFILE | ||
- | do | ||
- | if [ -f $i ] | ||
- | then | ||
- | rm -f $i | ||
- | fi | ||
- | done | ||
- | } | ||
- | for i in $(dirname $0)/*.conf | ||
- | #for i in $(dirname $0)/ | ||
- | do | ||
- | . $i | ||
- | createdb | ||
- | get_data | ||
- | mailer | ||
- | clean_all | ||
- | done | ||
- | </ | ||
- | |||
- | |||
- | ===== Programación ===== | ||
- | Mediante cron se pueden lanzar el script: | ||
- | < | ||
- | 0,30 09-20 | ||
- | </ | ||