-
scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 13:42:00.0 alle 2009-12-29 13:42:00.0ciao a tutti vorrei scrivere un motore di ricerca ma non saprei da dove partire.!
qualcuno conosce qualche guida che mi puo' aiutare?-
Re: scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 13:44:00.0 alle 2009-12-29 13:44:00.0
- Scritto da:
> ciao a tutti vorrei scrivere un motore di ricerca
> ma non saprei da dove
> partire.!
> qualcuno conosce qualche guida che mi puo'
> aiutare?
Io potrei dirti come scrivere un motore diesel.
-
Re: scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 13:45:00.0 alle 2009-12-29 13:45:00.0
- Scritto da:
> ciao a tutti vorrei scrivere un motore di ricerca
> ma non saprei da dove
> partire.!
> qualcuno conosce qualche guida che mi puo'
> aiutare?
Si parte da "un".
-
Re: scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 13:47:00.0 alle 2009-12-29 13:47:00.0
- Scritto da:
>
> - Scritto da:
> > ciao a tutti vorrei scrivere un motore di
> ricerca
> > ma non saprei da dove
> > partire.!
> > qualcuno conosce qualche guida che mi puo'
> > aiutare?
>
> Si parte da "un".
e poi? e poi???-
Re: scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 13:50:00.0 alle 2009-12-29 13:50:00.0
- Scritto da:
>
> - Scritto da:
> >
> > - Scritto da:
> > > ciao a tutti vorrei scrivere un motore di
> > ricerca
> > > ma non saprei da dove
> > > partire.!
> > > qualcuno conosce qualche guida che mi puo'
> > > aiutare?
> >
> > Si parte da "un".
> e poi? e poi???
Poi si aggiunge "motore"
-
Re: scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 14:02:00.0 alle 2009-12-29 14:02:00.0
- Scritto da:
>
> - Scritto da:
> >
> > - Scritto da:
> > >
> > > - Scritto da:
> > > > ciao a tutti vorrei scrivere un motore di
> > > ricerca
> > > > ma non saprei da dove
> > > > partire.!
> > > > qualcuno conosce qualche guida che mi puo'
> > > > aiutare?
> > >
> > > Si parte da "un".
> > e poi? e poi???
>
> Poi si aggiunge "motore"
fantastico e poi? e poi???-
Re: scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 15:41:00.0 alle 2009-12-29 15:41:00.0
- Scritto da:
>
> - Scritto da:
> >
> > - Scritto da:
> > >
> > > - Scritto da:
> > > >
> > > > - Scritto da:
> > > > > ciao a tutti vorrei scrivere un motore di
> > > > ricerca
> > > > > ma non saprei da dove
> > > > > partire.!
> > > > > qualcuno conosce qualche guida che mi puo'
> > > > > aiutare?
> > > >
> > > > Si parte da "un".
> > > e poi? e poi???
> >
> > Poi si aggiunge "motore"
> fantastico e poi? e poi???
Ma devo fare tutto io?
-
-
-
-
-
Re: scrivere un motore di ricerca!
- Scritto da:
> ciao a tutti vorrei scrivere un motore di ricerca
> ma non saprei da dove
> partire.!
> qualcuno conosce qualche guida che mi puo'
> aiutare?
Dipende da quanto grosso. Devi fare concorrenza a Google?
Btw googla Lucene e dintorni (Hadoop, Solr, Nutch..), intanto ti fai un idea.
Poi torna qui e chiedi a sarrusofono di farne uno per te.-
Re: scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 13:59:00.0 alle 2009-12-29 13:59:00.0
- Scritto da: suoranciata
>
> - Scritto da:
> > ciao a tutti vorrei scrivere un motore di
> ricerca
> > ma non saprei da dove
> > partire.!
> > qualcuno conosce qualche guida che mi puo'
> > aiutare?
>
> Dipende da quanto grosso. Devi fare concorrenza a
> Google?
> Btw googla Lucene e dintorni (Hadoop, Solr,
> Nutch..), intanto ti fai un
> idea.
> Poi torna qui e chiedi a sarrusofono di farne uno
> per
> te.
ma lucene e' java e io java lo eviterei....
e' troppo lento oltre ad essere un linguaggio ormai in decadimento!
-
Re: scrivere un motore di ricerca!
- Scritto da:
>
> - Scritto da: suoranciata
> >
> > - Scritto da:
> > > ciao a tutti vorrei scrivere un motore di
> > ricerca
> > > ma non saprei da dove
> > > partire.!
> > > qualcuno conosce qualche guida che mi puo'
> > > aiutare?
> >
> > Dipende da quanto grosso. Devi fare concorrenza
> a
> > Google?
> > Btw googla Lucene e dintorni (Hadoop, Solr,
> > Nutch..), intanto ti fai un
> > idea.
> > Poi torna qui e chiedi a sarrusofono di farne
> uno
> > per
> > te.
> ma lucene e' java e io java lo eviterei....
> e' troppo lento oltre ad essere un linguaggio
> ormai in
> decadimento!
>
Sei fuori strada. Come linguaggio lato server è molto veloce, di meglio c'è solo scrivere applicazioni in c/c++, con la complessità di gestione e la possibilità di errori maggiori che comporta.
Non è un caso se Yahoo sviluppa attivamente hadoop e lo usa:
http://developer.yahoo.net/blogs/hadoop/2008/02/ya...
-
Re: scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 14:45:00.0 alle 2009-12-29 14:45:00.0
- Scritto da: suoranciata
>
> - Scritto da:
> >
> > - Scritto da: suoranciata
> > >
> > > - Scritto da:
> > > > ciao a tutti vorrei scrivere un motore di
> > > ricerca
> > > > ma non saprei da dove
> > > > partire.!
> > > > qualcuno conosce qualche guida che mi puo'
> > > > aiutare?
> > >
> > > Dipende da quanto grosso. Devi fare
> concorrenza
> > a
> > > Google?
> > > Btw googla Lucene e dintorni (Hadoop, Solr,
> > > Nutch..), intanto ti fai un
> > > idea.
> > > Poi torna qui e chiedi a sarrusofono di farne
> > uno
> > > per
> > > te.
> > ma lucene e' java e io java lo eviterei....
> > e' troppo lento oltre ad essere un linguaggio
> > ormai in
> > decadimento!
> >
>
> Sei fuori strada. Come linguaggio lato server è
> molto veloce, di meglio c'è solo scrivere
> applicazioni in c/c++, con la complessità di
> gestione e la possibilità di errori maggiori che
> comporta.
>
> Non è un caso se Yahoo sviluppa attivamente
> hadoop e lo
> usa:
> http://developer.yahoo.net/blogs/hadoop/2008/02/ya
io non so' molto di performance lato server pero'....
un algoritmo scritto in java esegue molto ma molto ma molto + lentamente di un algoritmo scritto in c o in python! se non ci credi prova.... scrivi un algoritmo che calcola i numeri primi in java poi scrivine uno in python noterai che python calcola i numeri primi molto ma molto + velocemente di java!
java ha inoltre il problema delle classi.. la new di java e' una operazione molto molto dispendiosa in termini di performance!
se vuoi ti passo gli algoritmi così lo vedi da solo!
-
Re: scrivere un motore di ricerca!
- Scritto da:
>
> - Scritto da: suoranciata
> >
> > - Scritto da:
> > >
> > > - Scritto da: suoranciata
> > > >
> > > > - Scritto da:
> > > > > ciao a tutti vorrei scrivere un motore di
> > > > ricerca
> > > > > ma non saprei da dove
> > > > > partire.!
> > > > > qualcuno conosce qualche guida che mi puo'
> > > > > aiutare?
> > > >
> > > > Dipende da quanto grosso. Devi fare
> > concorrenza
> > > a
> > > > Google?
> > > > Btw googla Lucene e dintorni (Hadoop, Solr,
> > > > Nutch..), intanto ti fai un
> > > > idea.
> > > > Poi torna qui e chiedi a sarrusofono di
> farne
> > > uno
> > > > per
> > > > te.
> > > ma lucene e' java e io java lo eviterei....
> > > e' troppo lento oltre ad essere un linguaggio
> > > ormai in
> > > decadimento!
> > >
> >
> > Sei fuori strada. Come linguaggio lato server è
> > molto veloce, di meglio c'è solo scrivere
> > applicazioni in c/c++, con la complessità di
> > gestione e la possibilità di errori maggiori che
> > comporta.
> >
> > Non è un caso se Yahoo sviluppa attivamente
> > hadoop e lo
> > usa:
> >
> http://developer.yahoo.net/blogs/hadoop/2008/02/ya
>
> io non so' molto di performance lato server
> pero'....
> un algoritmo scritto in java esegue molto ma
> molto ma molto + lentamente di un algoritmo
> scritto in c o in python! se non ci credi
> prova.... scrivi un algoritmo che calcola i
> numeri primi in java poi scrivine uno in python
> noterai che python calcola i numeri primi molto
> ma molto + velocemente di java!
>
> java ha inoltre il problema delle classi.. la new
> di java e' una operazione molto molto dispendiosa
> in termini di
> performance!
> se vuoi ti passo gli algoritmi così lo vedi da
> solo!
>
>
-----JAVA----import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.PrintWriter; import java.util.ArrayList; import java.util.List; public class NumeriPrimi2 { public static void main(String[] args) throws FileNotFoundException { long start=System.currentTimeMillis(); int n=Integer.MAX_VALUE; List<Integer> primi= new ArrayList<Integer>(); for (int i=2;i<=n;i++){ if (primo(i,primi)) primi.add(new Integer(i)); } System.out.println("tutti i numeri primi < "+n); System.out.println("conteggio: "+primi.size()); System.out.println("calcolo terminato scrivo i risultati in un file"); File file= new File("numeriPrimi.log"); FileOutputStream fout= new FileOutputStream(file,true); PrintWriter fprint=new PrintWriter(fout); for (Integer primo:primi){ fprint.append(primo+"\n"); } fprint.flush(); System.out.println("tempo impiegato per il calcolo dei numeri primi minori di " + n +" e' " + (System.currentTimeMillis()-start)); } private static boolean primo(int num,List<Integer>primi) { int max=num; int i=0; while (i<primi.size() && primi.get(i)<max){ int primo= primi.get(i).intValue(); if (num%primo==0 && num!=primo){ return false; }else max=num/primo; ++i; } return true; }
----PYTHON------def isPrimo(numero,lista): max=numero i=0 while (i<lista.__len__() and lista[i]<max): primo=lista[i] if (numero%primo==0 and numero!=primo): return False else : max=numero/primo i+=1 return True def calcola(lista,cifre): max = 10**cifre n=int(lista[-1]) primi=lista while n<max: if isPrimo(n,primi): primi.append(n) print (n) n+=2 def main(): FILE = open('primi.log','r') lista=FILE.read().split('\n'); i=0 primi=[] while i<lista.__len__(): primi.append(int(lista[i])) i+=1 lista=[] FILE.close() FILE=None #print('ultimoprimo:' + lista[-1]) calcola(primi,100) if __name__ == '__main__': main()
-
Re: scrivere un motore di ricerca!Scritto daavvelentaniCubicolarioil 2009-12-29 14:50:00.0 alle 2009-12-29 14:50:00.0Trollate totali: 18184
- Scritto da:
> un algoritmo scritto in java esegue molto ma
> molto ma molto + lentamente di un algoritmo
> scritto in c o in python!
stai trollando.I think happiness is love
- Vladimir Putin-
Re: scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 14:53:00.0 alle 2009-12-29 14:53:00.0
- Scritto da: avvelentani
>
> - Scritto da:
> > un algoritmo scritto in java esegue molto ma
> > molto ma molto + lentamente di un algoritmo
> > scritto in c o in python!
>
> stai trollando.
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
-
Re: scrivere un motore di ricerca!- Scritto da: avvelentani
>
> - Scritto da:
> > un algoritmo scritto in java esegue molto ma
> > molto ma molto + lentamente di un algoritmo
> > scritto in c o in python!
>
> stai trollando.
bla bla bla
trolli sapendo di trollare e accusando me di essere un troll
sto' solo rispondendo a chi dice che con java hai le stesse performance di c o python
java e' lento e finche' qualcuno non mi dimostrerà il contrario continuero' a sostenerlo.!
io posso dimostrare che java e' molto ma molto + lento di python! tu puoi dimostrare il contrario?
-
Re: scrivere un motore di ricerca!Scritto daavvelentaniCubicolarioil 2009-12-29 15:02:00.0 alle 2009-12-29 15:02:00.0Trollate totali: 18184
- Scritto da: sfigato
> - Scritto da: avvelentani
> >
> > - Scritto da:
> > > un algoritmo scritto in java esegue molto ma
> > > molto ma molto + lentamente di un algoritmo
> > > scritto in c o in python!
> >
> > stai trollando.
> bla bla bla
> trolli sapendo di trollare e accusando me di
> essere un
> troll
>
> sto' solo rispondendo a chi dice che con java hai
> le stesse performance di c o python
>
> java e' lento e finche' qualcuno non mi
> dimostrerà il contrario continuero' a
> sostenerlo.!
> io posso dimostrare che java e' molto ma molto +
> lento di python! tu puoi dimostrare il
> contrario?
http://shootout.alioth.debian.org/u64/benchmark.ph...
I think happiness is love
- Vladimir Putin-
Re: scrivere un motore di ricerca!Scritto daNon Autenticatoil 2009-12-29 15:07:00.0 alle 2009-12-29 15:07:00.0
- Scritto da: avvelentani
>
> - Scritto da: sfigato
> > - Scritto da: avvelentani
> > >
> > > - Scritto da:
> > > > un algoritmo scritto in java esegue molto ma
> > > > molto ma molto + lentamente di un algoritmo
> > > > scritto in c o in python!
> > >
> > > stai trollando.
> > bla bla bla
> > trolli sapendo di trollare e accusando me di
> > essere un
> > troll
> >
> > sto' solo rispondendo a chi dice che con java
> hai
> > le stesse performance di c o python
> >
> > java e' lento e finche' qualcuno non mi
> > dimostrerà il contrario continuero' a
> > sostenerlo.!
> > io posso dimostrare che java e' molto ma molto +
> > lento di python! tu puoi dimostrare il
> > contrario?
>
> http://shootout.alioth.debian.org/u64/benchmark.ph
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
è l'ora della gelatina!
-
-
-
-
Re: scrivere un motore di ricerca!
- Scritto da:
>
> - Scritto da: suoranciata
> >
> > - Scritto da:
> > >
> > > - Scritto da: suoranciata
> > > >
> > > > - Scritto da:
> > > > > ciao a tutti vorrei scrivere un motore di
> > > > ricerca
> > > > > ma non saprei da dove
> > > > > partire.!
> > > > > qualcuno conosce qualche guida che mi puo'
> > > > > aiutare?
> > > >
> > > > Dipende da quanto grosso. Devi fare
> > concorrenza
> > > a
> > > > Google?
> > > > Btw googla Lucene e dintorni (Hadoop, Solr,
> > > > Nutch..), intanto ti fai un
> > > > idea.
> > > > Poi torna qui e chiedi a sarrusofono di
> farne
> > > uno
> > > > per
> > > > te.
> > > ma lucene e' java e io java lo eviterei....
> > > e' troppo lento oltre ad essere un linguaggio
> > > ormai in
> > > decadimento!
> > >
> >
> > Sei fuori strada. Come linguaggio lato server è
> > molto veloce, di meglio c'è solo scrivere
> > applicazioni in c/c++, con la complessità di
> > gestione e la possibilità di errori maggiori che
> > comporta.
> >
> > Non è un caso se Yahoo sviluppa attivamente
> > hadoop e lo
> > usa:
> >
> http://developer.yahoo.net/blogs/hadoop/2008/02/ya
>
> io non so' molto di performance lato server
> pero'....
> un algoritmo scritto in java esegue molto ma
> molto ma molto + lentamente di un algoritmo
> scritto in c o in python! se non ci credi
> prova.... scrivi un algoritmo che calcola i
> numeri primi in java poi scrivine uno in python
> noterai che python calcola i numeri primi molto
> ma molto + velocemente di java!
>
> java ha inoltre il problema delle classi.. la new
> di java e' una operazione molto molto dispendiosa
> in termini di
> performance!
> se vuoi ti passo gli algoritmi così lo vedi da
> solo!
>
>
Dispongo di una meravigliosa dimostrazione di questo teorema, che non può essere contenuta nel margine troppo stretto della pagina.
-
-
-
Re: scrivere un motore di ricerca!Scritto daavvelentaniCubicolarioil 2009-12-29 14:48:00.0 alle 2009-12-29 14:48:00.0Trollate totali: 18184
- Scritto da:
>
> - Scritto da: suoranciata
> >
> > - Scritto da:
> > > ciao a tutti vorrei scrivere un motore di
> > ricerca
> > > ma non saprei da dove
> > > partire.!
> > > qualcuno conosce qualche guida che mi puo'
> > > aiutare?
> >
> > Dipende da quanto grosso. Devi fare concorrenza
> a
> > Google?
> > Btw googla Lucene e dintorni (Hadoop, Solr,
> > Nutch..), intanto ti fai un
> > idea.
> > Poi torna qui e chiedi a sarrusofono di farne
> uno
> > per
> > te.
> ma lucene e' java e io java lo eviterei....
> e' troppo lento oltre ad essere un linguaggio
> ormai in
> decadimento!
>
dipende da quanto e` grosso l'indice e da quanto hardware hai ma con lucene su java ci puoi fare tranquillamente centinaia di query al secondo, che e` comunque nell'ordine di grandezza dei motori scritti in C (google e bing fanno di piu` con indici enormi solo tramite sharding e replicazione).
java e` lento soprattutto all'avvio per il resto l'ottimizzatore di hotspot fa un ottimo lavoro, se vuoi batterlo devi usare per forza C/C++, nota che il problema non e` tanto il bytecode quanto la localita` della memoria e la garbage collection.
Se vuoi andare di C++ c'e` Xapian.
Qui invece:
http://ravanator.acmetoy.com/xfdt/motorino.tgz
c'e` un esempio di lucene usato tramite clojure.I think happiness is love
- Vladimir Putin
-
-
-
e leggere un motore di ricerca?Scritto daNon Autenticatoil 2009-12-29 16:11:00.0 alle 2009-12-29 16:11:00.0
- Scritto da:
> ciao a tutti vorrei scrivere un motore di ricerca
> ma non saprei da dove
> partire.!
> qualcuno conosce qualche guida che mi puo'
> aiutare?
prima di scrivere un motore di ricerca dovresti imparare a leggere un motore di ricerca.
-
Re: scrivere un motore di ricerca!Uppo il thread perché mi è capitato sotto mano questo belink interessante:
http://code.google.com/p/hypertable/wiki/WhyWeChos...
Spiegano perché hanno scelto c++ invece di java per hypertable, comparato al suo concorrente hadoop che invece è java.
Da leggere anche i commenti che portano altri link, comparative e spunti.
-