YaCy
Versiunea actuală a paginii nu a fost încă examinată de colaboratori experimentați și poate diferi semnificativ de versiunea revizuită la 11 iulie 2020; verificările necesită 12 modificări .| YaCy | |
|---|---|
| Tip de | Rețea de suprapunere , motor de căutare |
| Dezvoltator | Comunitatea YaCy |
| Scris in | Java [1] |
| Sistem de operare | Software multiplatformă |
| Prima editie | 2004 |
| Platformă hardware | Mașină virtuală Java |
| ultima versiune | 1.924 (9 februarie 2021) |
| Licență | GNU GPL 2+ [2] |
| Site-ul web | yacy.net _ |
| Fișiere media la Wikimedia Commons | |
YaCy (din engleză Yet another Cyberspace , Another Cyberspace ; în consonanță cu engleza. Ya see ) este un motor de căutare descentralizat distribuit gratuit , construit pe principiul unei rețele peer-to- peer (P2P). Există versiuni pentru Windows, Linux, MacOSX. Modulul software principal , scris în Java , rulează pe câteva mii de computere (din 2011) ale membrilor rețelei YaCy. Fiecare participant la proiect explorează în mod independent Internetul, analizând și indexând paginile găsite și adaugă rezultatele indexării la o bază de date comună (așa-numitul index), care este partajată de toți utilizatorii YaCy pe o bază P2P.
Spre deosebire de motoarele de căutare parțial distribuite, rețeaua YaCy se caracterizează printr-o arhitectură descentralizată. Toate nodurile sunt echivalente și nu există un server central . Programul poate funcționa ca robot de căutare sau ca server proxy local , indexând paginile vizitate de utilizator (în timp ce ignoră paginile cu semne de date personale - cookie-uri etc.).
Accesul la funcționalitatea de căutare este oferit de un server web care rulează local, care generează o pagină de căutare cu un câmp pentru introducerea interogărilor de căutare și returnează rezultatele căutării în același format ca și alte motoare de căutare populare.
Programul este distribuit sub licență GPL . Proiectul este susținut de Free Software Foundation Europe (FSFE). [3]
Proiectul YaCy a fost fondat de Michael Christen în 2003 .
Avantaje și dezavantaje
Beneficii
- Căutările în colaborare se pot face aproape întotdeauna cu YaCy: există întotdeauna o parte a rețelei care va fi disponibilă.
- Utilizatorii de internet ai motorului de căutare YaCy sunt independenți de companii, de evaluările lor și de cenzura lor.
- Software-ul este open source , licențiat sub GNU GPL și este gratuit.
- Când folosește un proxy client, acesta poate accesa cu crawlere pagini din deep web sau din rețele publice neindexate (cum ar fi I2P ) care nu pot fi indexate de crawlerele web obișnuite, cum ar fi Google, Yahoo sau Bing.
- YaCy nu implică neapărat apartenența la un cluster YaCy public și poate fi astfel utilizat ca motor de căutare în rețele private (cum ar fi un intranet al companiei) sau pe servicii private de căutare (și indexuri) pentru un anumit grup de pagini.
- Cu cât există mai multe noduri în rețea, cu atât mai puține date sunt stocate pe fiecare nod în raport cu dimensiunea indexului și cu atât impactul asupra rețelei este mai mic al modificării numărului de noduri.
Dezavantaje
- Spammerii , în teorie, își pot rula nodurile returnând spam ca rezultat. Prin urmare, clientul are funcția de a verifica paginile pentru prezența textului dorit. [patru]
- Deoarece YaCy trebuie să contacteze alte noduri pentru interogare și din cauza validării (opționale) a rezultatelor menționate mai sus, căutările durează mai mult decât motoarele de căutare tradiționale. [patru]
- Clientul principal nu caută diferite forme de cuvinte.
- Protocolul YaCy este organizat folosind solicitări HTTP individuale , care implică mai multă latență decât utilizarea UDP sau TCP cu o conexiune persistentă.
- Clientul principal este scris în Java și, în implementarea actuală, este lent. Odată cu creșterea indicelui local, consumul de memorie crește semnificativ , iar viteza de lucru scade. Verificarea unei baze de date locale de ~20 GB poate dura câteva secunde înainte ca cererea să fie trimisă altor colegi.
- Rețeaua publică „freeworld” are în prezent relativ puține noduri „active” „senior” (păstrând indexul de căutare acumulat și răspunzând la solicitările de căutare de la alte noduri) pentru căutările World Wide Web și pot produce relativ puține rezultate în comparație cu cele mari. motoare de căutare. Există până la câteva zeci de milioane de înregistrări per nod, astfel încât mișcarea lor completă între noduri durează o perioadă semnificativă de timp, iar închiderea bruscă sau adăugarea unui număr semnificativ de noduri poate degrada temporar calitatea rețelei pentru unele interogări de căutare. așa cum sa întâmplat după lansarea versiunii 1.0 în noiembrie 2011, când numărul de participanți a crescut rapid la aproximativ 4000 [4] sau 1000 [5] . La începutul lunii martie 2012, aproximativ 1/6 din nodurile care lucrau simultan erau „active”.
Program
Motorul de căutare este diferit de alte motoare de căutare - nu este un server central, ci un program client de rețea peer-to-peer care rulează pe mai multe computere în același timp. Rezultatele căutării sunt afișate ca o pagină web pe site- ul web local , care acționează și ca o interfață web pentru personalizarea motorului de căutare la nevoile utilizatorului.
În combinație cu sisteme P2P suplimentare, este utilizat un proxy care indexează automat paginile vizitate. Indexarea nu se efectuează în cazurile în care datele sunt transmise prin GET sau POST, sau sunt utilizate cookie -uri (cookie-uri) sau autentificare HTTP (de exemplu, pagini incluse într-o anumită zonă protejată prin parolă). [6] Acest lucru asigură că numai datele disponibile publicului sunt efectiv indexate.
Alte caracteristici
- YaCy oferă tuturor utilizatorilor o funcție proxy care le permite să se conecteze și la alte gazde la HOSTNAME.yacy sau HASHNAME.yacyh. www.HODENAME.yacy poate fi pagina principală a utilizatorului, sub share.HODENAME.yacy este un site de partajare a fișierelor, iar HOSTNAME.yacy este interfața de acces standard. Alte subdomenii pot fi create special prin crearea unui folder cu numele subdomeniului. DNS dinamic nu este acceptat.
- Pe lângă domeniul .yacy , YaCy oferă posibilitatea de a crea o pagină de pornire și foldere care pot fi asociate cu IP-ul curent sau cu adresa DNS dinamică și care sunt accesibile utilizatorilor non-Yacy.
- YaCy are o funcție de mesagerie încorporată care vă permite să trimiteți mesaje text (cu formatare wiki), precum și să transferați fișiere.
- YaCy are un wiki și un blog încorporat .
- Există un management al marcajelor, care poate fi public și privat.
- Este posibil să adăugați anumite zone la listele negre.
- Există o interfață OpenSearch . Fiecare nod îl face disponibil la http://<node-address>:<node-port>/opensearchdescription.xml, de exemplu https://web.archive.org/web/20120602233757/http://sciencenet.fzk. de:8080/opensearchdescription.xml . Pentru a adăuga motorul dvs. personal de căutare YaCy la lista de motoare de căutare a Firefox, trebuie să deschideți acest fișier XML într-un browser și să-l salvați în folderul „searchplugins”, apoi reporniți Firefox.
Tehnologie
Programul se bazează pe un server web, care este și un proxy de cache . Utilizatorul serverului web poate accesa shell-ul de căutare și își poate gestiona propria gazdă. Proxy-ul are un cod comun cu scanerul, ceea ce înseamnă că toate paginile vizitate prin intermediul acestuia, care nu sunt personale, sunt înregistrate automat în index în mod implicit. În plus, YaCy oferă propriul domeniu în rețeaua YaCy, care este accesibil printr-un server proxy. Solr și Lucene sunt integrate pentru căutare în YaCy (pentru versiunea 1.6, aceasta este versiunea 4.3)
Index distribuit
Spre deosebire de serviciile de partajare a fișierelor, rezultatele căutării P2P trebuie să fie disponibile imediat. Pentru a realiza acest lucru, YaCy utilizează o tabelă hash distribuită (DHT). Aceasta înseamnă că toate adresele URL și cuvintele recunoscute de program sunt trimise la noduri care sunt potrivite pentru stocarea sumelor de control corespunzătoare ale cuvintelor, nodurilor sau linkurilor. Când căutați, funcționează invers: căutarea are loc numai pe nodurile care sunt potrivite pentru stocarea hash-urilor URL-ului pentru acel cuvânt.
Astfel, doar o parte a nodurilor este folosită pentru a obține rezultatele.
Tipuri de noduri
Rețeaua YaCy este formată din patru tipuri diferite de noduri:
Incepator Aceste noduri nu pot fi găsite deoarece noul venit nu are conexiune la rețea. Astfel, te vezi doar dacă nodul este nou. Jr Gazda se află în spatele unui firewall . Alții îl clasifică drept nod junior sau potențial [7] , văd doar ultima lui cerere și nu au de unde să stabilească dacă este încă online. Senior Bătrânul poate fi accesat din exterior și este membru cu drepturi depline al rețelei YaCy. În statisticile rețelei, nodurile mai vechi care funcționează în prezent sunt numite active , inactiv- pasive . [7] Principal Unul mai vechi care aruncă o listă de semințe utilizate pentru conexiunea inițială la alte noduri.Protocol
Protocolul YaCy constă din servlet -uri bazate pe text furnizate de serverul web încorporat la /yacy/servletname.html. Alte gazde trimit date prin parametrii GET și primesc un răspuns în text simplu, formatul exact diferă pentru servlet-uri.
Bootstrap
În timpul bootstrapping-ului, nodul încearcă să comunice cu alte noduri din rețeaua YaCy. În primul rând, sunt căutate liste de noduri. Prima adresă din superseed.txt este folosită pentru a descărca noduri YaCy stabile. seeds.txt sunt legături către alte noduri, luând astfel contact cu rețeaua YaCy. Data viitoare când porniți YaCy, gebootstrapt este creat din gazde cunoscute din rularea anterioară. În continuare, listele de noduri vor fi necesare numai atunci când majoritatea legăturilor vechi nu mai sunt disponibile.
Vezi și
Note
- ↑ Proiectul Yacy Open Source pe Open Hub: Pagina de limbi - 2006.
- ↑ GitHub (engleză) - 2007.
- ↑ Căutare pe Web de către oameni, pentru oameni: YaCy 1.0 . Data accesului: 14 decembrie 2011. Arhivat din original la 30 noiembrie 2011.
- ↑ 1 2 3 YaCy Bugfix Versiunea 1.01 cu noi contribuții ale comunității . Preluat la 6 martie 2012. Arhivat din original la 12 februarie 2012.
- ↑ Statistici cantitative: grafic pentru 2011.
- ↑ Marea Britanie:Confidențialitate - YaCyWiki (link în jos)
- ↑ 1 2 /Network.html
Literatură
- M. Christen: Peer-to-Peer: Eigenes Suchportal mit Yacy einrichten in iX 02/2008, S. 102 ff.
- M. Schlenker: Gemeinsam gegen Google in OpenSource , 01/2007, noiembrie 2006, S. 94-97
- J. Bager: Europäische Gegenströmung in c't, 2006/10, 2. Mai 2006, S.172-174 ( Onlinetext )
- R. Sietmann: Wider die Monocultur. P2P-Strategien gegen die Suchmaschinen-Monopolisierung. în c't, 2005/16, 25. Juli 2005, S.52-53 ( Onlinetext )
- M. Schwarze: Jedermanns Suchmaschine în: HAZ ( Artikel als PDF 107 kB)
- Michael Christen: YaCy - Peer-to-Peer Web-Suchmaschine in Die Datenschleuder, #86, 2005, S.54-57 ( gesamtes Heft als PDF 1,7 MB)
Link -uri
- Site-ul web Yacy
- Motor de căutare Yacy
- forum englezesc
- forum german
- YaCy Wiki
- pagina pentru dezvoltatori la Berlios
- Căutare demonstrativă pe Internet, printr-un membru aleatoriu al rețelei YaCy
- Open Source Foundation a introdus un motor de căutare descentralizat YaCy 1.0
- Versiunea 1.0 a motorului de căutare distribuit YaCy , The H (28 noiembrie 2011). Preluat la 15 decembrie 2011.
- Free Software Advocates Build Distributed Search Engine , Open Systems Publishing (29 noiembrie 2011). Preluat la 15 decembrie 2011.
 În rețelele sociale | |
|---|---|
| Site-uri tematice |
| Motoare și mașini de căutare | |
|---|---|
| General |
|
| Regional |
|
| lideri |
|
| Tematic |
|
| Metacăutare | |
| deschis / gratuit |
|
| Bebelus |
|
| Rețele anonime | |
|---|---|
| Distribuire a unui fisier |
|
| Navigarea pe web | |
| Remaileri |
|
| Mesageri |
|
| Darknet | |
| Motoare de căutare | |
| Rețele fără fir | |
| Criptomonedă | |
| VPN |
|
| Sisteme de operare | |