Pang-alis ng mga dobleng linya

Ang Pang-alis ng mga dobleng linya ay isang libreng tool na nag-aalis ng mga nauulit na linya sa idinikit na teksto at ipinapakita kung ilang linya ang natira.

Paano mag-alis ng mga dobleng linya?

Idikit ang teksto na may tig-isang item sa bawat linya, patakbuhin ang tool, at kopyahin ang nalinis na resulta.

1. Ayusin ang pinagmulan para nasa sariling linya ang bawat email address, URL, product code, o iba pang value.
2. Isumite ang teksto para alisin ang mga dobleng linya.
3. Suriin ang iniulat na bilang at repasuhin ang mga nalinis na linya bago gamitin ang mga ito sa ibang lugar.

Ginagamit ng tool ang array_unique operation ng PHP. Kapag lumitaw nang mahigit isang beses ang parehong linya, pinananatili ang unang paglitaw at inaalis ang mga susunod na kapareho nito.

Kailan nakakatipid ng oras ang pag-aalis ng mga dobleng linya?

Nakakatipid ito ng oras kapag nagkaroon ng mga nauulit na entry ang isang listahan dahil sa pag-export, pagkopya, o pagsasama ng iba't ibang pinagmulan.

• Mga export mula sa Excel at Google Sheets ay madalas magkaroon ng mga nauulit na email address, reference number, o stock code matapos pagsamahin ang mga worksheet.
• Mga import file ng Mailchimp ay maaaring kailangang alisin muna ang mga dobleng row ng email bago i-upload. Gayunman, hindi bini-validate ng pag-aalis ng linya ang mga address at hindi nito pinagsasama ang magkakahiwalay na contact record.
• Pagproseso ng mga produkto sa Shopify ay maaaring magresulta sa mga nauulit na SKU kapag kinopya ang mga value mula sa mahigit isang report.
• Mga export mula sa Google Search Console ay maaaring pagsamahin bilang listahan ng mga URL na tig-isa bawat linya at linisin bago ang susunod na pagsusuri.
• Mga configuration file sa GitHub, kabilang ang mga simpleng allow list at ignore list, ay maaaring maglaman ng magkakaparehong entry na idinagdag ng iba't ibang contributor.

Makabubuting magtabi ng hindi binagong kopya ng pinagmulan para maibalik mo ang anumang linyang inalis bilang duplicate. Kung may mukhang duplicate na hindi naalis, suriin ito sa isang plain-text editor na kayang ipakita ang mga puwang sa dulo at iba pang hindi nakikitang character.

Paano nito pinangangasiwaan ang mga puwang, malaking titik, at bantas?

Inihahambing nito ang buong value ng bawat linya, kaya maaaring hindi maituring na magkapareho ang dalawang entry kung may anumang pagkakaiba sa loob ng linya.

Halimbawa, magkakaibang string ang "Manchester", "manchester" at "Manchester " dahil magkaiba ang gamit ng malaking titik o may puwang sa dulo. Kasama rin sa paghahambing ang mga numero at bantas, kaya hindi kapareho ng "INV104" ang "INV-104". Hindi awtomatikong ipinapalagay ng operation na tumutukoy sa iisang customer, URL, o produkto ang dalawang value na magkaiba ang format.

Maaaring i-store bilang mga string ng linya ang tekstong may accent at hindi Latin ang alpabeto, ngunit maaaring magkaiba ang pinagbabatayang pagkakasunod-sunod ng mga Unicode character kahit magkamukha ang teksto. Maaaring manatiling magkahiwalay ang mga naturang linya maliban kung na-normalise muna ang teksto. Kung makarating sa array_unique ang mga blangkong linya bilang mga nauulit na empty value, ang unang empty value lamang ang pananatilihin.

Para sa napakalalaking file, maaaring mas praktikal na gumamit ng spreadsheet command o script para alisin ang mga duplicate sa buong hanay ng mga linya kaysa idikit ito sa isang browser tool.

Paano basahin ang resulta?

Ipinapakita ng mga field ng resulta ang orihinal na bilang ng mga linya, ang bilang ng mga natirang linya, at ang bilang ng mga inalis.

• Mga linya ang bilang ng mga linya sa isinumiteng listahan.
• Mga bagong linya ang bilang matapos alisin ang mga dobleng value.
• Mga inalis na linya ang bilang ng mga nauulit na value na tinanggal.

Ihambing ang bilang ng mga inalis sa inaasahan mo. Kapag masyadong mababa ang bilang, kadalasan ay may pagkakaiba sa mga puwang, paggamit ng malaking titik, o bantas. Kapag masyadong mataas naman, maaaring may kahulugan ang mga nauulit na row sa orihinal na data, gaya ng magkakahiwalay na transaksyong may magkaparehong paglalarawan.

Mga halimbawang may aktuwal na linya

Para sa mga input line na "pear", "apple" at "pear", ang mga resultang linya ay "pear" at "apple". Inaalis ang ikalawang paglitaw ng "pear", habang pinananatili ang pagkakasunod-sunod ng unang paglitaw ng bawat value.

Para sa "London", "london" at "London " na may puwang sa dulo, magkakaiba ang lahat ng tatlong value sa isang direktang paghahambing ng string. Hiwalay na operation ang paglilinis muna ng letter case at mga puwang sa magkabilang dulo.

Kung pinaghihiwalay ng mga kuwit sa halip na line break ang mga value, gamitin muna ang Paghihiwalay ng teksto para ilagay ang bawat value sa sarili nitong linya. Gumagana ang pag-aalis ng duplicate sa mga linya, hindi sa mga indibidwal na salita o sa mga field na pinaghihiwalay ng kuwit sa loob ng isang linya.

Mga madalas itanong

Puwede bang mag-alis ng mga duplicate sa CSV file?

Maaari mong idikit ang nilalaman ng CSV, ngunit buong row ang inihahambing ng operation bilang mga linya. Hindi nito maaalis ang mga duplicate sa isang column habang pinananatili ang magkakaibang data sa mga katabing column. Para sa paghahambing batay sa column, gamitin ang Remove Duplicates command ng Excel, Google Sheets, o isang script na idinisenyo para sa CSV.

Bakit hindi itinuturing na duplicate ang mga item sa numbered list?

Bahagi ng bawat linya ang mga numerong nasa unahan, kaya magkaibang value ang "1. Bristol" at "2. Bristol". Alisin muna ang pagnunumero bago mag-alis ng mga duplicate kung pangalan ng lugar ang value na dapat paghambingin.

Ligtas bang magdikit ng kumpidensiyal na impormasyon?

Isinasagawa sa server ang pagproseso. Ipinapadala ang iyong input sa server sa pamamagitan ng HTTPS at hindi ito ini-store, ngunit umaalis pa rin ito sa iyong device habang pinoproseso. Huwag magsumite ng kumpidensiyal o kontroladong data kung ipinagbabawal ng patakaran ng iyong organisasyon ang pagpapadala nito sa isang panlabas na serbisyo.

Puwede ba itong gamitin para linisin ang JSON o program code?

Maaaring masira ang JSON, source code, at iba pang structured format kung basta na lang aalisin ang mga nauulit na linya, dahil maaaring sinadya ang pag-uulit ng teksto. Gumamit ng parser, formatter, o tool na para sa partikular na programming language kapag nakakaapekto sa kahulugan ang structure at posisyon ng linya.

Mga huling pagsusuri

Repasuhin ang nalinis na listahan bago ito i-import, lalo na kung maaaring kumatawan sa magkakahiwalay na order, bayad, o event ang mga dobleng linya. Itabi ang orihinal na file hanggang tanggapin ng destinasyong system ang binagong data at masuri mo ang mga linyang pinanatili at inalis ng tool.