Odstranění duplicitních e-mailových adres v *.txt souboru

Chci rozeslat PF (v Maillistu) a v Thunderbirdu mám Osobní kontakty, sezbírané, přičemž ještě ke všemu tam jsou v obojím tytéž ale s jinou počáteční velikostí - zkrátka guláš - xxx@...cz, Xxx@...cz, Ivo@...cz, ivo@...cz
Myslel jsem, že bych oba adresáře vyexportoval, třeba do csv, slepil to v Excelu, setřídil vzestupně a odstranil duplicitní adresy. Tím bych získal kýžený seznam adres.
Vyexportované, slepené, setříděné to mám, ale neumím odstranit ty duplicitní. V mém Excelu 2000 jsem to vůbec nenašel a v Open Office mi tam zůstávají.
Co dělám blbě?

Když jsem to teď psal, napadlo mě, nejdříve to prohnat PSPadem a tam "vše na malá" a neměl bych jen duplicity, ale přímo kvadricity

Předmět	Autor	Datum
Příklad pro PowerShell: Mám soubor seznam.txt Test@neco.XXX test@neco.xxx eksdkdl@ttkd.cc eKsdkdl@… ws79 31.12.2011 08:26	ws79	31.12.2011 08:26
To se mi nechce stahovat, instalovat a učit se s tím, avšak třeba mi nic jiného nezbude :-( Kráťa 31.12.2011 08:54	Kráťa	31.12.2011 08:54
Pokud máš Visty nebo 7, tak PS je již součástí. Start -> powershell ws79 31.12.2011 09:06	ws79	31.12.2011 09:06
Ty vado! Děkuji ti 284x. Mě se to povidlo hned napoprvé (mám win 7) :-) Ještě tě poprosím o jednu v… Kráťa 31.12.2011 09:28	Kráťa	31.12.2011 09:28
Není zač. Tohle tak jednoduché nebude a abych se přiznal, tak ani nechápu k čemu by to bylo dobré. ws79 31.12.2011 09:36	ws79	31.12.2011 09:36
Těch adres je třeba 300 (osobni.txt a sezbirane.txt). a na dejme tomu 100 (osobni.txt) už to bylo ro… Kráťa 31.12.2011 09:48	Kráťa	31.12.2011 09:48
Jsem ty odeslané vložil do vse.txt 3x, v Excelu se zobrazují 4x za sebou a je to krásně vidět. Kráťa 31.12.2011 09:55	Kráťa	31.12.2011 09:55
Takže, mám dva soubory vse.txt a rozeslane.txt, které jsou již bez duplicit. Pro zjištění neodeslaný… ws79 31.12.2011 10:12	ws79	31.12.2011 10:12
Tohle uděláš v libovolném jazyce, který má třídu a metody pro čtení a zápis souborů - jmenuje se Fil… hynajs 31.12.2011 10:04	hynajs	31.12.2011 10:04
pripadne ak mas nejaky linux ci iny unix-like system :-) sort -u -f in.txt > out.txt poslední wam_Spider007 31.12.2011 10:51	wam_Spider007	31.12.2011 10:51

Příklad pro PowerShell:

Mám soubor seznam.txt

Test@neco.XXX
test@neco.xxx
eksdkdl@ttkd.cc
eKsdkdl@Ttkd.cC

a v PS tyto 2 řádky

get-content .\seznam.txt | % {[array]$seznam += $_}
$seznam | Sort-Object -Unique

Výsledek

eksdkdl@ttkd.cc
test@neco.xxx

To se mi nechce stahovat, instalovat a učit se s tím, avšak třeba mi nic jiného nezbude

Pokud máš Visty nebo 7, tak PS je již součástí. Start -> powershell

Ty vado! Děkuji ti 284x. Mě se to povidlo hned napoprvé (mám win 7)

Ještě tě poprosím o jednu věc. Mám soubor "adresy.txt" a v něm třeba:

aaa@aaa.cz
bbb@aaa.cz
bbb@aaa.cz
ccc@yyy.cz

A aby to úplně odstranilo adresy, které jsou 2x (tam už bylo posláno), čili aby vypadlo

aaa@aaa.cz
ccc@yyy.cz

Není zač. Tohle tak jednoduché nebude a abych se přiznal, tak ani nechápu k čemu by to bylo dobré.

Těch adres je třeba 300 (osobni.txt a sezbirane.txt). a na dejme tomu 100 (osobni.txt) už to bylo rozesláno. Jenže některé jsou v osobni.txt a zároveň v sezbirane.txt. Teď jsem smíchal dohromady a odstranil duplicity, takže jsou všechny pouze 1x.
Mám v plánu toto. Nakopíruji do tohoto (vse.txt) ty osobni.txt a docílím toho, že budu mít 2x ty rozeslané. No a abych z toho vytáhl nerozeslané, tak odstranit úplně, které budou 2x.
Ale možná to udělám v Excelu "růčo". Když se setřídí, mohlo by to být vidět dobře, jelikož budou dvě stejné za sebou.

Jsem ty odeslané vložil do vse.txt 3x, v Excelu se zobrazují 4x za sebou a je to krásně vidět.

Takže, mám dva soubory vse.txt a rozeslane.txt, které jsou již bez duplicit. Pro zjištění neodeslaných provedu tohle

get-content .\vse.txt | % {[array]$vse += $_}
get-content .\rozeslane.txt | % {[array]$rozeslane += $_}
Compare-Object $vse $rozeslane

Výsledek

InputObject                                                 SideIndicator
-----------                                                 -------------
c                                                           <=
d                                                           <=
f                                                           <=
h                                                           <=
k                                                           <=

vse.txt 42.00 B rozeslane.txt 27.00 B

Tohle uděláš v libovolném jazyce, který má třídu a metody pro čtení a zápis souborů - jmenuje se FileSystemObject nebo nějak podobně.
Na druhou stranu na Silvestra bude vzhledem k počtu adres asi fakt lepší a rychlejší metoda "růčo", než ladit jednorázový skript.

pripadne ak mas nejaky linux ci iny unix-like system

sort -u -f in.txt > out.txt

Zpět do poradny Odpovědět na původní otázku Nahoru