あまり発達障害認定みたいなことはしたくないのですが、その方面に疎いので質問と相談をさせてください。

義理の妹（夫の妹）が近所に住んでいます。独身40代前半で２つ年下。
義実家は借家だったのですが、３年前に大家から買取り、私と夫と半々の出資で建て替えました。
義妹はもともと近所で一人暮らし（義母と折り合いが悪かった）。
私たちは他県に住んでいましたが、夫が地元に転職し
それを機会に上記のように家を建て、義母と同居を始めた次第でした。（義父は鬼籍）
が、その義母は昨年亡くなり、四十九日を過ぎた頃から時々義妹が遊びに来るようになりました。
と言ってもせいぜい月に１度か２度、基本的に悪い人ではなく、趣味（手芸）も似てるので話も合うし
義妹のことが嫌いなわけではありません。
が、一緒にいるととても気になってしまうことがあり、それのせいで最近義妹が来るとイライラします。
今までは気になった事はなかったのですが、しょっちゅう会うようになって急に気になり始めました。
もしかしてこれが発達障害ってやつかな？と思い、だったら言っても無駄だと諦める覚悟ですが
そうではないのなら一度ちゃんと話そうかと思っています。
夫に相談しようかと思ったのですが、内容が内容だけに小姑目線と思われそうで
まずはこちらでと思いました。